Planificación Plan y Metaevaluación de Programas

Según el Cuadro 2, el Plan de Evaluación debe ser elaborado por: Expertos en evaluación y la Comisión de Evaluación. Exclusivamente los usuarios. Solo la Administración. Únicamente los responsables políticos.

Una de las primeras cuestiones que debe incluir el Plan de Evaluación es: La descripción del programa. El presupuesto anual. La evaluación económica. La auditoría externa.

La descripción del programa debe recoger: Los objetivos del programa. Solo el presupuesto. Exclusivamente la muestra. Únicamente la evaluación final.

Entre los elementos que deben describirse figuran: Los destinatarios o usuarios. Solo los evaluadores. Únicamente los patrocinadores. Solo los responsables políticos.

Otro elemento que debe incluir la descripción del programa es: La cobertura espacial. El organigrama ministerial. La estructura sindical. El sistema retributivo.

La descripción del programa debe contemplar también: Los métodos y actividades. Únicamente los indicadores. Solo el cronograma. Exclusivamente las conclusiones.

Según el manual, también deben describirse: Los recursos humanos y económicos. Solo los recursos materiales. Exclusivamente los edificios. Únicamente los vehículos.

La descripción del programa incluye igualmente: El momento en que se ejecuta el programa. El momento de redactar el informe. La fecha de aprobación del presupuesto. El momento del juicio de valor.

Una de las funciones del Plan de Evaluación es: Ofrecer un perfil lo más claro posible del programa que se va a evaluar. Sustituir la evaluación de resultados. Eliminar el trabajo de campo. Reemplazar el juicio de valor.

Según el manual, el conocimiento detallado del programa constituye: Un requisito previo para realizar una buena evaluación. Un aspecto secundario. Un elemento opcional. Un aspecto exclusivo de la evaluación económica.

Tras describir el programa, el Plan de Evaluación debe: Delimitar el nivel organizativo en el que se realizará la evaluación. Redactar el informe final. Elaborar el presupuesto. Emitir el juicio de valor.

Según el manual, al delimitar el nivel organizativo debe analizarse si: Los instrumentos de evaluación miden realmente lo importante. El presupuesto es suficiente para ampliar el programa. Los usuarios conocen a los evaluadores. Los profesionales tienen la misma categoría.

Otra cuestión que debe plantearse en esta fase es: Si las variables elegidas proporcionan la información necesaria. Si el programa tiene suficiente publicidad. Si la organización dispone de más edificios. Si los usuarios conocen el presupuesto.

El manual propone comprobar si: La muestra elegida es la más acertada. La población es homogénea. El presupuesto es ilimitado. Los usuarios participan en el diseño.

También debe verificarse: Si los objetivos de la evaluación están claramente definidos. Si los objetivos políticos son compartidos. Si los usuarios aprueban el presupuesto. Si el informe ya está redactado.

Según el manual, otra cuestión relevante consiste en comprobar: Si existe un cronograma de evaluación. Si existe un reglamento interno. Si existe un organigrama administrativo. Si existe un comité disciplinario.

El Plan de Evaluación debe valorar si: Se cuenta con suficientes recursos técnicos y económicos para efectuar la evaluación. Existen más usuarios que profesionales. Hay suficientes instalaciones deportivas. Los beneficiarios conocen el informe final.

Otra cuestión que plantea el manual es: Si el modelo de evaluación es el más adecuado. Si el presupuesto anual ha aumentado. Si el personal es funcionario. Si la población ha disminuido.

Según el texto, debe comprobarse además: Si el diseño de evaluación responde a las peculiaridades del programa. Si el programa tiene suficiente financiación europea. Si existen normas internas. Si los usuarios conocen los indicadores.

El apartado final de este bloque pregunta expresamente: ¿Quién realiza la evaluación?. ¿Quién aprueba el presupuesto?. ¿Quién dirige la organización?. ¿Quién financia el programa?.

Al especificar qué se va a evaluar debe comprobarse: Si se han delimitado los indicadores de todos los aspectos a evaluar. Si se ha aprobado el presupuesto. Si existe un reglamento interno. Si los usuarios conocen el cronograma.

Según el manual, existen muchas variables que estudiar, por lo que el Plan de Evaluación debe ser: Preciso y centrarse en las cuestiones relevantes. Muy amplio y poco concreto. Exclusivamente cuantitativo. Exclusivamente cualitativo.

El Plan de Evaluación debe responder: A los objetivos de la evaluación. A los intereses de los evaluadores. A las preferencias de los usuarios. A las decisiones presupuestarias.

Entre las cuestiones que propone el manual figura: Cómo se evalúan las conexiones del programa con el contexto social donde se implementa. Cómo se organiza el presupuesto. Cómo se distribuyen los edificios. Cómo se seleccionan los responsables políticos.

Otra cuestión importante consiste en determinar: Cómo se controlan los sesgos derivados de los intereses políticos en juego. Cómo se financia el programa. Cómo se organiza la Administración. Cómo se selecciona la población.

El manual plantea también la pregunta: ¿Quiénes son los beneficiarios de la evaluación?. ¿Quiénes son los patrocinadores económicos?. ¿Quiénes son los responsables políticos?. ¿Quiénes son los proveedores?.

Otra cuestión clave consiste en conocer: Qué información se requiere para hacer una evaluación de calidad. Qué presupuesto tiene la Administración. Qué salario perciben los evaluadores. Qué edificios utiliza el programa.

El Plan de Evaluación debe recoger: El plan de análisis de los resultados y el control del trabajo de campo. Solo el calendario. Exclusivamente el presupuesto. Únicamente el organigrama.

Según el manual, en el análisis de resultados son importantes: Tanto los métodos estadísticos como el análisis cualitativo. Solo los métodos estadísticos. Exclusivamente el análisis cualitativo. Únicamente las entrevistas.

El Plan de Evaluación debe indicar: Qué tipo de análisis puede realizarse con los datos disponibles y previstos. Qué ministerio financia el programa. Qué profesionales redactarán el presupuesto. Qué usuarios participarán en la intervención.

Según el manual, el informe de evaluación debe indicar: Cómo se presentarán los resultados. El salario de los evaluadores. El presupuesto del programa. La estructura administrativa.

El informe de evaluación puede presentar los resultados: De forma meramente descriptiva o explicando cada hecho. Solo mediante gráficos. Exclusivamente mediante tablas. Únicamente mediante porcentajes.

Otra cuestión de máxima relevancia en el informe de evaluación es: Si están especificados los baremos en los que se basa el juicio de valor. El número de profesionales. El presupuesto anual. La duración del programa.

El informe de evaluación debe indicar expresamente: Quién realiza el juicio de valor. Quién financia el programa. Quién aprueba el presupuesto. Quién diseña el programa.

La segunda cuestión que plantea el manual es: Quién realiza la metaevaluación. Quién redacta el programa. Quién dirige el servicio. Quién financia la investigación.

La metaevaluación consiste en realizar un juicio de valor sobre: Las bondades o deficiencias del Plan de Evaluación. Los presupuestos del programa. Los usuarios del servicio. La organización administrativa.

Según el manual, lo aconsejable es que la metaevaluación sea realizada por: Expertos en evaluación. Exclusivamente usuarios. Solo responsables políticos. Únicamente interventores.

No obstante, el manual señala que: No siempre los expertos en evaluación serán las personas más adecuadas. Siempre deben ser los mismos evaluadores. Nunca deben intervenir especialistas. Solo pueden participar investigadores universitarios.

En ocasiones, los mejores metaevaluadores pueden ser: Especialistas en metodología. Responsables políticos. Usuarios del programa. Auditores económicos.

El manual recuerda que la evaluación es: Una investigación aplicada. Un procedimiento administrativo. Una auditoría económica. Un trámite jurídico.

Según Schrader (1999), antes de seleccionar una técnica conviene preguntarse: ¿Qué clase de técnicas tenemos disponibles?. ¿Cuál es el presupuesto disponible?. ¿Quién financia el programa?. ¿Quién redactará el informe?.

Otra pregunta propuesta por Schrader es: ¿Qué tipo de pregunta puede analizarse con esa técnica?. ¿Qué salario perciben los evaluadores?. ¿Qué normativa resulta aplicable?. ¿Qué institución financia el estudio?.

La tercera cuestión formulada por Schrader consiste en preguntarse: ¿A qué tipo de conclusiones podemos llegar con esa técnica?. ¿Qué presupuesto tiene el programa?. ¿Cuántos profesionales participan?. ¿Qué indicadores económicos existen?.

Una de las técnicas de producción de datos citadas por el manual es: El estudio Delphi. El análisis coste-beneficio. El experimento natural. El panel longitudinal.

El estudio Delphi se basa en: El análisis de la opinión de expertos sobre un mismo tema. La observación participante. La experimentación de laboratorio. La aplicación de cuestionarios masivos.

El objetivo principal del estudio Delphi es: Alcanzar un cierto nivel de consenso entre expertos. Obtener una muestra representativa. Reducir los costes de evaluación. Sustituir la evaluación cualitativa.

Según el manual, los expertos del estudio Delphi deben abarcar: Un campo lo más amplio y diversificado posible. Exclusivamente un mismo organismo. Una única profesión. Una sola disciplina académica.

Uno de los aspectos básicos de la metodología Delphi es: La estricta confidencialidad de las aportaciones de los participantes. La publicidad inmediata de las respuestas. La votación abierta. La identificación obligatoria de todos los participantes.

El segundo aspecto básico del método Delphi consiste en: Utilizar un segundo cuestionario breve para clasificar las áreas de desacuerdo. Repetir exactamente el primer cuestionario. Eliminar las respuestas discrepantes. Sustituir los cuestionarios por entrevistas.

Según el manual, ese segundo cuestionario permite: Alcanzar el consenso o confirmar las áreas donde no es posible unificar las conclusiones. Seleccionar la muestra definitiva. Elaborar el presupuesto. Redactar directamente el informe final.

Otra forma de proceder en la realización de la metaevaluación consiste en: Elaborar un Cuestionario de Valoración del Plan de Evaluación. Aplicar exclusivamente entrevistas abiertas. Realizar únicamente observación participante. Elaborar un análisis coste-beneficio.

El Cuestionario de Valoración del Plan de Evaluación se refiere a: Todos los aspectos relevantes del Plan de Evaluación. Únicamente al presupuesto. Solo a los recursos humanos. Exclusivamente a los resultados.

Entre los aspectos que evalúa dicho cuestionario se encuentran: Objetivos, actividades y recursos. Solo los objetivos. Solo las actividades. Solo los recursos económicos.

El manual cita como ejemplo de este cuestionario el trabajo de: Trinidad (1995). Weiss (1991). Scriven (1973). House (1994).

El ejemplo de Trinidad (1995) fue aplicado para determinar: Las dimensiones a evaluar en la Facultad de Ciencias Políticas y Sociología de Granada. La eficacia de los Servicios Sociales de Base. La evaluación de programas sanitarios. La evaluación del sistema educativo nacional.

Una vez obtenido el juicio de los expertos: Se elabora el informe de la metaevaluación del Plan de Evaluación. Se inicia directamente la evaluación de resultados. Se redacta el presupuesto. Se aplica el programa.

Scriven defiende la metaevaluación con el mandato: «Empiece en casa». «Evaluar para transformar». «La evaluación es participación». «Primero intervenir».

Según Scriven, la metaevaluación debe convertirse en: Un imperativo profesional de los evaluadores. Una actividad opcional. Un procedimiento burocrático. Una tarea exclusivamente académica.

Según Scriven, antes de evaluar a los demás debemos: Evaluar nuestro propio trabajo. Evaluar el presupuesto. Evaluar únicamente los resultados. Evaluar a los usuarios.

El manual define la metaevaluación como: La evaluación del diseño del Plan de Evaluación. La evaluación del presupuesto. La evaluación del programa de intervención. La evaluación de los profesionales.

Según Santos (1990), la metaevaluación es: Un proceso de análisis que consiste en hacer un juicio de valor sobre la misma evaluación. El análisis económico de un programa. La evaluación exclusiva de resultados. La planificación de la intervención.

El manual también denomina la metaevaluación como: Evaluación de la evaluabilidad. Evaluación participativa. Evaluación comparativa. Evaluación experimental.

La evaluación de la evaluabilidad pretende determinar: Si el programa es evaluable mediante el Plan de Evaluación elaborado. Si el programa tiene suficiente financiación. Si los usuarios participan. Si los resultados son satisfactorios.

Según Stufflebeam (1969), la metaevaluación es: El proceso que busca evaluar y describir una actividad de evaluación y juzgarla conforme a criterios de una buena evaluación. El análisis del presupuesto. El estudio de la implementación. El seguimiento del programa.

Fernández Ballesteros (1996) añade que la metaevaluación pretende: Fijar los criterios que permitan determinar la calidad de la evaluación. Medir únicamente los resultados. Elaborar el informe económico. Seleccionar a los usuarios.

Según Fernández Ballesteros, una vez fijados los criterios: El metaevaluador debe elegir los que mejor se ajusten al caso concreto. Deben aplicarse siempre los mismos criterios. Solo pueden modificarlos los responsables políticos. Deben eliminarse los criterios cualitativos.

Los criterios elegidos deben ajustarse: A las necesidades y pretensiones de las organizaciones patrocinadoras. Exclusivamente a la Administración. Solo a los evaluadores externos. Únicamente al presupuesto.

Según el manual, la metaevaluación debería realizarse: Antes de la implementación del Plan de Evaluación. Después del informe final exclusivamente. Solo al finalizar el programa. Durante la evaluación de resultados.

Realizar la metaevaluación antes de la implementación permite: Detectar las posibles debilidades del Plan de Evaluación. Elaborar el presupuesto. Seleccionar la muestra. Modificar los objetivos del programa.

El manual señala que algunos autores consideran que, atendiendo al prefijo «meta», la metaevaluación debería realizarse: Después de la evaluación. Antes del diseño. Durante el diagnóstico. Antes del estudio piloto.

Según Scriven, una de las aportaciones de la metaevaluación consiste en: Ser una valoración al mérito por los esfuerzos realizados en la evaluación previa. Sustituir la evaluación del programa. Eliminar la evaluación diagnóstica. Reducir el número de evaluadores.

Según Scriven, la metaevaluación es útil para: Tomar decisiones, señalar responsabilidades y proporcionar información para futuras evaluaciones. Elaborar exclusivamente el presupuesto. Seleccionar la muestra. Sustituir el trabajo de campo.

La metaevaluación tiene carácter formativo porque: Retroalimenta el proceso con nuevos conocimientos. Sustituye el diseño del programa. Elimina la evaluación de resultados. Reduce los costes de la intervención.

Según Stufflebeam, la metaevaluación busca: Comprobar la utilidad de los informes de evaluación realizados. Elaborar nuevos programas de intervención. Sustituir la evaluación económica. Diseñar indicadores sociales.

El objeto de la metaevaluación es: Constatar que el Plan de Evaluación es viable tal y como está diseñado. Analizar únicamente el presupuesto. Elaborar el informe final. Valorar exclusivamente los resultados.

La metaevaluación constituye una evaluación encaminada a: Detectar las posibles debilidades del Plan de Evaluación antes de su implementación. Medir el impacto del programa. Analizar la satisfacción de los usuarios. Valorar la eficiencia económica.

Según el manual, la metaevaluación se asemeja a lo que algunos autores denominan: Evaluación basada en el juicio del profesional. Evaluación experimental. Evaluación económica. Evaluación comparativa.

En este enfoque son los profesionales de la evaluación quienes: Juzgan el Plan de Evaluación. Elaboran el presupuesto. Diseñan el programa de intervención. Ejecutan la intervención.

El Cuadro 3 sintetiza las tres preguntas clave de la metaevaluación: ¿Qué evaluar?, ¿quién evalúa? y ¿cómo evaluar?. ¿Cuándo evaluar?, ¿dónde evaluar? y ¿cuánto cuesta?. ¿Quién financia?, ¿quién dirige? y ¿quién participa?. ¿Qué recursos existen?, ¿qué presupuesto hay? y ¿qué resultados se esperan?.

Según el Cuadro 3, entre los aspectos que deben evaluarse figura: La relación entre el programa y el contexto. El salario de los profesionales. La antigüedad del servicio. La estructura administrativa.

Otra cuestión incluida en el Cuadro 3 es: Las cuestiones sociopolíticas. Las relaciones laborales. La estructura ministerial. Los convenios colectivos.

El Cuadro 3 incluye como objeto de evaluación: El enfoque de evaluación. El presupuesto anual. La financiación europea. El organigrama institucional.

Entre las cuestiones metodológicas que recoge el Cuadro 3 figuran: La fiabilidad y la validez de las técnicas de evaluación. El salario de los evaluadores. La jornada laboral. La organización territorial.

Según el Cuadro 3, también forman parte del objeto de la metaevaluación: El trabajo de campo y el plan de análisis de los datos. El presupuesto y la financiación. La contratación del personal. La organización política.

Entre las técnicas propuestas por el Cuadro 3 para realizar la metaevaluación figura: El método Delphi. El análisis coste-beneficio. El panel longitudinal. El experimento social.

Otra técnica citada expresamente en el Cuadro 3 es: Brainstorming. Escala de Thurstone. Método etnográfico. Panel Delphi modificado.

El Cuadro 3 incluye también como técnica: Focus Groups. Historias de vida. Sociogramas. Panel de hogares.

Antes de iniciar la aplicación del Plan de Evaluación debe realizarse: Un estudio piloto. El informe final. El juicio de valor. La evaluación económica.

El estudio piloto tiene como finalidad: Probar sobre el terreno las técnicas seleccionadas para obtener información. Medir los resultados finales. Elaborar el presupuesto. Redactar las conclusiones.

Cuando se utiliza el cuestionario como instrumento de evaluación, el estudio piloto permite: Detectar problemas de comprensión, lenguaje, sentido de las preguntas y temporalización. Elaborar el informe final. Seleccionar la muestra definitiva. Emitir el juicio de valor.

Una vez puesto a punto el instrumento de evaluación, el siguiente paso consiste en: La recogida de información. La elaboración del informe final. La metaevaluación. El juicio de valor.

Según el manual, la recogida de información constituye: Uno de los momentos claves y decisivos de todo el proceso evaluador. Un trámite administrativo. La última fase del proceso. Una actividad secundaria.

La recogida de información es fundamental porque: Constituye la base sobre la que se realizará el juicio de valor. Permite elaborar el presupuesto. Sustituye el análisis de resultados. Elimina la necesidad del informe.

El manual recuerda que la recogida de información implica una especial responsabilidad debido a: Las repercusiones positivas y negativas que puede tener sobre las personas. Su elevado coste económico. Su complejidad estadística. La duración del trabajo de campo.

Una cuestión que se plantea al finalizar la evaluación es: La publicidad del informe de evaluación. La contratación de nuevos profesionales. La modificación del presupuesto. La ampliación del programa.

La publicidad del informe adquiere especial relevancia cuando: Se evalúa el trabajo de unos profesionales. Se evalúan únicamente recursos económicos. Se trata de un estudio piloto. Solo participan usuarios.

Según el manual, los profesionales implicados tienen: El derecho y la obligación de recibir la retroacción de los usuarios. Únicamente el derecho a conocer el presupuesto. Solo la obligación de elaborar informes. El derecho a rechazar la evaluación.

La retroacción de los usuarios debe obtenerse mediante: Un programa de evaluación bien administrado. Entrevistas informales. Opiniones espontáneas. Encuestas sin planificación.

El programa de evaluación debe incorporar: Análisis de datos sistemáticos y objetivamente analizados. Opiniones personales de los evaluadores. Exclusivamente indicadores económicos. Valoraciones intuitivas.

Según el Cuadro 4, la primera fase de la aplicación del Plan de Evaluación consiste en: La realización del estudio piloto. El análisis estadístico. La redacción del informe. El juicio de valor.

El estudio piloto tiene como finalidad: Comprobar el funcionamiento de los instrumentos de evaluación. Elaborar el informe final. Diseñar el programa. Redactar el presupuesto.

Tras el estudio piloto se procede a: La recogida de información. La evaluación económica. La metaevaluación. La elaboración del informe.

Después de la recogida de información corresponde: El análisis de los datos. El estudio piloto. La selección de la muestra. El diseño del programa.

Tras el análisis de los datos se realiza: El juicio de valor. La planificación. El diagnóstico. La observación.

El proceso de aplicación del Plan de Evaluación concluye con: El informe de evaluación. El estudio piloto. El diseño del programa. La formulación de objetivos.

Según la Tabla 3, uno de los contenidos que deben evaluarse en la evaluación de resultados es: El grado de aplicación del programa. El organigrama institucional. La antigüedad del personal. La normativa administrativa.

La Tabla 3 incluye también como contenido de la evaluación de resultados: Los logros conseguidos en relación con los objetivos. La estructura presupuestaria. La organización política. La formación de los evaluadores.

Entre los contenidos de la evaluación de resultados figura: Los resultados no previstos. La antigüedad de los usuarios. La distribución geográfica del personal. El sistema retributivo.

Según la Tabla 3, la evaluación de resultados debe valorar: La eficacia y la eficiencia de la intervención. El número de reuniones celebradas. La antigüedad de la organización. El grado de descentralización administrativa.

Según la Tabla 3, entre los enfoques recomendados para la evaluación de resultados se encuentra: El enfoque de sistemas. El enfoque jurídico. El enfoque presupuestario. El enfoque administrativo.