TEMA 2 PLANIFICACIÓN Y EVALUACIÓN 3

La evaluación también se aplica al diseño del plan de intervención. Permite comprobar si los objetivos responden realmente a las necesidades de la población, si no reflejan intereses particulares y si los recursos son suficientes. Evaluar el diseño es clave para prevenir intervenciones ineficaces. v. f.

La evaluación continua durante la implementación del plan, analizando si se está aplicando según lo previsto y alineada con los resultados esperados. Evaluar durante la ejecución permite modificar el plan si surgen desviaciones, en lugar de esperar a los resultados finales. v. f.

Por último, se realiza la evaluación de resultados e impacto, que determina si se han alcanzado los objetivos planteados. Esta secuencia completa la lógica de la intervención no lineal, donde la evaluación está presente en todas las fases y se convierte en un elemento central para la toma de decisiones y la gestión de la intervención social. Al mismo tiempo, su centralidad puede implicar la imposición de un modelo de intervención al controlar directamente cada etapa del proceso. v. f.

La evaluación no es sencilla, ya que como investigación en Ciencias Sociales presenta problemas específicos. Las personas evaluadas pueden modificar su comportamiento, y muchas veces no quieren ser evaluadas, como señalan Scriven y otros autores (profesores, alumnos, trabajadores, políticos). Por ello, la evaluación requiere eficacia, cualificación y rigor metodológico. Aunque estas dificultades son complejas, no son insalvables y la evaluación sigue siendo necesaria. Además, los resultados de la evaluación pueden afectar a muchas personas, por lo que es imprescindible usar todas las herramientas metodológicas disponibles y asegurar la validez de los juicios de valor sobre el programa y los participantes, ya que las consecuencias de errores pueden ser graves. v. f.

Al analizar las definiciones de evaluación, se destacan varios aspectos comunes: emitir un juicio de valor, integrarse en el programa, ser una reflexión sistemática, facilitar la mejora del programa, ayudar a comprender la realidad, ser permanente, sistemática y ayudar en la toma de decisiones, exigiendo la voluntad de reflexionar por parte de quien la realiza. Tres aspectos merecen especial atención: todo es correcto. juicio de valor. sistematización. ayuda.

no solo interpretar información, sino emitir un juicio sobre la bondad o deseabilidad de los objetivos. Sin esto, no puede considerarse evaluación. juicio de valor. sistematización. ayuda.

la información debe recogerse de manera precisa, rigurosa y descriptiva, sin juicios normativos. sistematización. juicio de valor. ayuda.

la evaluación debe servir a los profesionales para comprender su realidad, reflexionar y mejorar la intervención, integrada de manera permanente en el proceso. ayuda. sistematización. juicio de valor.

El tipo de evaluación más adecuado para los Servicios Sociales es la que combina evaluación interna, formativa y cualitativa-cuantitativa. Los principios que deben guiar cualquier evaluación son: procesual y continua. abierta. contextualizada. holística. individualizada. objetiva y explicativa. respeto a la intimidad. todo es correcto.

presente de manera sistemática durante toda la intervención, no solo en momentos aislados. procesual y continua. abierta. holística. contextualizada.

adaptada a las características del contexto, la comunidad y los participantes. contextualizada. procesual y continua. abierta. holística.

permite la participación de todos los sectores implicados en la intervención. abierta. holística. individualizada. contextualizada.

considera todos los elementos de la intervención, como un fenómeno complejo influido por múltiples factores. abierta. holística. contextualizada. continua.

analiza la intervención según las características y necesidades de cada sujeto. holística. individualizada. abierta. contextualizada.

ofrece datos e interpretaciones para entender y valorar los procesos. objetiva y explicativa. Respeto a la intimidad:. holística. abierta.

garantiza la confidencialidad de la información de los participantes. Respeto a la intimidad. abierta. continua. individualizada.

Legitimar decisiones, aumentar la eficiencia o eficacia del programa, incrementar el prestigio del personal u organización evaluada, concienciar sobre el quehacer diario de los implicados, crear una cultura evaluativa. efectos previstos. efectos implícitos. efectos no previstos o colaterales.

Aumento de la autoestima de los implicados, mayor competitividad, recelos o envidias entre compañeros, cambios en el clima laboral, incremento de la demanda de nuevos programas, asignar distinción al programa como símbolo de calidad, rechazo hacia la evaluación. Efectos no previstos o colaterales. Efectos previstos. Efectos implícitos.

a. Imposición de un modelo de gestión invisible según el juicio de valor utilizado. b. cuestionamiento de la profesionalidad de los implicados. c. Uso político de la evaluación, legitimando intereses corporativos o de poder. efectos previstos. efectos imprevistos o colaterales. efectos implicitos.

En la literatura especializada rara vez se mencionan los efectos de la evaluación, especialmente su carácter impositivo sobre un modelo de intervención o de gestión. Toda evaluación parte de un modelo ideal de gestión (en sentido Weberiano), lo que hace que los profesionales adapten su práctica, consciente o inconscientemente, para ser evaluados positivamente según los indicadores utilizados. v. f.

La evaluación puede entenderse como una forma de persuasión, buscando que un público concreto reconozca el valor de algo o considere que algo es conveniente. Incluso, un rechazo explícito a la evaluación puede generar un efecto implícito de cambio, destacando la influencia del contexto social y psicológico. v. f.

los sujetos modifican su comportamiento al saber que están siendo evaluados, como cuando se realiza observación científica. efecto hawthorne. efecto john henry. efecto halo.

reacción competitiva intensa ante la evaluación. efecto halo. efecto john henry. efecto hawthorne.

El efecto de imposición de un modelo de gestión confiere a la evaluación una fuerza invisible de transformación. Los responsables de una organización pueden usarla para imponer un modelo de gestión, evitando conflictos ante la negativa de los profesionales. f. v.

En España, la evaluación suele generar rechazo, al considerarse principalmente como control o sanción, y su implantación es escasa. En cambio, en otros países, especialmente Estados Unidos, la evaluación es más habitual y forma parte de una concepción más amplia de mejora. v. f.

La evaluación es impopular entre los actores por temor, ignorancia o percepción de inutilidad. Por ello, antes de implantar un proceso evaluador institucional, es necesario crear un clima favorable, sensibilizar a los implicados y dar a conocer las competencias que se evaluarán y los objetivos y criterios de evaluación. La evaluación debe precederse de un proceso de negociación para que sea aceptada y efectiva. v. f.

Para minimizar los efectos implícitos de la evaluación es necesario construir una nueva lógica en la intervención social, donde la negociación adquiere centralidad en todo el proceso. Según el Diccionario de Sociología (Giner, Lamo de Espinosa y Torres), una negociación es una serie de intercambios entre partes con intereses diferentes para llegar a un acuerdo. Es posible si existe un acuerdo beneficioso para todas las partes en comparación con el desacuerdo, es decir, si cada parte puede obtener algo que valora mucho a cambio de ceder en algo que valora menos. v. f.

El arte de la negociación consiste en anticipar un acuerdo favorable para todas las partes, mediante la adecuada definición de las dimensiones del tema y la elección de un procedimiento que disminuya los costes de negociar. Aplicando este proceso a la evaluación, rompemos la lógica impositiva y damos paso a la participativa: pasamos de la evaluación que impone un modelo de gestión a la evaluación que negocia un modelo de gobernanza. v. f.

Esta nueva lógica de la intervención social se encuadra en la escuela naturalista, acuñada a finales de los años 70. Para Helen Simons, la evaluación naturalista es la expresión genérica para describir enfoques alternativos de evaluación que surgieron en los años 60 como reacción a las formas tradicionales, insuficientes para comprender la complejidad de los fenómenos sociales. Entre estos enfoques alternativos se encuentran: la evaluación holística (Mac Donald), la evaluación democrática (Mac Donald), la evaluación iluminadora (Hamilton-Parlett), la evaluación responsiva (Stake), la evaluación transaccional (Rippey) y la evaluación como crítica literaria (Kelly). v. f.

Todos surgen del reconocimiento de las insuficiencias del modelo tradicional para evaluar grandes y complejas organizaciones que se desarrollan en la acción y producen efectos diferentes en contextos distintos. Optan por modelos de evaluación pluralista que tienen en cuenta las posturas de valor de múltiples destinatarios y premisas políticas subyacentes. v. f.

Macdonald, ocupándose de la dimensión política, planteó una clasificación política de la evaluación diferenciando tres tipos, cual no es correcta: burocrática, autocrática y democrática. burocrática. autodidacta. autocrática. democrática.

Desde este enfoque, la evaluación se define como: aquella en la que tanto los métodos aplicados como la información generada es abierta, y se discute y reelabora entre los diferentes grupos de interés, formales o no, que configuran la organización. Bajo esta nueva definición, la negociación se convierte en proceso básico para construir una cultura evaluativa y evitar los efectos implícitos de la evaluación. Es un proceso de diálogo y acuerdos entre evaluadores e implicados, antes, durante y después de la evaluación, con el objetivo de evitar rechazos, reticencias, prejuicios y expectativas falsas de los distintos intereses de las organizaciones públicas. Se pretende aumentar la cultura evaluativa para evitar asociar evaluación con sanción, que nadie se sienta amenazado en su independencia y autonomía, e implicarlos en todo el proceso de gestión. v. f.

El proceso de negociación no debe ceñirse solo a las dimensiones a evaluar, sino ampliarse a aspectos como: 1. Tipo y naturaleza de la evaluación 2. Intereses por los que se pone en marcha 3. Fines y objetivos 4. Métodos, técnicas e instrumentos de recogida de información 5. Equipo de evaluación 6. Temporalización 7. Estrategias para discusión y consenso de informes 8. Sistemas para reconducir acuerdos y abordar discrepancias 9. Colaboración requerida y compromisos asumidos por participantes 10. Formas de difundir la información internamente 11. Expansión social de informes, descubrimientos y evidencias. v. f.

La negociación puede ser un medio eficaz para conseguir una evaluación de calidad. El evaluador deberá ser cuidadosamente flexible, sin olvidar la jerarquización existente en las organizaciones. En la negociación inicial se acordará cuándo, cómo y a quién se entregarán los informes. Hay que evitar el ocultismo: debe quedar claro qué se pretende y cómo se conseguirá, explicando a los implicados qué pueden esperar razonablemente. v. f.

Conviene que el equipo de evaluación se reúna con frecuencia para contrastar opiniones sobre lo que sucede en la intervención y la forma en que se desarrolla el trabajo de evaluación. Cuando se cometan errores, es preferible disculparse por ellos, sean de la naturaleza e intensidad que sean. Cuando surgen problemas hay que plantearse su origen, recordando que la ética exige que la confidencialidad de los datos se resguarde escrupulosamente. v. f.

Se aboga por una perspectiva de evaluación participativa, donde el consenso sea la base de todo el proceso, implicando la implantación de un sistema de gestión negociado. Este proceso llevará a una identificación con la organización en todos sus ámbitos de actuación, proponiendo un modelo de evaluación basado en el consenso y la participación. En conclusión, se han planteado tres lógicas de intervención social (figuras 1, 2 y 3) asociadas a tres definiciones de evaluación, abarcando un amplio abanico de lo que puede ser la evaluación y las pretensiones y objetivos de cada una. v. f.

Diversos autores han tratado de estructurar una dinámica de evaluación que respete tanto los principios de rigor de la investigación como los de una ética de la acción. Entre las aportaciones destacan: Stake, Simons, House, Macdonald, Kells, Spee, Mora Ruiz, Angulo y Contreras. Estos criterios son válidos, en la mayoría de los casos, para cualquier tipo de evaluación. Entre los criterios que deben presidir los procesos de evaluación destacan: RESPONDER A LAS NECESIDADES Y PERSPECTIVAS DE TODOS LOS IMPLICADOS. ORIENTAR TODO EL PROCESO ORGANIZATIVO DE LA INTERVENCIÓN SOCIAL Y UTILIZANDO PROCEDIMIENTOS EVALUATIVOS QUE PUEDAN SER APLICADOS FÁCILMENTE. FACILITAR DECISIONES PÚBLICAS Y PROFESIONALES RELEVANTES DESDE LA ÉTICA PROFESIONAL DEL EVALUADOR. CLARIDAD EN DEFINICIÓN DE OBJETIVOS, PROCESO Y CONTEXTO. todo es correcto.

Las normas de evaluación buscan garantizar que se transmita información técnicamente exacta sobre la intervención social, para poder determinar su valor o mérito. Entre las normas destacan: 1. Identificar el objeto de evaluación. 2. Analizar el contexto de la intervención. 3. Describir las intenciones y procedimientos de la evaluación. 4. Identificar fuentes de información fiables. 5. Determinar la validez de los instrumentos de evaluación. 6. Asegurar la exactitud y control sistemático de los datos. 7. Analizar la información cualitativa y cuantitativa. 8. Elaborar conclusiones justificadas. 9. Mantener la objetividad en el informe. CLARIDAD EN DEFINICIÓN DE OBJETIVOS, PROCESO Y CONTEXTO. FACILITAR DECISIONES PÚBLICAS Y PROFESIONALES RELEVANTES DESDE LA ÉTICA PROFESIONAL DEL EVALUADOR. ORIENTAR TODO EL PROCESO ORGANIZATIVO DE LA INTERVENCIÓN SOCIAL Y UTILIZANDO PROCEDIMIENTOS EVALUATIVOS QUE PUEDAN SER APLICADOS FÁCILMENTE. RESPONDER A LAS NECESIDADES Y PERSPECTIVAS DE TODOS LOS IMPLICADOS.

la evaluación debe ser útil. Debe estar dirigida a aquellas personas y grupos relacionados con la tarea de realizar lo que se está evaluando, informándoles no solo de virtudes o defectos, sino de soluciones para mejorarlos. Para conseguir tal utilidad, la evaluación debe proporcionar las informaciones prácticas que necesitan los implicados e interesados. En primer lugar, es necesario describir los colectivos afectados para que todas sus necesidades puedan ser satisfechas. En este proceso de atender las necesidades de los implicados, Kells (1991) pide cuidar las necesidades de los responsables, informándoles de la forma, proceso, estado de salud y logros de las intervenciones sociales, así como del conjunto del programa, reivindicando al mismo tiempo financiación para disponer de más oportunidades para evaluar. RESPONDER A LAS NECESIDADES Y PERSPECTIVAS DE TODOS LOS IMPLICADOS. ORIENTAR TODO EL PROCESO ORGANIZATIVO DE LA INTERVENCIÓN SOCIAL Y UTILIZANDO PROCEDIMIENTOS EVALUATIVOS QUE PUEDAN SER APLICADOS FÁCILMENTE. FACILITAR DECISIONES PÚBLICAS Y PROFESIONALES RELEVANTES DESDE LA ÉTICA PROFESIONAL DEL EVALUADOR. CLARIDAD EN DEFINICIÓN DE OBJETIVOS, PROCESO Y CONTEXTO.

La viabilidad de la evaluación depende de que sea realista, práctica, prudente, diplomática, moderada y, sobre todo, integrada en la intervención social. Debe planificarse y dirigirse considerando las posturas de los distintos grupos de interés, buscando su cooperación y evitando influencias que distorsionen los resultados. Para asegurar la viabilidad, es útil “vender” la evaluación como un medio para mejorar la salud de los Servicios Sociales, informando a los profesionales sobre sus objetivos, actuaciones y resultados, y proporcionando los recursos necesarios para corregir las deficiencias detectadas. ORIENTAR TODO EL PROCESO ORGANIZATIVO DE LA INTERVENCIÓN SOCIAL Y UTILIZANDO PROCEDIMIENTOS EVALUATIVOS QUE PUEDAN SER APLICADOS FÁCILMENTE. FACILITAR DECISIONES PÚBLICAS Y PROFESIONALES RELEVANTES DESDE LA ÉTICA PROFESIONAL DEL EVALUADOR. CLARIDAD EN DEFINICIÓN DE OBJETIVOS, PROCESO Y CONTEXTO. RESPONDER A LAS NECESIDADES Y PERSPECTIVAS DE TODOS LOS IMPLICADOS.

La ética de la evaluación requiere un compromiso explícito que garantice: cooperación, protección de los derechos de los implicados y honradez de los resultados. Las obligaciones sobre qué, cómo, quién y cuándo evaluar deben plasmarse en un compromiso escrito, con suficiente flexibilidad para adaptarse a situaciones imprevistas. Otros aspectos éticos incluyen: • Gestionar los conflictos de interés de manera abierta y honesta. • Ser franco, directo y honesto en los informes orales y escritos, incluyendo las limitaciones de la evaluación y usando un lenguaje accesible, según Stuffebeam. Macdonald recomienda principios para asegurar la ética y viabilidad de la evaluación: a. Disponer de datos relevantes antes de emitir juicios y ser cautos en comentarios sobre cualquier sujeto. b. Solicitar consejos profesionales para garantizar procedimientos apropiados según el tiempo y circunstancias. c. Consultar con los profesionales implicados sobre los procedimientos de evaluación. CLARIDAD EN DEFINICIÓN DE OBJETIVOS, PROCESO Y CONTEXTO. FACILITAR DECISIONES PÚBLICAS Y PROFESIONALES RELEVANTES DESDE LA ÉTICA PROFESIONAL DEL EVALUADOR. ORIENTAR TODO EL PROCESO ORGANIZATIVO DE LA INTERVENCIÓN SOCIAL Y UTILIZANDO PROCEDIMIENTOS EVALUATIVOS QUE PUEDAN SER APLICADOS FÁCILMENTE. RESPONDER A LAS NECESIDADES Y PERSPECTIVAS DE TODOS LOS IMPLICADOS.

Macdonald recomienda principios para asegurar la ética y viabilidad de la evaluación: Disponer de datos relevantes antes de emitir juicios y ser cautos en comentarios sobre cualquier sujeto. Solicitar consejos profesionales para garantizar procedimientos apropiados según el tiempo y circunstancias. Consultar con los profesionales implicados sobre los procedimientos de evaluación. todo es correcto.