Psicometría tema 5

La fiabilidad se define intuitivamente como el grado en que un instrumento produce puntuaciones consistentes y estables cuando la medición se repite en condiciones similares. Validez de constructo, que asegura que el instrumento mide lo que debe medir. Error sistemático, que garantiza que las puntuaciones no fluctúan de manera predecible. Coeficiente de estabilidad, que evalúa la reproducibilidad de las puntuaciones a lo largo del tiempo.

Según la Teoría Clásica de los Tests TCT, la puntuación que observamos en un test X se compone de dos partes esenciales. El sesgo de respuesta V y la varianza total e. La puntuación verdadera V y el error de medida e. La fiabilidad del test R y la validez del instrumento X.

¿Qué concepto fundamental ilustra el ejemplo de la báscula de baño B, que al pesar a una persona tres veces seguidas da 72.3 kg, 72.4 kg y 72.3 kg?. Baja validez, ya que la báscula podría estar equivocada sobre el peso real. Alta fiabilidad, debido a que las mediciones son estables y consistentes. Error sistemático, porque la medida siempre se desvía en la misma dirección.

La fiabilidad es entendida como la proporción de la variabilidad de las puntuaciones que se debe a diferencias reales entre las personas en el rasgo medido V y no al error e. Indica que el test tiene una alta validez pero una baja consistencia interna. Significa que el error de medida es bajo y, por lo tanto, la fiabilidad del instrumento es alta. Concluye que la fiabilidad del instrumento es baja, ya que el error explica gran parte de la variación observada.

Un test de aptitud matemática está redactado con vocabulario excesivamente técnico, penalizando a quienes tienen menor dominio del lenguaje escrito, aunque su razonamiento matemático sea bueno. Error aleatorio, ya que varía de una aplicación a otra de manera impredecible. Error de la persona evaluada, debido al cansancio o la falta de motivación puntual. Error sistemático, dado que actúa siempre en la misma dirección introduciendo un sesgo estable.

El estudio de la fiabilidad se concentra principalmente en minimizar un tipo de error que introduce inestabilidad, haciendo que las puntuaciones fluctúen de forma impredecible. Error aleatorio, que hace que las puntuaciones “bailen” entre aplicaciones. Error sistemático, que está más relacionado con la validez del instrumento. Error típico de medida, que siempre se mantiene constante en la medición.

Se aplicó un test de autoconcepto a un grupo de personas. Se obtuvo un coeficiente de fiabilidad test-retest de 0.75. La estabilidad temporal es muy alta, ya que el valor se acerca a 1. La fiabilidad es inaceptable, ya que debe ser siempre superior a 0.90. La fiabilidad es aceptable o moderada, aunque inferior al valor deseable de 0.80.

Un test de Coeficiente Intelectual CI tiene una alta fiabilidad y un Error Típico de Medida SEM de 3 puntos. Entre 104 y 116. Entre 107 y 113. Exactamente en 110, ya que el test tiene alta fiabilidad.

¿Cuál es la función central del estudio de la fiabilidad en psicometría?. Determinar si un test mide lo que dice medir en diferentes contextos de aplicación. Asegurar que las decisiones tomadas a partir de las puntuaciones de un test son defendibles. Identificar y corregir el error sistemático que desvía la medida del constructo.

El método de estimación de fiabilidad Test-Retest requiere aplicar el mismo test dos veces en momentos distintos T1 y T2. El cambio real en el atributo medido. El efecto de acarreo o carry-over por recuerdo de preguntas o respuestas previas. Una reducción de la consistencia interna entre los ítems.

De acuerdo con el análisis de la Matriz de Correlaciones de fiabilidad test-retest presentado en los materiales, la correlación entre Autoestima T1 y Autoestima T2 fue 0.876. Baja estabilidad temporal, lo que sugiere que el error de medida es alto. Fuerte estabilidad temporal, ya que el nivel de asociación es muy alta. El atributo de Autoestima ha cambiado sustancialmente entre T1 y T2.

El método de Formas Paralelas busca la fiabilidad mediante la aplicación de dos versiones A y B del test que deben ser equivalentes. Deben tener la misma redacción exacta de ítems para garantizar la consistencia. Deben medir el mismo constructo y tener un número similar de ítems, cubriendo los mismos contenidos y niveles de dificultad. Deben aplicarse en momentos muy distantes en el tiempo para evitar el efecto de la memoria.

Una de las principales ventajas del uso del método de Formas Paralelas, en comparación con el Test-Retest, es que permite: Determinar la estabilidad temporal del rasgo incluso en variables que fluctúan rápidamente. Reducir el efecto memoria o de práctica, ya que las preguntas no son idénticas. Evaluar el grado de acuerdo entre distintos evaluadores o jueces.

Si calculamos la Correlación Ítem-Total RIR de un ítem y obtenemos un valor cercano a +1, ¿qué indica esto sobre el ítem?. El ítem es ambiguo o está mal redactado y no está alineado con el constructo. El ítem mide lo mismo que el conjunto de la escala, mostrando una alta coherencia. El ítem está invertido y su puntuación debería haber sido recodificada.

En el contexto de la Matriz de Correlaciones Ítem-Total, si un ítem obtiene una correlación negativa con la puntuación total del test, ¿qué error es la causa más probable si ya se ha demostrado que los demás ítems son coherentes?. El ítem mide un constructo distinto o irrelevante. El ítem está invertido y no fue recodificado antes del análisis. El número de ítems del test es insuficiente, haciendo la puntuación muy sensible al azar.

El método de las mitades partidas Split-Half estima la fiabilidad dividiendo el test en dos mitades M1 y M2. A la fiabilidad del test completo L. A la fiabilidad de cada mitad de longitud L/2. Al Error Típico de Medida del test completo.

El coeficiente Alfa de Cronbach puede interpretarse como el promedio de todas las posibles fiabilidades de mitades partidas, corregidas mediante Spearman-Brown. Instrumentos que miden constructos que fluctúan mucho, como el estado de ánimo. Escalas de diagnóstico clínico o selección, para las cuales se requiere un umbral superior a 0.95. Instrumentos psicométricos en general, ya que 0.80 es el umbral de fiabilidad buena.

Una de las limitaciones del Alfa de Cronbach es que supone tau-equivalencia. Asume que el test es multidimensional y mide más de un factor común. Asume que todos los ítems contribuyen de forma similar al factor o que tienen cargas factoriales parecidas. Asume que el coeficiente Omega de McDonald será superior al Alfa de Cronbach.

Para evaluar la fiabilidad de un sistema de codificación que clasifica mensajes verbales en categorías nominales por ejemplo, elogio, reprimenda, neutro, ¿qué índice se debe utilizar para cuantificar el acuerdo entre dos jueces que corrige el acuerdo debido al azar?. Coeficiente de Correlación Intraclase ICC, ya que mide datos continuos. Alfa de Krippendorff, que se utiliza solo para más de dos jueces. Kappa de Cohen, que compara el acuerdo observado con el esperado por azar.