MDQ - MEA 2018

mayo 23, 2018

Calidad Psicométrica de los Reactivo del Test de Literatura Mexicana Contemporánea (TELIMECO)

El TELIMECO es una prueba de conocimientos acerca de autores mexicanos y sus obras literarias que consta de 10 reactivos de opción múltiple. Se aplicó a 240 hombres y mujeres residentes del Estado de Yucatán, todos ellos y ellas mayores de edad. Estos sustentantes tuvieron un promedio de 54% con una desviación estándar de 23%, por lo tanto, esta prueba tiene una dificultad media. En la Tabla 1 se presentan los indicadores psicométricos de cada uno de los reactivos, según la Teoría Clásica de las Pruebas.

Tabla 1. Indicadores psicométricos de los reactivos según la Teoría Clásica de las Pruebas

REACTIVO	R01	R02	R03	R04	R05	R06	R07	R08	R09	R10
CLAVE	A	C	D	B	D	D	A	B	C	B
NV. DIF.	49%	57%	93%	51%	44%	57%	71%	40%	43%	39%
INDICADORES DE DISCRIMINACIÓN
CORR. REACTIVO TOTAL	0.52	0.50	0.25	0.56	0.52	0.52	0.47	0.47	0.53	0.36
GRUPO ALTO - BAJO	0.64	0.55	0.14	0.67	0.56	0.57	0.51	0.50	0.57	0.35
PRUEBA t	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00
PROPORCIÓN DE ELECCIÓN A LAS OPCIONES DE RESPUESTA
RESP. A	*49%*	18%	3%	25%	15%	17%	*71%*	18%	16%	11%
RESP. B	18%	18%	2%	*51%*	8%	11%	7%	*40%*	18%	*39%*
RESP. C	23%	*57%*	2%	18%	34%	15%	11%	23%	*43%*	35%
RESP. D	9%	8%	93%	6%	*44%*	*57%*	11%	19%	23%	14%

Dificultad

Los reactivos que conforman el TELIMECO presentan una dificultad media entre el 40% y el 60% de respuestas correctas con excepción de los Reactivos 3 y 7 con dificultades respectivas del 93% y 71% de respuestas correctas. Es de llamar la atención que éste Reactivo 3 es de tal facilidad que se recomienda excluirlo en futuras administraciones de la prueba.

Selección de Opciones de Respuesta

En todo caso, la respuesta correcta fue la elegida con mayor frecuencia y, del mismo modo, los distractores de cada reactivo fueron elegidos con al menos un 10% de frecuencia. Las excepciones se encuentran en el Reactivo 3, que ya fuera señalado por sus problemas de dificultad y donde sus distractores fueron elegidos todos con muy baja frecuencia, y en los Reactivos 1, 2, 4, 5 y 7 donde existe una opción de cada uno con baja frecuencia de elección. Se sugiere revisar cualitativamente el contenido de estas opciones en estos reactivos.

Discriminación

Utilizando la Diferencia en la Proporción de Aciertos entre el Grupo Alto y el Grupo Bajo de sustentantes, definidos como el cuartil superior e inferior de la distribución de calificaciones, se encontró que los reactivos tienen discriminaciones que van de buenas a muy buenas según los Criterios de Ebel. Nuevamente la excepción sería el Reactivo 3 que ya fuere señalado por sus problemas psicométricos, y el Reactivo 10 del cual se sugiere su revisión cualitativa.

Prueba adicional

Adicional a lo anteriormente mencionado, se analizó el TELIMECO con la Teoría de Respuesta al Ítem (TRI) corriendo pruebas a cada uno de los reactivos de dicho test con la ayuda del programa R versión 3.5.0 “Joy in playing” obteniendo de este modo la Curva Característica del Ítem (CCI) (Figura 1) de cada uno de los reactivos. Así mismo, se realizó un análisis similar al ya realizado tomando en cuenta los factores de adivinación, dificultad y discriminación.

El TRI es una teoría que agrupa líneas de investigación independientes y establece la existencia de una relación entre el comportamiento de un sujeto ante un ítem y el rasgo responsable de dicha conducta. Para ello se hace uso de funciones matemáticas que describen la probabilidad de dar un determinada respuesta al ítem para cada nivel del rasgo medido por este. En dichas funciones se toma a cada ítem o reactivo como una unidad en lugar de tomar todo el test para su posterior análisis.

Figura 1. Curva Característica del Ítem (CCI)

Para llevar a cabo el análisis correspondiente a los reactivos del TELIMECO se tomaron en cuenta los siguientes criterios: adivinación, discriminación y nivel de dificultad. De manera similar al análisis realizado con la Teoría Clásica de las Pruebas, lo que se busca en el TRI es conocer los reactivos que tienen características óptimas para formar parte del TELIMECO y cuáles necesitan ser revisados y redactados nuevamente.

Adivinación

El criterio de Adivinación se refiere al proceso en el cual el sujeto que responde la prueba la contesta sin hacer uso de la razón, es decir, elige opciones al azar. Los reactivos que demostraron tener un alto grado de adivinación fueron los Reactivos 1, 5 y 10 (Figuras 2, 3 y 4) siendo P(r1) = 0.324, P(r5) = 0.341 y P(r10) = 0.361 respectivamente. Así mismo se considera al Reactivo 4 (Figura 5) dentro de este parámetro puesto que su nivel de adivinación fue de P(r4) = 0.245 lo que lo ubica cercano al límite. Se recomienza considerar el modificar los reactivos anteriormente mencionados.

Figura 2. ICC del Reactivo 1

Figura 3. ICC del Reactivo 5

Figura 4. ICC del Reactivo 10

Figura 5. ICC del Reactivo 4

Nivel de dificultad

El nivel de dificultad se refiere al grado en que las preguntas representan un reto o no para la persona que responderá. Para este parámetro se obtuvo que los Reactivos 3, 6 y 7 (Figuras 6, 7 y 8 respectivamente) resultaron tener un nivel de facilidad alto teniendo los siguientes valores: Θ(r3) = -2. 786, Θ(r6) =-0.271, Θ(r7) = -1.011. Sin embargo, se encontró que el Reactivo 10 (Figura 4) presentaba un índice de dificultad alto siendo su valor Θ(r10) = 1.676. Los reactivos 1, 2, 4, 5, 8 y 9 presentaron una dificultad aceptable para permanecer dentro del TELIMECO. Se recomienda analizar y modificar los reactivos fáciles, así como bajar el nivel de dificultad del Reactivo 10. Se sugiere eliminar o cambiar por completo el Reactivo 3 el cual ya fue mencionado en el análisis anterior por sus problemas psicométricos

Figura 6. ICC del Reactivo 3

Figura 7. ICC del Reactivo 6

Figura 8. ICC del Reactivo 7

Discriminación del ítem

El parámetro de Discriminación se enfoca en conocer que reactivos son aptos para poder destacar a aquellos sujetos que, si bien, son aptos para cierto tipo de test. Analizando los ítems del TELIMECO se encontró que el nivel de discriminación en los ítems es aceptable. Los reactivos que tuvieron un índice de discriminación alto fueron los Reactivos 1, 5 y 10 (Figuras 2, 3 y 4) cuyos valores fueron a = 2.5. Así mismo, se tomó en cuenta a los Reactivos 2, 3, 4, 6, 7, 8 y 9 para el análisis del presente criterio el cual arrojó que tienen una pendiente y un nivel de discriminación considerablemente aceptable. Anexas se muestran las Figuras 9, 10 y 11 correspondientes a las CCI de los Reactivos 2, 8 y 9 respectivamente como muestra de las pendientes referentes al nivel de discriminación.

Figura 9. CCI del Reactivo 2