miércoles, 1 de junio de 2016

Teoria de Respuesta al Item (TRI)

Esta teoría mide la utilidad y calidad de cada reactivo de forma individual y no en la totalidad del test, es decir, el papel central es de los reactivos y no del test en general. Es un modelo estadístico que relaciona la probabilidad de respuesta a un reactivo en función a un parámetro específico del ítem (discriminación, dificultad y azar) y el rasgo latente que presenta determinado sujeto (capacidad, habilidad, aptitud). Se centra en la información que otorga determinado ítem.

CENEVALIN 2014

Parámetro de dificultad.

Al realizar el análisis de los reactivos bajo la TRI, hemos encontrado que con respecto a la dificultad el reactivo R14, es el que tiene la mayor dificultad de respuesta con 5.729 mientras que los reactivos R01, R03, R07, R09, R10, R11, R13 y R15 son los que tienen una dificultad promedio.  Los reactivos R02, R04, R05, R06, R08 y R12 son muy fáciles, específicamente el reactivo R08 con -56.110 por lo que se recomienda re-elaborarlo o descartarlo. 


Reactivo
Dificultad
01
0.715
02
-0.016
03
1.521
04
-1.536
05
-3.378
06
-1.371
07
1.103
08
-56.110
09
1.863
10
1.359
11
2.138
12
-3.282
13
1.290
14
5.729
15
1.678

Grado
Dificultad
Bajo
Mayor o igual a 3
Medio
Mayor a 0 pero menor de 3
Alto
Menor que 0

Parámetro de discriminación

Con respecto a la discriminación, se encontró con que los reactivos R01, R02, R09, R10, R11 y R13 tienen una dificultad muy alta, llama mucho la atención el reactivo R02 con 96.246 en diferencia con el R09 de 4.929. El reactivo R07 es el único con una discriminación moderada con 0.471. Los reactivos R14 y R15 tienen una discriminación muy baja con 0.194 y 0.241 respectivamente. Los reactivos R03, R04, R05, R06, R08 y R12 tienen una discriminación muy baja, sobre todo el reactivo R06 con -12.101 haciéndolo el que tiene la discriminación más baja de los 15 el cual podría no funcionar para la prueba. 

Reactivo
Discriminación
01
27.172
02
96.246
03
-0.125
04
-0.398
05
-0.537
06
-12.101
07
0.471
08
-0.012
09
4.929
10
27.495
11
11.454
12
-1.326
13
25.828
14
0.194
15
0.241

DISCRIMINACIÓN
Nula
0
Muy baja
0.01-0.34
Baja
0.35-0.64
Moderada
0.65-1.34
Alta
1.35-1.69
Muy alta
Mayor a 1.70

Parámetro de azar.

Los reactivos R02, R03, R04, R07, R14 y R15 tienen un nivel de azar muy difícil lo cual disminuye la probabilidad drásticamente de responder por simple adivinación. Mientras que el resto aumenta la probabilidad de responder por adivinación en especial los reactivos R01 R13 que podría ser muy fácil de responder por azar.

Reactivo
Azar
01
0.541
02
0.000
03
0.003
04
0.000
05
0.195
06
0.125
07
0.001
08
0.367
09
0.283
10
0.260
11
0.215
12
0.187
13
0.713
14
0.000
15
0.000

martes, 31 de mayo de 2016

Teoría Clásica de los Test (TCT)

Análisis estadístico de la prueba CENEVALIN mediante la Teoría Clásica de los Test.

El análisis se realizó con el fin de medir la calidad y utilidad individual de cada reactivo con respecto a discriminación y nivel de dificultad para determinar si el reactivo es bueno, si es apto para incluirse en la prueba, sugerir modificaciones si son necesarias o si el reactivo debe ser eliminado.

Se utilizó la prueba CENEVALIN 2014 la cual consta de 15 reactivos que evalúan las competencias en investigación científica, fue aplicada a 277 alumnos de psicología en distintas universidades alrededor del país, México.

Se midió la discriminación la cual hace referencia a si un reactivo es capaz de diferenciar el nivel de conocimientos de los individuos que tienen un nivel alto  de aquellos que tienen un nivel bajo. Los reactivos con poca discriminación son aquellos contestados al azar más que por el nivel de conocimientos. Un buen ítem debe discriminar entre los alumnos que tuvieron un puntaje alto en la prueba y quienes obtuvieron un puntaje más bajo en el test. Un ítem con un índice alto de discriminación cumple con la diferenciación entre ambos grupos.


Por otro lado, el  nivel de dificultad, se entiende como la proporción de personas que responden correctamente el reactivo de una prueba, entre mayor sea esta proporción menor será su dificultad, se trata de una relación inversa: a mayor dificultad del ítem, menor será su índice.


Los reactivos R3, R4, R5, R6, R11, R12, R13 y R14, presentan los niveles más bajos de discriminación teniendo índices entre 0.09 y 0.33 siendo el R5 el que menos discriminan con 0.09 A pesar de tener el 31.8% de respuestas correctas, no discrimina ya qué el resto de los distractores obtuvo porcentajes similares y muy equitativos entre sí, lo cual se entiende que fue contestada más por azar que por conocimiento probablemente por un error de redacción o las opciones de respuesta son muy similares confundiendo a los alumnos. En este caso se recomendaría reelaborar el reactivo corrigiendo estos detalles. Luego tenemos el reactivo R12, el cual presenta un 54.9% en la respuesta incorrecta (D) y un 20.09% en la respuesta correcta (A), con esto podemos concluir que el reactivo es de una dificultad alta, sin embargo, habría que revisar que es lo que está causando que la mayoría de los alumnos elijan la opción D como respuesta correcta, ya que podría ser un error del elaborador. Los reactivos R1, R8 y R10 son los que presentaron los índices más altos de discriminación entre 0.42 y 0.55, siendo el reactivo R8 el de mayor discriminación con 0.55.

                                        
DISCRIMINACIÓN
R01
0.54
R09
0.37
R02
0.37
R10
0.49
R03
0.32
R11
0.29
R04
0.32
R12
0.17
R05
0.09
R13
0.33
R06
0.29
R14
0.20
R07
0.38
R15
0.42
R08
0.55




Los reactivos R06, R11, R12 y R14 presentan los porcentajes más bajos en la dificultad del reactivo, con respecto a las respuestas correctas, lo cual los posiciona como reactivos difíciles; por otra parte los reactivos R1, R2, R3, R8, R13  y R15 tienen el porcentaje más alto, específicamente el reactivo R13 con 75.1% lo cual lo hace un reactivo muy fácil y posiblemente habrá que descartarlo. De igual manera, el R01 con un 63.5% de respuestas correctas lo hace un reactivo muy fácil ya que las opciones de respuesta alternativas tienen una diferencia muy grande. 


NIVEL DE DIFICULTAD
R01
63.5%
R09
31.0%
R02
58.5%
R10
32.9%
R03
54.9%
R11
22.7%
R04
35.7%
R12
20.9%
R05
31.8%
R13
75.1%
R06
20.6%
R14
24.9%
R07
37.9%
R15
40.1%
R08
58.5%


Cohen, 2010

Libro completo de Cohen.

Sobre la validez de los tests (Paula Elosua Oliden)

El objetivo de este trabajo es ofrecer una panorámica general sobre la validez centrada en los últimos estándares, que la definen como el aspecto más relevante tanto en el desarrollo como en la evaluación de los tests.

Cevalin

A continuación se te presentan algunos reactivos de opción múltiple que evalúan competencias de investigación del psicólogo. Los cuales sirvieron para la base de datos que se utilizo en el reporte.

CEVALIN

miércoles, 25 de mayo de 2016

Pautas para realizar buenos items

1.  Cada pregunta debe reflejar un contenido específico y un sólo comportamiento mental específico, tal como se requiere en las especificaciones del examen.

(Incorrecta)
¿Quién y en qué año creo el primer laboratorio de psicología?
a)       Freud en 1877.
b)      Piaget en 1876
c)       Wundt en 1879.

(Correcto)
¿En qué año Wundt crea el primer laboratorio de psicología
a)       1878.
b)      1879.
c)       1880.


2. Basar cada pregunta en algún punto importante del contenido que aprender; evitar contenido trivial.

(Incorrecto)
¿Cuántos hermanos tenia Alfred Adler?
a)       Dos hermanos.
b)     Cuatro hermanos.
c)     Cinco hermanos.


(Correcto)
¿A qué corriente psicológica perteneció Carl Rogers?
a)     Psicoanálisis.
b)   Humanismo.
c)   Conductismo.

3. Usar material novedoso para medir aprendizaje de un nivel superior. Parafrasear el lenguaje del libro de texto o el lenguaje usado durante la instrucción en un examen para evitar la simple rememoración del material.

(Incorrecto)
Imagen retenida en la mente por el estímulo directo de un color, pero el cual no se halla ante el ojo. Ocurre cuando se observa durante un tiempo una superficie de color y luego se desliza el ojo rápidamente sobre una superficie gris o blanca. De acuerdo a la definición del libro que nombre recibe este efecto.
a)       Figura fondo.
b)      Post imagen.
c)       Fenómeno phi.

(Correcto)
Juan un día navegando en internet se encuentra con una imagen a la cual se le queda mirando  por diez segundos, pasado ese tiempo al cerrar sus ojos sigue viendo la imagen en su mente, ¿cómo se llama este efecto?
a)       Fenómeno phi.
b)       Figura fondo.
c)     Post imagen.

4. Guardar el contenido de cada pregunta independiente del contenido de otras preguntas del examen.

(Incorrecto)
 Define inteligencia emocional.
a)       Capacidad de salir de las situaciones difíciles de la vida
b)     Capacidad de percibir, entender y manejar emociones propias o ajenas.
c)      Capacidad de controlar una emoción negativa.

(Correcto)
 La capacidad de entender y manejar las propias emociones y la de los demás es:
a)       Resiliencia.
b)      Pensamiento pos formal.
c)       Inteligencia emocional.

5. Evitar un contenido demasiado específico o demasiado general al escribir las POM.

(Incorrecto)
¿Cuál de las siguientes opciones es un sistema?
a)       Una computadora
b)      Una familia
c)       Ninguna

(Correcto)
¿Cuál de las siguientes opciones es parte del sistema solar?
a)      Pegaso
b)      Plutón
c)      Pulsar

6. Evitar preguntas basadas en opiniones.

(Incorrecto)
Dos hermanos jóvenes se han visto metidos en serios problemas. Iban a escapar de la ciudad en secreto y rápidamente, pero necesitaban dinero. El mayor, Carlos, cruzó la puerta de unos grandes almacenes y robó 10, 000 pesos. El más joven, Pablo, acudió a un hombre mayor, famoso por ayudar a la gente de la ciudad. Le dijo al hombre que estaba muy enfermo y necesitaba 10, 000 pesos para pagar su operación. En realidad, Pablo no estaba enfermo y no tenía intención de devolverle el dinero al hombre. Aunque el hombre no conocía muy bien a Pablo, le presto dinero. Así es que Pablo y Carlos se escaparon de la ciudad con $10,000 pesos cada uno. ¿Qué es peor…?
a)       Robar como Pablo
b)       Ambos estuvieron mal
c)      Lo importante es que escaparon

7. Evitar preguntas capciosas.

(Incorrecto)
Si un tren eléctrico va de norte a sur y hay un viento de 65km/hr en dirección suroeste ¿hacia qué dirección echará humo?
a)       Norte
b)      Sur
c)       Ninguno

(Correcto)
Si un tren va de norte a sur y hay un viento de 65km/hr en dirección suroeste ¿hacia qué dirección echará humo?
a)       Norte
b)      Sur
c)       Noreste


8. Mantener el vocabulario sencillo (apropiado) para cada grupo de estudiantes.

(Incorrecto)
Jaime es un sicofanta ¿qué palabra usarías para describirlo en base a su comportamiento?
a)       Calumniador
b)      Comunicativo
c)       Agradable

(Correcto)
Jaime es un individuo al que le gusta inventar chismes de sus vecinos para arruinar sus reputaciones, ¿qué palabra usarías para describirlo en base a su comportamiento?
a)       Mentiroso
b)      Comunicativo
c)       Agradable

9. Usar las tres versiones de la POM: la de la pregunta, la que se tiene que completar y la que requiere la mejor respuesta; también la de la OA, la de V-F, la del emparejamiento, la que depende de un contexto y la del conjunto de preguntas, pero EVITAR el formato de la POM compleja (tipo K).

El planeta _______ es el segundo más cercano al sol
a) Urano
b) Saturno
c) Venus

Escribe en el paréntesis F si es falsa la oración y V si es verdadera.
1., La era de ventas se caracteriza porque en las empresas se invierte mucho dinero y esfuerzo en las actividades de promoción surge métodos de ventas, que bajo presión para el cliente resultaban supuestamente irresistibles. ( V )


2., En la era de marketing moderno marca la llegada del consumidor como el actor principal en el intercambio comercial. ( F )
Relaciona las columnas.
Bienes económicos
Es un conjunto de impuestos que rigen en un país en un determinado momento, la tendencia universal es a que existan varios impuestos y no uno solo.
Plusvalía
Es la capacidad que tienen las mercancías para satisfacer las necesidades.
Valor de uso
Son aquellos que han de ser escasos en la relación a las necesidades y tienen varios usos posibles buscando el mejor uso.

Son antecedentes del Nacional Socialismo Alemán.
I. Humillación del pueblo ante el tratado de Versalles.
II. Rearmar a Alemania.
III. Profundo orgullo nacionalista basado en la idea de la aza superior y espacio vital del pueblo alemán.
IV. Unir a todos los alemanes.
V. Reactivar la economía.
VI. Deseo de venganza de los soldados alemanes a los vencedores de la primera guerra mundial.a) I, III y V
b) II, IV y VI
c) I, III y VI

¿A qué género literario pertenece el siguiente fragmento?
“Me es imposible decir cómo aquella idea me entró en la cabeza por primera vez concebida, me acosó noche y día. Yo no perseguía ningún propósito. Ni tampoco estaba colérico. Quería mucho al viejo. Jamás me había hecho nada malo. Jamás me insulto. Su dinero no me interesaba.
Me parece que fue su ojo. ¡Sí, eso fue! Tenía un ojo semejante al de un buitre… Un ojo celeste, y velado por una tela.”
Edgar Allan Poe. “El corazón delator”

a) Dramático
b) Narrativo
c) Didáctico


10. Formatear la pregunta verticalmente en lugar de horizontalmente.

(Incorrecto)
Cuerda es a guitarra como:
a) Plato: cuchara     b) Casa: departamento     c) Alfombra: espejo

(Correcto)
VERTICAL
Cuerda - Dedo:
a) Zapato -Calcetín
b) Bolígrafo-Mano
c) Guitarra-Mano
d) Pie-Zapato


11. Editar y corregir las preguntas

(Incorrecto)
El Principito le dijo a Saint-Exupéry que le dibuje algo… ¿Qué es lo que le pide?
a)       Un sombrero
b)      Un cordero
c)       Un elefante

(Correcto)
En el libro, El Principito le pide al aviador que le dibuje un…
a)       Sombrero
b)      Cordero
c)       Elefante
  

12. Usar gramática, puntuación, mayúsculas y ortografía correcta

(Incorrecto)
De que estilo arquitéctonico es la catedral de notre dam en parís?
a)       Románico
b)      Gótico
c)       Barroco

(Correcto)
¿De qué estilo arquitectónico es la Catedral de Notre Dame en París?
a)       Románico
b)      Gótico
c)       Barroco

13. Reducir al mínimo la cantidad de palabras en cada pregunta

(Incorrecto)
¿Cuál es el nombre del famoso pintor mexicano que mantuvo una relación y estuvo casado con Frida Kahlo?
a)       José Vasconcelos
b)      Diego Rivera
c)       León Trotsky

(Correcto)
¿Quién fue el esposo de Frida Kahlo?
a)      José Vasconcelos
b)      Diego Rivera
c)      León Trotsky

14. Asegurar que las instrucciones en el tallo estén clara

(Incorrecto)
Selecciona cuales de las funciones trigonométricas presentadas a continuación tienen valor diferente al positivo en el tercer cuadrante.
1.    Seno
2.    Coseno
3.    Tangente
4.    Cotangente
5.    Secante
6.    Cosecante

a)       1,2,3,4
b)      1,2,5,6
c)       1,3,4,6
d)      2,3,4,5

(Correcto)
Selecciona las funciones trigonométricas cuyo valor sea negativo en el tercer cuadrante.
1.       Seno
2.       Coseno
3.       Tangente
4.       Cotangente
5.       Secante
6.       Cosecante

a)       1,2,3,4
b)      1,2,5,6
c)       1,3,4,6
d)      2,3,4,5

15.- Incluir la idea central en el tallo en lugar de ponerla en las opciones.

(Incorrecto)
Guadalupe Victoria fue:

a)       Último Rey de España
b)       Primer presidente de México
c)      Primer Gobernador de Coahuila

(Correcto)
¿Quién fue el primer presidente de México?

a)         Benito Juarez
b)        Guadalupe Victoria
c)         Francisco Villa

16.- Evitar adornos (verbosidad innecesaria).

(Incorrecto)
Etapa del desarrollo humano en la cual según Papalia se desarrollan las habilidades motoras finas y gruesas que se refieren al uso de las manos, dedos, pies y brazos y piernas respectivamente.

a)       Infancia intermedia
b)       Infancia temprana
c)       Adolescencia

(Correcto)
Etapa del desarrollo humano en la que se desarrollan las habilidades motoras finas y gruesas.
a)       Adolescencia
b)       Infancia temprana
c)      Infancia intermedia

17.- Afirmar en lugar de negar y evitar palabras como NO y EXCEPTO.  Si se usan palabras negativas, usar la palabra con cuidado y siempre asegurar que aparezca con MAYÚSCULAS y NEGRITAS.

(Incorrecto)
Todos estos son elementos de la tabla periódica, excepto:
a)       Pb
b)      H
c)       Sd

(Correcto)
¿Cuál de estos es un elemento de la tabla periódica?

a)    Sd
b)    Vh
c)    Pb

18.- Incluir tantas opciones viables como pueda, pero la investigación sugiere que tres opciones son suficientes.

(Incorrecto)
Teórico que enfatiza la importancia de los impulsos y deseos reprimidos.
a.       Erikson
b.       Bowlby
c.       Adler
d.       Freud
e.       Rank

(Correcto)
Teórico que enfatiza la importancia de los impulsos y deseos reprimidos.
a)    Freud
b)    Adler
c)    Bowlby

19.- Asegurarse que solo una de las opciones sea la respuesta correcta.

(Incorrecto)  
 Psicólogo del enfoque conductista 
a.       kinner
b.       Thorndik
c.       Rogers

(Correcto)
Psicólogo del enfoque conductista.
a.       Thorndik
b.       Horney
c.       Ellis


20. ordenar las opciones en un orden lógico o numérico.

(Incorrecto)
Es aquel que se alimenta tanto de vegetales como animales.
a)       Herbívoros.
b)      Omnívoros.
c)       Carnívoros
d)      Insectívoros.

De la siguiente oración: El perro corre rápido ¿Cuál es el sustantivo?
a)       El
b)      Perro
c)       Corre
d)      Rápido

(Correcto) 
Es aquel que se alimenta tanto de vegetales como animales.
a)         Herbívoros.
b)        Carnívoros
c)         Insectívoros.
d)        Omnívoros.

De la siguiente oración: El perro corre rápido ¿Cuál es el sustantivo?
a)         Perro
b)        El
c)         Rápido
d)        Corre

21. ordenar las opciones en un orden lógico o numérico.

(Incorrecto)
¿En qué fecha se CONSUMÓ la independencia de México?
a)       16 de septiembre de 1821
b)      16 de septiembre de 1810
c)       27 de septiembre de 1821
d)      27 de septiembre de 1810

(Correcto)
¿En qué fecha se CONSUMÓ la independencia de México?
a)       16 de septiembre de 1810
b)      27 de septiembre de 1810
c)       16 de septiembre de 1821
d)      27 de septiembre de 1821
  
  22. Mantener las opciones independientes; las opciones no deberían traslapar.

(Incorrecto)
¿Cuál de los siguientes animales es un mamífero?









(Correcto)

¿Cual de los siguientes animales es un mamifero?






23. Mantener las opciones homogéneas en términos de contenido y estructura gramatical.

(Incorrecto)
Completa correctamente el siguiente enunciado: _____________ es el tercer planeta del sistema solar.

a)       El sol

b)      Mercurio

c)       La tierra

d)      Saturno

(Correcto)
Completa correctamente el siguiente enunciado: El planeta ____________, es el tercer planeta del sistema solar.

a)       Mercurio

b)      Tierra

c)       Saturno

d)      Plutón 


24. Mantener homogeneidad en la extensión de las opciones

(Incorrecto)
¿En qué fecha descubrió Cristóbal Colón el continente americano?
a)       24 de septiembre
b)      12 de octubre de 1492 
c)       1493
d)      12 de octubre de 1493

(Correcto)
¿En qué fecha descubrió Cristóbal Colón el continente americano?
a)    24 de septiembre de 1492
b)    12 de octubre de 1492 
c)    24 de septiembre de 1493
d)    12 de octubre de 1493

25.-Nunca se debería usar como última opción "Ninguna de las opciones anteriores"

(Incorrecto)
¿Cuál de los siguientes elementos químicos es un gas noble?

a)       Cesio
b)       Helio
c)       Sodio
d)       Todas las anteriores

(Correcto)
¿Cuál de los siguientes elementos químicos es un gas noble?

a)       Cesio
b)      Helio
c)       Galio
d)      Sodio

26.- Así mismo evitar "Todas las opciones anteriores"

(Incorrecto)
Cuando el dialogo se interrumpe y la expresión del personaje permanece inconclusa. ¿Qué tipo de recurso expresivo es?

a)       Expresión coloquial
b)       Expresión de suspenso
c)       Expresión breves
d)       Todas las Anteriores

(Correcto)
¿Rasgo de la poesía lírica que se describe como los elementos del cauce sentimental que se hallan en los poemas?

a)       Motivo intimista
b)       Expresión intimista
c)       Expresión sentimental
d)       Motivo sentimental


27.- Escribir opciones que afirman; Evitar negativos como "No"

(Incorrecto)
¿Cuál de las siguientes propuestas define mejor al relato?

a)     Serie de actos por las cuales el autor trasmite el suceso.
b)     No es un conjunto de cuadros que el autor señala hacia alguien más.
c)     No es una serie de actos que se quieren dar a conocer en específico.
d)     Serie de actos donde sólo importa dar a conocer una historia en primera persona.

(Correcto)
¿Cuál de las siguientes propuestas define mejor al relato?

a)       Serie de actos por las cuales el autor trasmite el suceso.
b)      Conjunto de cuadros que el autor señala hacia alguien más.
c)       Conjunto de actos por medio de los que se narra un suceso en específico.
d)      Serie de actos donde solo importa dar a conocer una historia en primera persona.

28.- Opciones absurdas o ridículas.
Después de asegurar la neutralidad de la Unión Soviética (con el pacto de no-agresión entre Alemania y la URSS), Alemania desató la Segunda Guerra Mundial con la invasión de Polonia el 1 de septiembre de 1939.

(Incorrecto)
1.-Después de asegurar la neutralidad de la Unión Soviética (con_____________ entre Alemania y la URSS), Alemania desató la Segunda Guerra Mundial con la invasión de Polonia el 1 de septiembre de__.

a)       El abrazo de Acatempan-1989
b)      El plan de Iguala-1827
c)       El pacto de no-agresión-1939
d)      El tratado de libre comercio-1990              

(Correcto)
1.-Después de asegurar la neutralidad de la Unión Soviética (con______________ entre Alemania y la URSS), Alemania desató la Segunda Guerra Mundial con la invasión de Polonia el 1 de septiembre de___.

a)       El pacto de no-agresión-1939
b)      El Tratado de Versalles- 1871
c)       El Tratado de Brest- Litovsk-1918
d)      Ley de las costas judiciales- 1994

Opción conspicuamente correcta

(Correcta)
Julio César Chávez es a box como _______ es a fútbol
a)         Sergio Pérez
b)         Michael Jordan
c)         Michael Phelps
d)         Diego Maradona


(Incorrecto)
Julio César Chávez es a box como _____ es a fútbol

a)            El "Chepo" Pérez
b)            Rafael Nadal
c)             Michael Jordan
d)            Diego Armando Maradona

Opciones en pares o tercias.

(Incorrecto)
Los 3 estados del agua son:

a)            Sólido, líquido y gaseoso
b)            Sucia, limpia y purificada.
c)            Hielo, agua y gas.
d)           Sólida, líquida y purificada.

(Correcto)
Los 3 estados del agua son:

a)           Ebullición, Condensación y Evaporación.
b)           Plasma, Sólido y gaseoso
c)            Líquido, gaseoso y sólido.
d)           Gaseoso, Plasma y líquido