Un ítem famoso

O mundo dos exames estandarizados ten o seu propio folklore. Nos países anglosaxóns, que levan décadas publicando as cuestións das probas, é habitual atopar novas sobre exames máis difíciles do esperado/esperable, probas con erros, etc. Neste blog xa compartín algunha vez ítems que se fixeron famosos nos últimos anos, ou ben no SAT americano, ou ben no GCSE británico, ou ben nos semellantes que hai en Australia, Nova Zelandia, etc.

Como mostras: 1, 2, 3, 4

En troques, os exemplos de probas externas de España que compartín nesta entrada daban máis risa ou vergonza allea que outra cousa.

Outro mundo totalmente distinto é o das competicións e olimpíadas matemáticas, nos que o feito de que apareza un problema especialmente difícil ou que requira unha dose inusual de creatividade é visto como algo positivo. É ben coñecida a lenda da imposible cuestión número 6 dunha olimpíada matemática internacional, e é moi instrutivo o vídeo que lle dedicaron en Numberphile.

Pois ben, probablemente o ítem máis coñecido dun exame estandarizado é o que apareceu no PSAT(Preliminary Scholar Aptitude Test) de 1980, que dicía o seguinte:

Nas pirámides ABCD e EFGHI que se amosan na figura, todas as caras agás FGHI son triángulos equiláteros co mesmo lado. Se a cara ABC é colocada sobre a cara EFG de tal xeito que os vértices dos triángulos coinciden, cantas caras á vista tería o sólido resultante?

a) 5                 b) 6                 c) 7                 d) 8                 e) 9

Por que é tan famoso este ítem? 

Porque, como conta Howard Eves no seu libro Return to Mathematical Circles, o comité que creara o ítem deu por boa unha resposta incorrecta. E isto non se soubo ata que un rapaz de 17 anos, Daniel Lowen, atopou a resposta correcta e foi teimudo abondo para non admitir que lle desen por mal a súa resposta. Ata que o seu pai se puxo en contacto co Educational Testing Service

O voso choio consiste en dúas tarefas: 1º) atopar a resposta correcta e 2º) adiviñar cal era a resposta incorrecta que o comité dera por válida, e por que.

   

Facer tests

Construír probas tipo test é unha arte que require diferentes destrezas. Se queremos que a puntuación plasme con certa fiabilidade os coñecementos do examinado, temos que evitar que se poida pasar a proba recorrendo ao mero azar. Do xeito de evitar esta eiva falou Gaussianos neste artigo no País, onde deduce canto ten que restar cada fallo para que a nota esperada contestando ao chou sexa un 0. Claro que non todos os que elaboran os tests, sobre todo na universidade, teñen como obxectivo o de seren xustos. No único exame que fixen na carreira onde había un test, Métodos Numéricos I, cada fallo baixaba como un acerto, por sorte a materia era sinxela...

Confeso que eu fixen poucos tests como profesor, e os que fixen sempre funcionaron como avaliación formativa. Non estou certo de se esta escaseza provén dunha desconfianza nos tests como método avaliador ou da dificultade para elaboralos(a correción estaremos todos de acordo que é un punto a favor). Ademais da problemática analizada no devandito artigo, elaborar ben un test require preocuparnos non só de escoller ben os ítems, senón tamén de escoller ben as respostas incorrectas. Se cada ítem ten 4 opcións de resposta, as tres incorrectas deben ter un significado, unha intencionalidade. Deixando a un lado que ás veces podo querer facilitar a resposta correcta, por variadas razóns, usualmente inclúo unha resposta suficientemente absurda para que só a escolla quen non teña nin idea ou non estea prestando atención. Para introducir as outras dúas respostas hai que ter máis coidado. Normalmente asigno un erro común a cada unha, aínda que tamén teño encadeado dous, dependendo de se o procedemento examinado é o suficientemente longo.

Poñamos un exemplo trivial de posible ítem:

Cal é a solución da ecuación $6x=3$?

a) $2$	b) $\frac{1}{2}$	c) $9$	d) $-3$

Neste exemplo a opción absurda é 9, pois habería que sumar os coeficientes para obtela. Das dúas opcións incorrectas pero con xeito, a) corresponde a dividir 6 entre 3 en troques de 3 entre 6, e d) corresponde a restar 3-6. Tamén hai que ser consciente de que nun ítem así, pode haber alumnos con picardía que intúan que a resposta correcta será probablemente a que teña o aspecto máis raro.

Comparto un test deste mesmo ano, proposto na miña titoría.

Unha consecuencia de elaborar os tests deste xeito é que, cando os corriximos en clase, dan lugar a unha actividade posterior: adiviñar a intencionalidade de cada resposta incorrecta, como seguramente estaredes a facer vós.


Curiosamente comecei esta entrada pensando en falar dun ítem famoso dun test, tema que agora queda para a vindeira entrada.

Unha pregunta do GCSE

Collido do Guardian

Se botamos unha ollada aos xornais británicos(Guardian, Telegraph, Independent) resulta evidente que estamos a rematar o curso, pois xa podemos ver reaccións e comentarios aos últimos Exames de Certificación da Escola Secundaria, os famosos GCSEs. Isto debe de ser peculiar daquelas latitudes, o único que se adoita comentar en España é a parella de filósofos que caeu na Selectividade(2014, 2013). Hai anos, cando había comentario de texto tamén era habitual unha mención ao autor e o tema.

Neste caso o ítem que está a dar que falar é o seguinte, xa bautizado nos medios como Hannah's sweets:

Hai n caramelos nunha bolsa. 6 dos caramelos son laranxas. O resto dos caramelos son amarelos. Hannah colle ao chou un caramelo da bolsa. Come o caramelo. Despois colle outro caramelo ao chou da bolsa. Come o caramelo. A probabilidade de que Hannah coma dous caramelos laranxas é $\small{\frac{1}{3}}$

Amosar que

$$n^2-n-90=0$$

Se ledes algún dos artigos veredes que apuntan que provén do GCSE administrado por Edexcel. Isto pode soar raro para alguén non afeito á mercantilización extrema da educación que padecen os países anglosaxóns: O certificado xeral da escola secundaria británica (agás Escocia) non é unha proba organizada pola administración educativa estatal ou rexional, senón por certas empresas que teñen a concesión do servizo. Edexcel, por exemplo, depende do xigante internacional Pearson. A outra grande compañía administradora é AQA. No dawn of the LOMCE que estamos a sufrir, non tardaremos en ver voitres sobrevoando o ensino público. Veredes.

Admission Test-Fail

Lendo blogues de educación rematei na web da revista Bridge, magazine de The Center of Michigan, think tank non partidista do estado de Michigan. Un dos temas deste xornal é Talent&Education, o cal, recoñezo, xa me fai desconfiar. Tampouco axuda moito a aumentar a confianza que The Center of Michigan diga que está por riba dos partidos.

Aínda coas miñas reticencias, o que me fai escribir este post non é analizar as características dun think tank dos USA (na web din "think&do tank") con intereses no sistema educativo, senón traer acó un exercicio liberado do exame de certificación de profesores de Michigan, o Basic Skills Test.

Usa a gráfica de abaixo para contestar a seguinte pregunta.

Collido da web de Bridge

Cal das seguintes opcións é certa no momento T?

1. Tanto o corredor A como o B están a correr.
2. A está a correr e B está a descansar.
3. B está a correr e A está a descansar.
4. Tanto o corredor A como o B están a descansar.

Só traio este ítem dunha proba para exercer a docencia no estado de Michigan para abrir esta reflexión: Ata que punto é axeitado utilizar tests de resposta múltiple para avaliar este tipo de coñecemento matemático? (sen entrar en que así é imposible avaliar a idoneidade para a docencia, só falo de coñecemento puramente científico da materia) Que sucede se un candidato observa que este ítem, cos datos proporcionados, non pode ser contestado? Terá que escoller a opción b porque é a esperada polo órgano que fai os tests?

Se non queda claro no ítem mesmo, o que provoca a ambigüidade é que a variable dependente, "Distance", non queda claro se aparece respecto a un punto de partida, se é a lonxitude total que percorren os corredores... Unha situación acorde coa gráfica na que os dous corredores estean a correr preséntase se o durante certo tempo o corredor B fai círculos arredor do punto desde o que se mide a distancia, provocando que esta distancia permaneza constante nese intervalo. Sen máis contexto, o ítem está mal deseñado.

Non tiña pensado comentar nada máis sobre ese test, mais o último ítem liberado puido comigo. Xulgade vós se isto é axeitado nunha proba de admisión para profesores:

Bess, Tara, Gerard e Clifton traballan para a mesma empresa. Un é escritor, un investigador, un artista e un enxeñeiro. Usa os enunciados de abaixo para responder a pregunta que segue:

• Bess e Gerard comen o almorzo co enxeñeiro.
• Clifton a Tara comparten coche co investigador.
• Gerard traballa no mesmo edificio que o escritor e o investigador.

Quen é o investigador?

1. Tara
2. Bess
3. Clifton
4. Gerard

Precisamente esta semana os meus alumnos de 1º de E.S.O. tiveron que resolver un problema de lóxica deste tipo, só que máis difícil. E deron feito, por certo. Polo visto este exercicio aparece en non poucos sites de preparación de tests (probade cos nomes en google), o que fai pensar que non aparece esporadicamente, senón que estes exercicios son habituais.

Nesta época de tests e big data que nos asola habería que pedir que, xa que non o deseño do test, polo menos os items tivesen sentido. Se non é moito pedir.

Outro test de Educaplay

Hai uns días fixen este test sobre divisibilidade en educaplay. Consta de dez preguntas escollidas ao chou dun pequeno (moi pequeno) banco de preguntas que estiven a cargar na plataforma. Hai algunha pregunta capciosa por enleada, pero aínda así é sinxelo chegar ao 70% de acertos que require para ser aprobado.

Proba de Test en Educaplay

Acabo de rexistrarme e de escribir un feixe de cálculos con números enteiros, a ver que tal queda isto aquí:

Quizais utilice este test na clase, despois de practicar en That quiz:

Sumas de Enteiros