El
académico Richard Phelps llamó en estas páginas a terminar con la
Prueba de Selección Universitaria (PSU). Sostuvo que ésta no puede
arreglarse y que su mala reputación perjudica a otra prueba que sí
funciona: el SIMCE. Cuatro investigadores responden aquí a sus
planteamientos: no para defender la PSU sino para criticar las pruebas
SIMCE, pues la estiman altamente perjudicial. Entre otras críticas
puntualizan que el SIMCE mide calidad sin haber definido nunca qué
entiende por ella. ¿Qué es entonces lo que mide el SIMCE, prueba a la
que los colegios le dedican cada vez más tiempo?
Recientemente, CIPER publicó una columna
del experto en medición educativa, Richard P. Phelps, quien menciona lo
que a su juicio son fortalezas y deficiencias de los dos principales
sistemas de medición estandarizada en Chile: SIMCE y PSU. Phelps fue
invitado desde Estados Unidos por la Universidad Finis Terrae para
debatir el rol de las pruebas estandarizadas en Chile. En su columna,
Phelps señala que la PSU es una prueba de altas consecuencias (se usa
para decidir a qué carrera y universidad entrará quien toma la prueba),
que adolece de problemas como el excesivo involucramiento de
economistas en su creación, la variedad de propósitos que de ella se
desprende, y la poca transparencia en su diseño. Por el
contrario, Phelps señala que el SIMCE estaría libre de estos problemas.
Desde el Colectivo Una Nueva Educación creemos que su percepción sobre
el SIMCE es equivocada. Por ello, en esta columna rebatiremos algunos
equívocos e imprecisiones descritos por el experto norteamericano,
considerando aspectos técnicos y políticos del SIMCE.
Creadores y defensores del SIMCE señalan que es una herramienta para evaluar y mejorar la calidad de las escuelas. Sin embargo, en todos los documentos formales asociados al SIMCE, no existe ninguna definición de “calidad de la educación”
En primer lugar, es necesario mencionar que la crítica de Phelps a la
variedad de propósitos de la PSU también es válida para el SIMCE. La
investigación más reciente sobre el SIMCE (el año 2013, financiada por el Consejo Nacional de Educación[1])
ha detectado 17 propósitos para este instrumento. Investigadores como
Cristián Bellei han advertido desde hace aproximadamente 10 años sobre los peligros que la multiplicidad de usos y propósitos atribuidos al SIMCE conlleva para la validez del proceso.
Esta advertencia también ha sido consignada (pero no resuelta) en el
informe de la Comisión SIMCE del año 2003. Una prueba con 17 propósitos
diferentes implica un problema técnico, ya que cada uno requiere
procesos de validación diferentes que justifiquen las interpretaciones
que se realizan en base a los puntajes de la prueba.
Además, a diferencia de lo que Phelps sostiene, el SIMCE tiene su “caja negra” al igual que la PSU. No
solamente en relación con sus marcos de evaluación, los que en otras
evaluaciones estandarizadas se publican, sino también en torno a sus
procesos de elaboración, aplicación y corrección. Ya en 1999 en un
estudio de Bárbara Eyzaguirre y Loreto Fontaine se indican los problemas
relacionados con las preguntas del SIMCE y los contenidos evaluados,
problemas que se reiteran en estudios más recientes. Además, el citado
estudio publicado en 2013 en el cual se recoge la perspectiva de
diversos actores que participan en diferentes roles y etapas del SIMCE, revela
problemas en la calidad de las preguntas, en la construcción de los
instrumentos, en la comparabilidad de resultados de un año a otro, y en
las condiciones laborales de constructores y correctores, que
podrían tener una incidencia en la calidad del instrumento y de las
interpretaciones que se hacen de sus puntajes. El SIMCE claramente no
está bien diseñado como Phelps supone.
Más importante aún, el SIMCE se basa en una noción de calidad que no
está definida. Creadores y defensores del SIMCE señalan que es una
herramienta para evaluar y mejorar la calidad de las escuelas. Al
ahondar en esta afirmación nos encontraremos nuevamente en una nebulosa,
pues ¿qué es la calidad de la educación? Pareciera ser
una pregunta que no responden ninguno de los que con convicción afirman
que es ese su propósito. De hecho, el informe citado señala que en todos los documentos formales asociados al SIMCE, no existe ninguna definición de “calidad de la educación”.
Usualmente, se cae en la afirmación, reduccionista e inadecuada, de que
dicha calidad correspondería al puntaje obtenido en el SIMCE. Sin
embargo, la ausencia de definición de ‘calidad’ implica un defecto técnico,
puesto que si se desconoce qué se evalúa, difícilmente se puede
construir un instrumento que entregue evidencia al respecto. Al no estar
definida “la calidad de la enseñanza”, cualquier interpretación que se
realice sobre ésta en base a los resultados del SIMCE no puede ser
válida, y las decisiones que se tomen sustentadas en ello pueden ser
consideradas como poco éticas. Al no haber una definición de calidad
educativa asociada a lo que el SIMCE busca medir, la “mejora” de la
calidad, entendida como un incremento en el puntaje SIMCE, da cuenta de
una grave falencia, una irresponsabilidad política que comenzó en la
dictadura militar y que se ha profundizado durante los años de
transición.
Por otra parte, Phelps se equivoca al desestimar el SIMCE como una prueba con altas consecuencias.
Un bajo desempeño de la escuela en el SIMCE implica disminución en las
matrículas, pérdida de financiamiento, disminución de la remuneración de
los profesores (pérdida del bono SNED), amenaza de cierre de la
escuela, todas consecuencias graves, que afectan directamente a
profesores y alumnos. Estos elementos, por nombrar algunos, constatan
que el SIMCE es efectivamente una prueba con altas consecuencias. De
hecho, son éstas las que obligan a las escuelas y sus profesores a
someterse a un currículum nacional progresivamente reducido y a
modificar sus prácticas pedagógicas en función de estos estándares. La
evidencia refleja que las altas consecuencias del SIMCE introducen distorsiones en el proceso educativo,
pues incentiva prácticas como el entrenamiento para la prueba en los
establecimientos, exclusión de estudiantes de bajo rendimiento, uso de
incentivos materiales a profesores y estudiantes para subir los
puntajes, estigmatización, despido de profesores y posible desmotivación
de los estudiantes al contestar la prueba. Recientemente algunas
instituciones ofrecen programas de postítulo con el objetivo explícito
de enseñar a los profesores a mejorar los puntajes en el SIMCE, en vez
de mejorar sus prácticas pedagógicas en función de las necesidades de
los alumnos. Una distorsión grave y triste del sentido de la enseñanza y
la educación.
Sammuel Messick, uno de los padres de la teoría contemporánea sobre
validez en evaluación, dice que un ejercicio necesario es ver cómo
funcionaría el sistema educativo si sacáramos una evaluación específica
de dicho sistema. Si la evaluación es más perjudicial que beneficiosa
para el sistema, ello juega en contra de su validez. En ese sentido, es posible y técnicamente recomendable pensar en un escenario sin el SIMCE,
al menos en sus condiciones actuales. Como dice Phelps, es importante
saber si los estudiantes están aprendiendo, y en ello la evaluación
juega un papel importante. No obstante, hay que preguntarse primero si
eso es lo que el SIMCE está haciendo y, en ese sentido, si resulta
necesario. Hay formas alternativas de evaluar que producen menos daños y
podrían contribuir a mejorar nuestro sistema de enseñanza, el SIMCE es
sólo una opción, que produce (y no mide) una serie de distorsiones
educativas. En este sentido creemos que la sugerencia de Phelps de
eliminar la PSU es tanto o más válida para el SIMCE, acorde a lo aquí
expuesto.
En síntesis, en discrepancia con lo planteado por Phelps, el SIMCE,
en sus condiciones actuales, posee una variedad de propósitos que le
restan validez, es una “caja negra” que presenta múltiples problemas
técnicos y tiene altas consecuencias nocivas y perniciosas para el
sistema educativo en su conjunto. Por todo lo anterior, debemos decir Alto al SIMCE,
no sólo por todas estas dificultades técnicas, sino también por una
necesidad política y valórica fundamental: rescatar el sentido de
enseñar y educar en Chile.
[1] El título del reporte es “Análisis crítico de la validez del sistema de medición de la calidad de la educación (SIMCE)”
No hay comentarios:
Publicar un comentario