Las mediciones masivas: una producción política de sentidos y significados sobre los sistemas educativos
Mass Measurements: A Political Production of Meanings on Educational Systems
As medições massivas: uma produção política de sentidos e significados sobre os sistemas educativos
Carmenza Sánchez Rodríguez
Universidad Santo Tomás, Universidad Pedagógica Nacional de Colombia. casaro94@gmail.com
http://dx.doi.org/10.18634/sophiaj.13v.1i.687
Resumen
El artículo recoge reflexiones producto de revisiones documentales y discusiones con docentes y expertos en evaluación educativa. Lo cual ha permito trascender la comprensión de la evaluación desde una práctica técnica a una práctica política producida desde una visión de mundo que legitima e instala ciertos sentidos y significados sobre los sistemas educativos y sus actores, generando unas formas específicas de relación y organización que producen exclusión. En esta perspectiva se analizan algunos de los sentidos y significados producidos por las prácticas de medición masivas que, presentadas como una práctica técnica, obvian la discusión de las visiones de mundo, concepciones y valoraciones desde las cuales son producidas. Se abordan las concepciones sobre la evaluación, el conocimiento evaluado, las culturas reconocidas y los procesos de exclusión que se generan a partir de estas prácticas, así como sus efectos para las instituciones y los sujetos, concluyendo que las pruebas son invenciones del siglo XX, y los problemas pedagógicos y técnicos que ocultan no han sido discutidos, pero especialmente se han ignorado sus implicaciones en términos de calidad y equidad y su papel político en la reproducción y legitimación de las diferencias.
Palabras clave: Equidad, evaluación, exclusión, calidad, pruebas masivas.
Abstract
This article includes reflections resulting from documentary reviews and discussions with teachers and experts in educational evaluation. This has allowed us to transcend the understanding of evaluation from a technical practice to a political practice produced from a world view that legitimates and installs certain meanings on the educational systems and their actors, generating specific forms of relationship and organization that produce exclusion. In this perspective, we analyze some of the meanings produced by mass measurement practices that, presented as a technical practice, obviate the discussion of the worldviews, the conceptions and the evaluations from which they are produced. There are discussed concepts about evaluation, the assessed knowledge, recognized cultures and the processes of exclusion generated by these practices, as well as their effects on institutions and persons. It is concluded that the tests are inventions of the twentieth century, and that there have not been discussed the pedagogical and technical problems they conceal; but especially, there have been ignored their implications in terms of quality and equity and their political role in the reproduction and legitimation of differences.
Key words: Equity, evaluation, exclusion, quality, massive tests.
Resumo
O artigo apresenta reflexões resultadas de análises documentais e discussões com professores e especialistas em avaliação educativa. Isto tem permitido ultrapassar a compreensão da avaliação desde uma prática técnica até a compreensão da avaliação desde uma prática política, produzida a partir de uma visão do mundo que legitima e instala certos sentidos e significados sobre os sistemas educativos e seus atores, gerando umas formas específicas de relacionamento e organização que produzem exclusão. Nesta perspectiva são analisados alguns dos sentidos e significados produzidos pelas práticas de medição massivas que, apresentadas como práticas técnicas ignoram a discussão sobre as visões do mundo, concepções e avaliações a partir das quais são produzidas. São abordadas as conceições sobre a avaliação, o conhecimento avaliado, as culturas reconhecidas e os processos de exclusão gerados a partir de tais práticas, assim como seus efeitos para as instituições e os sujeitos, concluindo que os testes são invenções do século XX, e os problemas pedagógicos e técnicos que eles escondem, não foram ainda discutidos; especialmente, foram ignoradas suas implicações em termos de qualidade e equidade, e a sua função política na reprodução e legitimação das diferenças.
Palavras- chave: equidade, avaliação, exclusão, qualidade, testes massivos.
"Las pruebas son invenciones del siglo XX, y los problemas pedagógicos y técnicos que ocultan no han sido discutidos, pero especialmente se han ignorado sus implicaciones en términos de calidad y equidad y su papel político en la reproducción y legitimación de las diferencias".
Carmenza Sánchez Rodríguez (2016)
Este artículo entiende la evaluación1 como una práctica política, es decir, como aquella que se produce desde una visión de mundo que instala y legitima ciertos sentidos y significados sobre un fenómeno, en este caso las mediciones masivas, y las formas de relación y organización que ella crea. Esta práctica, que en principio se entiende como una actividad técnica, alejada de cualquier factor subjetivo, debido a su pretendido carácter neutral y objetivo, ha construido y se ha construido desde ciertas visiones de mundo que han legitimado concepciones sobre el conocimiento, su lugar de producción, el papel de la escuela en la transmisión o construcción del mismo y el éxito o fracaso de los sistemas educativos y los sujetos, reproduciendo y, sobre todo, legitimando la homogeneización y los procesos de exclusión.
Los sentidos y significados producidos por la evaluación
Desde esta concepción de la evaluación como práctica política se realizará un análisis de los sentidos y significados producidos por las mediciones masivas en el ámbito educativo.
La evaluación como práctica neutral y objetiva
Aunque la evaluación en el ámbito educativo ha sido resignificada2 como una práctica pedagógica al servicio de los procesos de enseñanza - aprendizaje, cuando se habla de las mediciones masivas, la evaluación se asume como una práctica técnica, más asociada a la psicometría que a la pedagogía que parece no implicar posturas o visiones sobre los procesos educativos. No solamente porque la evaluación de la calidad se asume como un proceso técnico sino porque no convoca, entre sus criterios, las apuestas formativas de las instituciones.
Estas mediciones se realizan desde enfoques técnicos que pretenden controlar los sesgos en la elaboración de las preguntas, las ambigüedades y todos los componentes subjetivos o ideológicos que puedan afectar la medición. La psicometría ha intentado revestir a la evaluación de las características de "neutralidad y objetividad" y para ello ha diseñado sofisticados métodos estadísticos e instrumentos de medición que buscan un estricto control y seguimiento del proceso, garantizando así la supuesta igualdad de condiciones para los evaluados y "evitando" que la evaluación esté atravesada por prejuicios, sesgos, elementos ideológicos o subjetivos. En este sentido, tanto el proceso de elaboración de las preguntas como la aplicación y lectura de resultados responden a protocolos establecidos y validados para garantizar la confiabilidad y la validez de los instrumentos y las mediciones.
Sin embargo, las críticas al positivismo y las nuevas corrientes epistemológicas han dejado claro que es imposible garantizar la neutralidad del sujeto cognoscente, puesto que este no solo aborda el conocimiento de los objetos o fenómenos desde sus concepciones, prejuicios, intereses y visiones, sino que los construye a partir de ellas. Este hallazgo epistemológico no solo se aplica a la producción de conocimiento, sino que puede ser predicado de cualquier práctica de producción de saber. "De este modo, cualquier evaluación es implícitamente orientada por determinados valores, aunque siempre se presentan los resultados como "objetivos" y "científicos"" (Roth, 2010, p. 6, citado por Sánchez, 2015).
La concepción de la evaluación como una práctica neutral - objetiva ha provocado, en la práctica de las mediciones masivas, que los sujetos asuman los resultados de la evaluación como juicios universalmente válidos e irrefutables sobre los saberes de los sujetos, la calidad de las instituciones y los sistemas educativos, sin cuestionar el contenido de dicha evaluación, los valores, visiones de mundo y concepciones que se movilizan a través de ella.
La concepción de conocimiento como universalmente válido o social e históricamente reconocido
Concebir la evaluación como una práctica neutral y objetiva lleva implícita una concepción de conocimiento según la cual hay unos saberes o habilidades universalmente válidos que todo estudiante debe poseer al egresar de un determinado grado:
Las pruebas masivas, parten del postulado de que existe un único conocimiento, que se aborda de igual manera desde cualquier contexto o cultura. La física, la matemática, el lenguaje, la ciencia son lo mismo en Londres que en el Chocó, sobre esta base se aplican las pruebas internacionales de matemáticas, TIMSS, y los exámenes de lenguaje y matemáticas del Laboratorio Latinoamericano para la Evaluación de la Calidad Educativa de la UNESCO (Sánchez, 2015: 18).
Otros afirman en una concepción diferente, pero igualmente hegemónica, que son saberes social e históricamente reconocidos que deben ser aprendidos por los estudiantes y enseñados en la escuela. Estas dos concepciones sobre el conocimiento, movilizadas a través de la evaluación, mantienen posturas hegemónicas sobre lo que se debe aprender y enseñar en la escuela y desconocen los saberes producidos en culturas no hegemónicas o los producidos en culturas hegemónicas pero que no son saberes hegemónicos. En este sentido, lo social e históricamente reconocido llegó a ser tal porque fue seleccionado por un grupo social dominante que lo reconoció, que lo consideró importante para ser aprendido en la escuela y evaluado en las pruebas. En este proceso de selección algunos saberes fueron considerados relevantes, otros no, y esa selección se realizó desde unas visiones de mundo específicas que han hecho apuestas por culturas y modos de producción determinados.
Las mediciones masivas trabajan sobre una concepción limitada del conocimiento que sólo reconoce aquellos saberes hegemónicos que se han convertido, en palabras de Kuhn (1962), en "ciencia normal". Sin embargo, lo que ha posibilitado el desarrollo científico han sido las posturas críticas frente a las teorías, el cuestionamiento de los saberes social e históricamente reconocidos y el cuestionamiento de postulados científicos que se han convertido en axiomas3.
La cultura que reconoce y legitima la evaluación
En la perspectiva de los saberes hegemónicos, la evaluación para un sujeto que no pertenece a la cultura dominante no referencia los saberes de su cultura. Esta medición no solo ignora sus saberes, sino que desconoce su cultura, pues lo que se reconoce y legitima es la cultura occidental, blanca, masculina y urbana. El estudio realizado por Hederich & Camargo (2000), sobre estilo cognitivo y logro educativo, muestra que en las mediciones masivas son estos grupos poblacionales quienes obtienen mejores resultados, es decir, es la cultura de estos la que se legitima en los procesos de evaluación.
Sin embargo, la evaluación en Latinoamérica, dada la diversidad étnica, cultural y las condiciones económicas de sus países se ha convertido en una práctica de exclusión para las minorías4. Por ejemplo, las poblaciones ancestrales (más de 90 grupos en Colombia) obtienen los más bajos resultados en la prueba de lenguaje, que evalúa competencias comunicativas. Sin embargo, algunos de estos grupos hablan entre 5 y 9 dialectos en su comunidad y su tradición es oral. Por otro lado, la prueba se realiza en idioma español y en forma escrita, lo cual es otro elemento indicativo de la cultura dominante.
La lectura de los resultados y los "fracasos reiterados" de estos grupos se leen: "No como diferencias culturales, sino como desniveles intelectuales" (Torrado, 2002:33), responsabilizando a los sujetos por los bajos resultados sin cuestionar las limitaciones técnicas de la evaluación que impiden que estos grupos demuestren, en actuaciones reales, la competencia comunicativa que poseen en su lengua. Es preciso insistir en que la competencia comunicativa está relacionada con la apropiación de la gramática de una lengua específica en sus contextos de actuación y no con una competencia abstracta que haga que un sujeto se desempeñe de manera eficaz en cualquier lengua, aunque este parece ser el supuesto de la evaluación en este campo.
Los objetos de evaluación: Los conocimientos medibles y constatables
Los procesos de estandarización que llevan implícitos las mediciones masivas suponen una reducción de los saberes y los procesos formativos, ya que en ellos solo se tiene en cuenta aquello que puede ser fácilmente medible y constatable. Las limitaciones técnicas de la medición hacen que en una prueba solo se puedan evaluar los saberes que pueden ser reducidos a una opción de respuesta cerrada. Ello implica que asuntos como las competencias, (que por definición tienen un carácter creativo, debido a que suponen una actuación en un contexto específico y dicha actuación está determinada por las características singulares y específicas del mismo), son imposibles de medir en una prueba masiva.
Las pruebas podrían dar cuenta de una competencia interpretativa, relacionada con la comprensión lectora, de lo cual no se podría inferir siquiera una competencia comunicativa, es difícil sostener que las pruebas puedan evaluar competencias en otras áreas, ya que la evaluación de competencias es una evaluación centrada en el desempeño que supone, entre otras características: "La habilidad de trasladar el conocimiento y la comprensión a la acción... y construir y proporcionar respuestas originales" (Díaz, 2005:128).
Desde lo expuesto se infiere que si la calidad de la educación está relacionada con la capacidad de la escuela para desarrollar competencias5, no es posible conocer los niveles de competencia de los estudiantes ya que las pruebas no son evaluaciones de desempeño.
Las concepciones sobre enseñanza y aprendizaje que promueve la evaluación
Las mediciones masivas también llevan implícitas unas concepciones sobre la enseñanza y el aprendizaje según las cuales todos aprenden lo mismo y de la misma manera, y por ello pueden ser evaluados a través de la misma prueba. También hay implícitas unas concepciones de homogeneidad respecto de los sujetos, que desconocen las diferencias en los estilos cognitivos, ritmos y estilos de aprendizaje, sólo por mencionar algunas.
Por ejemplo, las mediciones masivas favorecen unos estilos cognitivos sobre otros. Un estudio realizado por Hederich & Camargo en el año 2000, sobre estilo cognitivo y logro educativo, muestra: "Que el sistema educativo favorece el logro de aprendizaje (competencias) de uno sólo de los estilos cognitivos considerados: el menos común en la población..." (p.139), que es el estilo cognitivo independiente.
Estas concepciones sobre el aprendizaje, la enseñanza y la evaluación como procesos homogéneos, han derivado en prácticas de estandarización y homogenización de los procesos y de los sujetos, desconociendo una larga lucha dada desde las ciencias sociales por el reconocimiento de la singularidad de los sujetos y de los procesos, que no es solamente un asunto pedagógico sino político y ético relacionado con el reconocimiento de la diversidad y las diferencias.
Desde este enfoque, la práctica evaluativa, conocida como una fase de los procesos de enseñanza - aprendizaje se convirtió de medio a fin de estos procesos. Se enseña para evaluar y se aprende para ser evaluado y el currículo, entendido no solamente como el plan de estudios, sino como las relaciones entre los sujetos (docentes- estudiantes, padres-estudiantes, docentes-directivos), las relaciones de la escuela con la sociedad y el conocimiento, las apuestas formativas y pedagógicas y las interacciones entre los sujetos terminaron reducidas por la evaluación. El currículo se redujo a plan de estudios y el plan de estudios a lo que se evalúa en las pruebas.
Un estudio realizado por el Observatorio Nacional de Políticas en Evaluación (ONPE) de la Universidad Pedagógica de Colombia (Suárez 2007) muestra que las instituciones han reducido sus planes de estudio a aquello evaluado en las pruebas, que las áreas que no son objeto de mediciones masivas han sido relegadas a un segundo lugar, que se han reducido las horas para la enseñanza de estas o han desaparecido de los planes de estudios. También concluye que los Proyectos Educativos Institucionales, que en Colombia permitían que las instituciones realizaran apuestas formativas acordes con las necesidades de sus contextos, fueron olvidados como proyectos, cuando se evidenció que la evaluación no tenía en cuenta las singularidades de las instituciones.
La concepción sobre la calidad de la educación
La concepción de calidad relacionada con los resultados de las pruebas circula en lo que se ha denominado una petición de principio6: "La calidad de la educación es mala porque los resultados son malos y los resultados son malos porque la calidad de la educación es mala" (Sánchez, 2012:20).
Esta falacia de los discursos sobre calidad obliga a cuestionar la noción de calidad, ya que como ha afirmado el ONPE: "La calidad es una categoría abstracta susceptible de múltiples contenidos" (Sánchez, 2012:19). En la política pública educativa la calidad es entendida desde los resultados en las pruebas, es decir, la calidad se concibe como producto. En el campo pedagógico y en términos de la función social de la escuela, que entiende la educación como un derecho, la calidad de la educación está relacionada con proveer las condiciones necesarias para que los estudiantes logren los aprendizajes.
Por ello, desde la perspectiva de la equidad y el reconocimiento de las diferencias, la escuela debe proveer las herramientas necesarias para que los estudiantes puedan desarrollar, de forma exitosa, cualquier proyecto de vida (que va desde ser agricultor, cantante o deportista hasta las profesionales liberales más tradicionales como la medicina o el derecho). La escuela no se creó solamente para los estudiantes que desean continuar la vida académica en las universidades, la escuela atiende a poblaciones diversas que ingresan a ella con diferentes necesidades y expectativas y por ello requieren aprendizajes diferentes y diferenciados. La capacidad de respuesta a estas necesidades e intereses debe ser tenida en cuenta al evaluar la calidad de la educación.
En Colombia: "Solo 20 de cada 100 bachilleres accede a la educación superior" (Caracol, 2005), esto quiere decir que, bien sea por las condiciones económicas que impiden que todos los estudiantes que egresan de la educación media ingresen a la educación superior o porque no todos los estudiantes desean continuar estudios terciarios, el 80% de la población tiene un proyecto de vida diferente al académico. Por otro lado, un país requiere para la construcción de un proyecto colectivo sujetos dedicados a diversas ocupaciones. Que algunas de ellas no sean reconocidas socialmente implica que los Estados y la escuela deben trabajar para garantizar que las condiciones de esa ocupación sean dignas y permitan a quienes las ejercen movilidad y valoración social, pero nunca supone que quienes deseen dedicarse a ellas no tenga un proyecto de vida legítimo al cual la escuela no tenga la obligación de aportar. Cuando la calidad de la educación se entiende en términos de resultados para la vida académica, se desconocen proyectos de vida legítimos y necesarios, se reduce la función de la escuela y se des-responsabiliza a los Estados de sus obligaciones en la generación de condiciones para garantizar procesos educativos de calidad, pertinentes a las expectativas e intereses de los estudiantes y a las necesidades de los contextos. Esto sin entrar en la discusión sobre los aprendizajes académicos, los aprendizajes para la vida y el desempeño laboral, que pocas veces coinciden o se articulan en la escuela.
Por otra parte, cuando la calidad se lee como resultado y no como condición para... se responsabiliza a los sujetos por los resultados con argumentos como la deficiencia de capacidades o los problemas de orden cognitivo o de aprendizaje, sin realizar una evaluación de las condiciones en las que estos sujetos aprenden y son evaluados.
En este sentido vale la pena analizar algunas de las condiciones en las que aprenden los estudiantes colombianos, y en general los latinoamericanos, que se consideran como factores esenciales para lograr el aprendizaje. En primer lugar, el maestro es considerado uno de los factores esenciales para garantizar la calidad del aprendizaje. Sin embargo, en Colombia son frecuentes noticias como las siguientes: "36 rectores de diferentes instituciones escolares... enviaron un oficio al alcalde... en el que, además del nombramiento de docentes, reclaman la asignación de personal administrativo, orientadores y el pago de servicios públicos (El Tiempo, 2008); "otros 250 profesores del municipio...se declararon en paro indefinido porque allí tampoco les pagan desde hace cuatro meses" (El Tiempo, 1994). "Cinco meses sin clase llevan niños de escuela rural de Puerto Boyacá" (Noticias Caracol, 2015). "El INEM está sin rector y sin profesores" (La Nación, 2015), etc. Esta es la condición de muchas escuelas rurales y muchos colegios en departamentos pobres y alejados de las zonas urbanas. Sin embargo, a la hora de evaluar no se tiene en cuenta que de los 11 años de educación que evalúa Saber 11, muchos de esos años los estudiantes no tuvieron profesor, solo lo tuvieron algún tiempo, lo nombraron y nunca llegó o llegó pero tuvo que salir por amenazas de los grupos armados.
En segundo lugar, en los estudios de factores asociados al resultado en las pruebas, aparece como un factor determinante las condiciones socioeconómicas de los estudiantes. Estos estudios muestran: "A mayor nivel socioeconómico de los estudiantes y sus familias, mayor es el desempeño esperado en las áreas y grados evaluados" (Icfes, 2009). Estos estudios evidencian que el acceso al capital cultural así como un mayor nivel educativo de la madre y el uso de TIC, supone mejores resultados para los estudiantes, hallazgos que se vinculan directamente con la riqueza.
En tercer lugar, en cifras del 2014 en Colombia, se muestra que los departamentos de Chocó, Sucre y Cauca presentan los mayores porcentajes de pobreza y pobreza extrema, además cuentan con un alto porcentaje de población indígena. Estos datos contrastan con la situación de Antioquia y Valle del Cauca que presentan los menores porcentajes de pobreza y de pobreza extrema, en los cuales el porcentaje de población indígena respecto al total de su población es poco significativa (PNUD, 2015). Los departamentos que obtuvieron los más bajos resultados en Saber 117, en el año 2014 fueron Magdalena, Bolívar, Chocó, Amazonas y Vaupés, y las ciudades con más bajos resultados son Mitú capital de Vaupés, Buenaventura (Valle del Cauca), Turbo (Valle del Cuaca), Tumaco (Nariño) y Uribía (Guajira), (El Tiempo, 2014). En estos departamentos y ciudades hay una gran concentración de población ancestral y afrodescendiente, que como lo muestran las cifras que se referencian y otros estudios, poseen los más altos índices de pobreza. Los cinco departamentos más pobres de Colombia tienen la misma particularidad: "Es que estos territorios son ocupados esencialmente por afrodescendientes e indígenas" (Ola Política, 2016).
A partir de estos resultados se concluye que los pobres, los afrodescendientes, las poblaciones ancestrales y las mujeres, en general y especialmente en matemáticas8, obtienen los más bajos resultados. Por esta razón, la lectura que se debe realizar en términos de aseguramiento de la calidad y la equidad, es un mayor apoyo a estas poblaciones y mayores presupuestos para reducir las brechas. No obstante, las mediciones masivas han asumido como función, la selección de: "Individuos aptos para continuar el aprendizaje" (Unesco/Orealc, 1990: 48) y la exclusión de "los menos capaces" (Sánchez 2006:3).
Estos usos empobrecidos de los resultados están propiciando no solo la reproducción de las diferencias, sino que además las están legitimando desde los discursos de las deficiencias de los sujetos. Las condiciones de inequidad se reproducen, pues quienes no obtienen buenos resultados no pueden ingresar a instituciones de educación superior de calidad, ni a los programas que desean o no reciben apoyos oportunos para lograr sus aprendizajes.
Si se separan los factores de orden económico, que son los que mayor incidencia tienen en el aprendizaje, el maestro puede contribuir al logro de los aprendizajes de manera significativa. Pero si a un contexto socioeconómico desfavorable le sumamos la falta de maestros, de recursos (biblioteca, material didáctico, internet, etc.), de instalaciones adecuadas, la falta de formación de maestros, es poco el valor agregado que puede brindar la escuela para el aprendizaje.
Esta reproducción de las condiciones que generan inequidad es particularmente evidente en los docentes9: "Los docentes provienen de sectores y familias con menor capital cultural y económico en términos relativos (Tenti, 2005, citado por Vaillant 2006) y... en estos hogares la incidencia de la vulnerabilidad económica tiende a ser significativamente más alta que entre los hogares del resto de profesionales y técnicos". (Vaillant 2006).
Los estudios muestran que muchos de ellos se dedican a la docencia porque no logran ingresar a la universidad o al programa de su preferencia, debido a los bajos resultados. En este sentido, Denisse Vaillant (2006) afirma: "Un sistema educativo no será mejor que los maestros con los que cuenta" (p. 123). Sin embargo, si invertimos la lectura, dejando de responsabilizar a los sujetos por los resultados, podemos afirmar: "Los maestros no serán mejores que el sistema educativo que los formó". Este círculo de pobreza y mala calidad, generado por las deficientes condiciones del sistema educativo y el uso e interpretación inequitativa de los resultados, se repite y reproduce sin generar debates políticos sobre los fines y propósitos de la educación y sobre la pertinencia de las mediciones masivas en el aseguramiento de la calidad.
¿Evaluar es mejorar?
En el contexto educativo se ha hecho popular la expresión "evaluar es mejorar". No obstante después de más de cinco décadas de mediciones masivas aún no se observa el mejoramiento: "Los diagnósticos sobre la situación educativa latinoamericana coinciden en señalar que, en materia de calidad y equidad, la realidad de la educación desmiente sus promesas". (Vaillant, 2006:120). Evaluar no es mejorar ni lleva implícito el mejoramiento si la evaluación no es pertinente y no se hace algo con sus resultados.
Los usos de los resultados de la evaluación son conocidos, aunque no suficientemente discutidos. Constantemente se afirma que los resultados sirven a los tomadores de decisiones para generar líneas de acción en política pública, pero este uso no sale de la lógica de los instrumentos y las mediciones. Cuando se observa que no hay buenos resultados se redefinen los estándares, se instruye a los estudiantes en la resolución de pruebas y a los docentes en la elaboración de preguntas tipo prueba. El acompañamiento a las instituciones se hace sobre la base de los estándares y se refinan los instrumentos para que todas las pruebas evalúen lo mismo, para haya coherencia entre niveles, etc. Se perfeccionan los instrumentos pero no se producen medidas que ayuden a superar las condiciones de los estudiantes que no logran los aprendizajes esperados.
La lógica de la medición y la lectura de los resultados circulan nuevamente en una petición de principio. Se realiza un diagnóstico, el diagnóstico no dice nada sobre la enfermedad sino sobre el síntoma, se perfeccionan los instrumentos para medir el síntoma y se realizan lecturas cada vez más precisas sobre el síntoma, pero ni se trata el síntoma, ni se trata la enfermedad. Lo perverso de esta lógica es que después de estar seguros de la presencia del síntoma, por las múltiples mediciones que se realizan10, se excluye a los sujetos de los tratamientos porque "no son aptos para continuar en el sistema" y se concluye que los sistemas no son de calidad, sin abordar la discusión sobre qué es lo que se está entendiendo por calidad y cuáles son sus supuestos.
En la perspectiva de los estudiantes y las instituciones, los resultados no dicen nada sobre los procesos. Los estudiantes que obtienen buenos resultados en la escuela no obtienen buenos resultados en las pruebas y los que obtienen buenos resultados en las pruebas no obtienen buenos resultados en la escuela (Hederich & Camargo 2000). Las instituciones se ven obligadas a mejorar sus resultados, aunque los resultados de las mediciones no son comparables, y sufren las consecuencias por estar en los niveles más bajos o reciben los incentivos sin poder comprender por qué son "buenos" o en qué lo son.
Desde la mirada de los medios de comunicación se clasifican las instituciones y los sujetos, se hacen lecturas descontextualizadas sobre los resultados y se promueven medidas sobre las escuelas que no obtienen buenos resultados, exaltando la labor de aquellas que lo logran. Desde estas lecturas simplistas de los resultados y la incidencia de factores como lo rural, lo urbano, lo masculino y lo femenino, se concluye que será necesario cambiar lo que los sujetos son para que obtengan buenos resultados. Las niñas tendrán que masculinizarse para obtener buenos resultados en matemáticas, los niños tendrán que feminizarse para obtener buenos resultados en competencias ciudadanas, los habitantes de las ciudades tendrán que ruralizarse para mejorar en las competencias ciudadanas, etc. Estas lecturas no solo no promueven el reconocimiento de las diferencias, sino que terminan reproduciéndolas, reducen además la comprensión y el aprendizaje a la perspectiva de un solo estilo, género o población, ignorando las potencialidades de los otros.
La correlación positiva que muestran los estudios entre los resultados de las pruebas y el estilo cognitivo independiente del medio, asociado a riqueza, mayor acceso al capital cultural, mayor cercanía a los códigos de la modernidad, habitantes urbanos y masculinos, etc. (Hederich & Camargo, 2000), obliga a preguntar si la evaluación está contribuyendo al mejoramiento de la calidad o a la reproducción y legitimación de las diferencias y a la agudización de los procesos de exclusión.
En la perspectiva de corrientes epistemológicas y pedagógicas actuales la polifonía de voces, de miradas, de estrategias, de estilos, de enfoques, lejos de ser deficiencias de un sistema, son factores que enriquecen las miradas, las comprensiones y los proyectos. Por esta razón, no es comprensible la insistencia en procesos de estandarización y de evaluación que parten del supuesto de la homogeneidad de los sujetos.
¿La evaluación como mecanismo para garantizar la equidad?
Constantemente se afirma que la evaluación sirve para garantizar que todos los niños aprenden esos mínimos propuestos en los estándares ("lo que todo estudiante debe saber"), porque las instituciones se ven obligadas a trabajar en ellos para responder a las mediciones masivas. Afirmar que las pruebas evalúan las competencias que un estudiante debe haber desarrollado a cierta edad11 o los aprendizajes mínimos en cierto grado, supone que las competencias y los aprendizajes se logran independientemente de los contextos. Este supuesto desconoce las actuales teorías sobre el aprendizaje y las competencias. Las habilidades y las competencias se desarrollan en contexto y afirmar lo contrario es suponer que se trata de dotes innatas en los sujetos, caso en el cual la educación y la evaluación no serían necesarias.
Por esta razón, es importante generar un debate pedagógico y político sobre la calidad de la educación y la equidad en las mediciones masivas. Es preciso entender que la calidad está fundamentalmente vinculada a la generación de condiciones para que todos puedan aprender y que la equidad supone una atención diferencial a las necesidades de cada sujeto y población. La igualdad en la evaluación y en la educación, en poblaciones tan diversas como las nuestras, genera inequidad y exclusión. La apuesta no es por una evaluación igual para todos sino por una educación que pueda proveer lo que cada uno necesita.
Las consideraciones presentadas forman parte de las construcciones y relaciones que se han instituido e institucionalizado en el campo educativo a partir de los resultados de las pruebas masivas, concebidas como evaluación y referentes de la calidad de la educación.
Conclusiones
¿Contribuyen las pruebas masivas al mejoramiento de la calidad de la educación?
La respuesta a este interrogante, desde los argumentos esbozados anteriormente, es un NO rotundo. No, desde el punto de vista pedagógico, por dos razones, la primera porque los resultados de las pruebas solo sirven a un reducido número de estudiantes (el 20% que logra ingresar a la universidad), la segunda, porque los resultados no se usan como insumo para apoyar el logro de los aprendizajes esenciales para la vida (entre otras razones porque las pruebas no evalúan los aprendizajes esenciales) y las apuestas formativas no coinciden con los criterios de evaluación de las pruebas (esperamos que esta coincidencia no ocurra porque lo formativo estaría extremadamente reducido y simplificado).
Es irrefutable que los procesos de evaluación masiva jalonan en la escuela cambios. Sin embargo, como lo mostró el estudio del ONPE (Suárez, 2007), estos son formales y no esenciales, pues solo dan mayor tiempo en los planes de estudio a las áreas evaluadas, en detrimento de las que no lo son, crean la necesidad de contratar planes de adiestramiento en la resolución de pruebas para los estudiantes y en la elaboración de exámenes de este tipo para los docentes, sin ninguna reflexión pedagógica sobre su utilidad.
Desde el punto de vista de la política, la respuesta es igualmente negativa porque los tomadores de decisiones en materia de política pública (gracias a los resultados de las pruebas) han evadido la discusión y la investigación sobre los sistemas educativos eficientes y las medidas necesarias para garantizar que todos aprendan y que la educación responda a los intereses, expectativas y necesidades de los estudiantes y sus contextos. La discusión en la política pública sobre la calidad de la educación ha sido reducida a resultados y a asuntos técnicos relacionados con la medición y los índices de calidad (que se calculan, en gran parte desde los resultados), pero no hay un verdadero balance del cumplimiento de la obligación del Estado de garantizar la calidad de la educación y la suprema función de inspección y vigilancia sobre el "bien público" educativo, independientemente que sea prestado por los particulares o los centros oficiales.
Desde la perspectiva social, las pruebas no han contribuido a la calidad aunque han generado consecuencias negativas sobre la equidad porque han permitido y propiciado lecturas descontextualizadas de los resultados que leen las diferencias culturales, cognitivas, de género y de aprendizaje como desniveles intelectuales que son responsabilidad exclusiva de los sujetos (estudiantes o maestros) evadiendo las discusiones sobre las responsabilidades de los sistemas educativos y los gobiernos en la superación de las condiciones que generan inequidad.
La evaluación se ha convertido en una de las prácticas que más genera inequidad y exclusión no solo porque se realiza desde una visión estandarizada del conocimiento, sino porque a través de ella se invisibilizan problemas sociales y económicos relacionados con la deficiente educación de los pobres, las mujeres y otros grupos minoritarios, la poca oferta de cupos en las universidades públicas12 que impiden que los estudiantes puedan acceder a la educación superior, las deficiencias en la formación de los maestros (la cual "se cree" que se supera evaluando permanentemente, pues los maestros son los profesionales más evaluados en Latinoamérica), la poca oportunidad de empleo (más de 30 personas se someten a rigurosos procesos de evaluación para competir por 1 cargo), contribuyendo así, no solo a la reproducción, sino a la legitimación de las diferencias.
La imposibilidad del Estado de garantizar empleo y acceso a los diferentes niveles de la educación a sus ciudadanos ha sido disfrazada con rigurosos procesos de selección que garantizan el acceso de los "más aptos", generando así la exclusión de los "menos capaces" y la toma de decisiones inequitativas que favorecen a quienes tienen buenos resultados y riqueza, pues la correlación entre la riqueza y los resultados es positiva y significativa.
Desde la perspectiva económica costo - beneficio el balance también es negativo, puesto que el costo de las mediciones (no calculado hasta ahora13) que implica sostener una entidad dedicada a la medición, los profesionales que laboran en ella, los contratistas que se requieren para la elaboración y revisión de preguntas, la seguridad de las pruebas, los procesos de impresión, de aplicación, de lectura, interpretación, divulgación y consulta de resultados y todos los procesos relacionados con la socialización de las instrucciones para las aplicaciones, las aplicaciones y la divulgación de los resultados, entre otros costos directos, no es justificable cuando los resultados son tan pobres y los impactos tan limitados en la calidad de la educación.
Desde el punto de vista técnico, el balance de las mediciones también arroja resultados negativos. Según Felipe Martínez (2013), este tipo de pruebas no está diseñada para:
Informar de manera confiable sobre los aspectos más complejos del currículo, como competencias avanzadas en lengua, matemáticas y otras áreas... dar resultados precisos sobre el nivel de alumnos individuales incluso en puntos menos complejos, soportar conclusiones sobre calidad de escuelas individuales o los maestros al no considerar las dimensiones no cubiertas por la prueba ni otras circunstancias" (Martínez 2013).
Los investigadores y técnicos de los organismos encargados de realizar las pruebas han reiterado que ellas no pueden decir todo sobre la calidad de los sistemas educativos y también han detectado fallas en la validez de las mismas, en la comparabilidad de los resultados, etc. No obstante, a partir de los resultados se hace inferencias sobre todo el sistema educativo. Es difícil sostener que una prueba de más o menos 50 preguntas dé cuenta de la formación en 11 años en el área de ciencias naturales que incluye biología, química, física. Si se parte del supuesto que solo se evalúa lo que se puede medir y constatar, se hace evidente que lo medible y constatable es lo menos importante en los procesos formativos, y que la calidad educativa está más relacionada con desempeños de los estudiantes en la vida futura (social, académica y laboral), que no son posibles de medir y mucho menos predecir a través de una prueba.
Los problemas técnicos de las pruebas, que han sido expuestos por diferentes autores, pero ignorados por los tomadores de decisiones, plantean la necesidad de generar un debate informado sobre sus limitaciones y la amplitud de lo que se dice a partir de sus resultados. Es preciso cuestionar la capacidad de las pruebas para dar cuenta de la calidad de la educación y las decisiones trascendentales que se toman sobre los sistemas y los sujetos a partir de unos resultados, que dicen tan poco en relación con los aprendizajes de los estudiantes y la calidad de la educación.
Las apuestas educativas y pedagógicas en el mundo no están mirando hacia la estandarización, menos aún la formación por competencias. Sin embargo, la práctica evaluativa está involucionando y continúa anclada en las concepciones de la psicometría del siglo pasado. Me atrevo a afirmar que no solo no existen argumentos pedagógicos para sostener una práctica de evaluación de los sistemas educativos sobre estos presupuestos y concepciones, sino que además esta práctica no se sostiene ni técnica ni políticamente. Las pruebas son invenciones del siglo XX, y los problemas pedagógicos y técnicos que ocultan no han sido discutidos, pero especialmente se han ignorado sus implicaciones en términos de calidad y equidad y su papel político en la reproducción y legitimación de las diferencias.
Referencias bibliográficas
Ayala-García, J. (2015). Evaluación externa y calidad de la educación en Colombia. Banco de la República. Recuperado de: http://www.banrep.gov.co/docum/Lectura_finanzas/pdf/dtser_217.pdf
Caracol (2005). Cinco meses sin clase llevan niños de escuela rural de Puerto Boyacá. El periodista soy yo. Recuperado de http://noticias.caracoltv.com/el-periodista-soy-yo/ cinco-meses-sin-clase-llevan-ninos-de-escuela-rural-de-puerto-boyaca?mobile=1#!).
Díaz Barriga, F. (2005). Enseñanza situada: Vínculo entre la escuela y la vida. México: McGraw Hill. Recuperado de: http://es.slideshare.net/nene_udelas/diaz-barriga-fridacapitulo5rubricas
El Tiempo.(2014). Cundinamarca y Boyacá con las mejores pruebas Saber 11. Recuperado de: http://www.eltiempo.com/multimedia/infografias/cundinamarca-y-boyaca-con-las-mejores-pruebas-saber-11/14893536
Hederich, C. & Camargo, A. (2000). Estilo cognitivo y logro en el sistema educativo de la ciudad de Bogotá. Bogotá: Imprenta Nacional de Colombia. ICFES (2009) SABER 5o. y 9o. 2009. Síntesis de resultados de factores asociados Saber 11. Recuperado de: www.icfes.gov.co
ICFES, (2015). Resolución 001 de la Junta Directiva. Recuperado de http://www.icfes.gov.co/index.php/transparencia/informacion-financiera-y-contable/presupuesto).
Kuhn, T (1971). La estructura de las revoluciones científicas. México: Fondo de Cultura Económica.
La Nación (2016). El inem está sin rector y sin profesores. Recuperado de: http://www.lanacion.com.co/index.php/noticias-regional/neiva/item/255622-el-inem-esta-sin-rector-y-sin-profesores.
Martínez, F (2013, septiembre ). Evaluación en aula y pruebas externas. Uso pedagógico e interpretación de los resultados. II Congreso Internacional de Evaluación. Equidad y Desarrollo Humano. Bogotá. Recuperado de: http://congreso.evaluacion.sedbogota.edu.co/images/memorias2013/conferencias/FELIPE_MARTINEZ%20PDF.pdf)
MEN.(2015). Rubros presupuestales. Recuperado en: http://www.mineducacion.gov.co/1759/articles-355956_MEN_presupuesto_2015.pdf).
Ola Política, (2016). Los cincos departamentos más pobres de Colombia. Recuperado de: http://www.olapolitica.com/content/los-cinco-departamentos-m%C3%A1s-pobres-de-colombia.
Programa de Naciones Unidas para el Desarrollo –Pueblos indígenas(PNUD)(2015). Los pueblos indígenas y los Objetivos de Desarrollo del Milenio. Recuperado de: http://www.co.undp.org/content/colombia/es/home/library/mdg/pueblos-indigenas-y-los-objetivos-de-desarrollo-del-milenio/.
Roth, A. (2010). La evaluación de las acciones públicas: una actividad en constante evolución. Revista Departamento Nacional de Planeación. 1 (1). Recuperado de: http://www.dnp.gov.co/PortalWeb/LinkClick.aspx?fileticket=OMGFW2wrRZw%3D&tabid=99.
Sánchez, C. (2005, mayo). Aproximación al Concepto de Política: Una Mirada desde el Observatorio Nacional de Políticas en Evaluación Educativa. Observatorio Nacional de Políticas en Evaluación. Boletín No. 3. Pp. 4-8.
-------- (2006). Los maestros ante la política. Magazín Pedagógico de la Universidad Pedagógica Nacional 24(2).
-------- (2012) Lo político, la evaluación y la calidad: Tres debates necesarios en el Observatorio Nacional de Políticas en Evaluación. Revista Educación y ciencia 15, pp. 11 – 22 Recuperado de: http://revistas.uptc.edu.co/revistas/index.php/educacion_y_ciencia/article/viewFile/2280/2858).
Suárez, P. (2005). Incidencia de la actual política evaluativa en instituciones de educación básica del país. Bogotá: Fondo Editorial Universidad Pedagógica Nacional.
Torrado, M (2000). El desarrollo de competencias: una propuesta para la educación colombiana. Universidad Nacional. Bogotá: Unibiblos.
Unesco/Orealc. (1990). Conferencia Mundial sobre Educación para Todos. Satisfacción de las Necesidades Básicas de Aprendizaje. Santiago de Chile.
Universidad Nacional de Colombia. Aspirantes presentaron pruebas de admisión. Recuperado de: http://www.manizales.unal.edu.co/index.php/noticias/36-ano-2014/4247-63-386-aspirantes-presentaron-pruebas-de-admision-a-la-u-n.
Vaillant, D (2006). Atraer y retener buenos profesionales en la profesión docente: políticas en Latinoamérica. Revista de Educación, 340, pp. 117-140. Recuperado de: http://www.revistaeducacion.mec.es/re340/re340_05.pdf.
Pie de página
1Las mediciones masivas no son, en estricto sentido, evaluación. Sin embargo, en este artículo se denominan evaluaciones para efectos de la discusión ya que el público en general no distingue entre evaluación (valoración) y pruebas masivas (medición).
2La evaluación no es una invención de la escuela sino que llegó a ella desde los discursos de la calidad en el ámbito empresarial.
3 Postulado que no requiere demostración.
4 Debido a la diversidad étnica y cultural, la minoría en Colombia, es la generalidad, es decir, cada ciudadano pertenece a una o más minorías (mujeres, afrodescendientes, desplazados, victimas, población ancestral (más de 90 pueblos), LGBT, población con necesidades educativas especiales, raizales, gitanos, rurales, etc.)
5 En Colombia las mediciones nacionales evalúan competencias.
6 Argumento circular en el cual la conclusión es una de las premisas.
7 Prueba Nacional para evaluar la calidad de la educación Básica y Media, que sirve como criterio de ingreso a la educación superior.
8 "Colombia pertenece al grupo de países con el menor puntaje en el componente de matemáticas de la prueba PISA del año 2012. Registró, además, la mayor brecha de género en el puntaje de la misma prueba entre los 65 países participantes" (Ayala-García, 2015)
9 No es particular de los docentes, lo que ocurre es que como son los únicos profesionales evaluados a través de pruebas masivas en Colombia, solo se tiene resultados sobre ellos y sobre ellos se producen las interpretaciones.
10 En Colombia se aplica la prueba Saber en 3º, 5º, 9º y 11º grado, se evalúa para ingresar a la universidad y al egresar de ella, para ingresar a la carrera docente, para superar el período de prueba, anualmente y para ascender en el escalafón.
11Este es el supuesto de evaluación de PISA.
12 A la Universidad Nacional de Colombia se presentan "63.386 aspirantes que buscan uno de los 5.635 cupos que se estima ofrecerá la Universidad" (Universidad Nacional, 2014). La Universidad realiza un examen de admisión, ese examen lo superan quienes mejores resultados han obtenido en las mediciones masivas, pues la correlación entre las dos pruebas es positiva. Quienes mejores resultados obtienen son aquellos que egresan de colegios privados de élite, hombres, urbanos, de estratos socioeconómicos altos y unos cuantos estudiantes que a pesar de sus condiciones logran ingresar.
13 El presupuesto del ICFES, instituto encargado de la medición en Colombia, para 2015, según la resolución 001 de la Junta Directiva fue de 182.614.527.380 (ICFES, 2015), mientras que el presupuesto para el mejoramiento en infraestructura y dotación de instituciones de educación básica y media (reglamentado por la Ley 21 de 1982) fue de 155.687.900.000 pesos (MEN, 2015).