Sistema Regional de Información
en línea para Revistas Científicas de América Latina,
el Caribe, España y Portugal

Tras una amplia revisión de las recientes publicaciones alrededor del tema, se analiza y valora la actual situación de la investigación evaluativa, como instrumento estratégico para la toma de decisiones de desarrollo y mejora  de la sociedad y de la calidad de vida de los ciudadanos, en ámbitos diversos como la educación, la sanidad, la economía, la cultura, la protección social, las políticas públicas, etc. Se describe y fundamenta la identidad científica de la investigación evaluativa actual, incidiendo en su carácter transdisciplinar, en el auge de la evaluación de organizaciones e instituciones, en su apoyo en metodologías diversas y en la importancia de las estrategias participativas. Se destaca también la utilidad y el uso apropiado de las evaluaciones como objetivo prioritario de este tipo de investigación, apoyándose siempre en principios y normas éticas y de calidad científica y los correspondientes estudios metaevaluativos

Este trabajo tuvo el propósito de conocer: 1) la estructura multidemensional y la validez convergente y divergente de dos constructos: Participación de los padres en la escuela, y Apoyo de los padres para el aprendizaje en el hogar y 2) la relación que tienen estos dos constructos con el desempeño de los estudiantes en matemáticas. El estudio se realizó con las bases de datos mexicana de PISA (2012); específicamente, con las respuestas de 33,806 padres de familia a 18 preguntas de los cuestionarios de familia, así como con las puntuaciones de matemáticas de sus hijos. Para lograr este objetivo se realizaron dos tipos de análisis: 1) Análisis factoriales exploratorios y confirmatorios de las respuestas de las padres de familia y 2) Análisis Factoriales Confirmatorios de Trayectorias con las respuestas de los padres, como variables independientes y los resultados en matemáticas de sus hijos como variable dependiente. Los resultados muestran que el primer constructo se compone de tres dimensiones y que el segundo de dos, los que en conjunto tienen una carga una carga factorial que explica el 10% de la varianza en el rendimiento de matemáticas de los estudiantes.

El artículo inicia con un breve repaso del desarrollo de la psicometría, que destaca la brecha entre la situación de Estados Unidos y la de otros países, sobre todo de menor desarrollo, en cuanto a la existencia de personal calificado en temas técnicos complejos. En seguida se hacen consideraciones sobre la noción de validez y su importancia, en especial en cuanto a la validez de consecuencias. Luego se describe el impacto de las evaluaciones, con especial atención a las de gran escala y las internacionales, con el caso de PISA, considerando en especial el caso de países con una tradición psicométrica débil. En la conclusión se discute el tema, a partir de la experiencia de México y del Grupo Iberoamericano de PISA.

Las evaluaciones educativas internacionales a gran escala ofrecen información de interés para la comunidad educativa, científica y política. Son muchos los estudios derivados de ellas, tanto a nivel nacional como internacional. Por otra parte, es bien conocida, desde el origen de estas macroevaluaciones, la diversidad de valoraciones que han generado. En este contexto, el objetivo del trabajo que aquí se presenta es estudiar las relaciones entre los resultados de PISA 2012 y los relativos a práctica docente de secundaria de TALIS 2013, tratando de analizar las congruencias o discrepancias entre los resultados de ambas. Se tomaron los datos del estudio TALIS-PISA link. Los análisis realizados, de tipo descriptivo, tomando las puntuaciones globales en ambas evaluaciones muestran discrepancias evidentes, ya que países que ocupan primeras posiciones en los resultados de los estudiantes en PISA se ubican en últimos lugares en práctica docente del profesorado., donde se supone que las relaciones se debieran producir con mayor intensidad al existir una relación más directa entre los alumnos y los profesores evaluados. Los análisis realizados muestran igualmente la falta de coherencia esperada. Estos resultados, llevan a reflexionar sobre las posibles causas que subyacen y se propone la necesidad de un diseño coordinado de ambos procesos evaluativos

This paper analyses the educational performance of eight PISA 2012 Latin American countries relative to the OECD focusing on equity in the distribution of outcomes. We consider first the results of those countries in terms of the shares of high and low performing students. Next we study how much those performances depend on the students’ family background. We use the data on mathematical competencies in PISA 2012 and compare the results of those students coming from disadvantaged and advantaged families, identified with those in the first and fourth quartiles of the distribution of the index of Economic and Socio-Cultural Status. The main results of this study are: (i) The differences in the educational systems between Latin American countries and the OECD are much larger than suggested by country rankings based on mean performance. (ii) The share of Latin American students exhibiting high performance is extremely thin, particularly among disadvantaged students, whereas low performance is pervasive across all students regardless of family background. (ii) Socio-economic conditions strongly determine high performance, much more than in the OECD.

El objetivo de este trabajo es compartir algunas reflexiones sobre lo que PISA ha permitido conocer y comprender del funcionamiento del sistema educativo nacional. Para ello se propone poner a la luz algunos de los resultados que emergen de la participación de Uruguay en PISA a lo largo de una década y resaltar algunas características del sistema educativo uruguayo en perspectiva comparada con otros países de la región. Por otro lado, se comparten algunas reflexiones locales sobre los aportes de una evaluación internacional como PISA, su enfoque y su rol en el marco de un sistema de información y de evaluaciones de aprendizajes nacional, y también, sobre cómo debieran analizarse, leerse y utilizarse sus resultados.

Formar al profesorado como profesionales reflexivos e investigadores debe ser una prioridad para un sistema educativo que busque la mejora de su alumnado en el manejo de información compleja y la resolución de problemas de forma creativa y divergente. El educador reflexivo, tal como es percibido por el profesorado español que participa en el estudio TALIS (OECD, 2014), ha sido distribuido en una escala o índice TRI que permite mostrar la frecuencia de participación en actividades formativas que facilitan un “Desarrollo profesional reflexivo” (DPR). La mitad de la muestra considera que su desarrollo profesional incluye actividades formativas ocasionales de carácter reflexivo. Se identifican, mediante análisis multinivel, los factores individuales y de centro asociados al perfil docente de educador reflexivo, que se corresponden con un atributo individual vinculado a una formación en red o de colaboración docente en torno a un centro con liderazgo pedagógico y control evaluativo. Esto supone para el docente una mayor dedicación e intensidad, una autopercepción de efectividad profesional y dominio sobre los procesos de enseñanza-aprendizaje que utiliza con su alumnado. El índice DPR se muestra consistente en la representación de un perfil docente que favorece la efectividad de los procesos de aula. Por la situación que presenta España en la estimación del índice DPR, consideramos de interés hacer evolucionar los modelos de formación inicial y continua del profesorado hacia un enfoque que potencie las capacidades reflexiva, investigadora y colaborativa de nuestro profesorado y estudiantes.

The ubiquitous use of contexts in test items is based on the premise that contextualizing items is an effective strategy to test whether students can apply or transfer their knowledge. In this paper, we continue a research agenda focusing on testing this premise. We present a study of the context characteristics in a sample of 2006 and 2009 PISA science items and how these characteristics as well as student performance may be related to the cognitive demands of the items. The study was guided by two research questions: (1) What are the cognitive demands of the sampled PISA contextualized items and what is the students’ performance linked to these items? (2)  Are the items’ cognitive demands associated with certain characteristics of the contexts of the items that proved to be linked to students’ performance? Using 52 released and secured PISA science items, we captured information about three context dimensions of items, level of abstraction, resources, and nature of the context, and the cognitive demands of the items. A multinomial logistic regression with cognitive demand as the outcome variable, context characteristics as the predictors, and percent of correct responses as the covariant indicated that certain context characteristics are linked to the cognitive demands of items. For example, we found that items in which contexts involve only concrete ideas were associated with items with low cognitive demands; these items are unlikely to require content knowledge to be responded. We also found that the type of resource (e.g., tables, graphs) was associated with the cognitive demands of the items: schematic representations seem to be linked to items tapping procedural knowledge rather than to items tapping declarative or schematic knowledge. We concluded that further research is needed to better understand the influence that context characteristics have on the cognitive processes in which students are asked to engage and in their performance. Key-words: PISA, science items, context characteristics of the Items, cognitive demands, validity.

El sistema de evaluación de PISA ha generado y continúa generando intensos debates sobre su estructura y utilidad. Este artículo se centra en los cuestionarios de contexto, como forma de analizar y entender de manera adecuada los resultados. Los objetivos son analizar los indicadores de contexto que se utilizan en las distintas ediciones de las pruebas PISA, su utilización en distintos estudios y en los resultados de estos estudios. Se proporciona una visión general del modelo utilizado para conseguir que estos indicadores dejen de ser algo que acompaña a las prueba de rendimiento para que alcancen su verdadero sentido: analizar conjuntamente el rendimiento junto con las variables que pueden estar influyendo en los resultados. Como metodología se utiliza el análisis documental de publicaciones relacionadas con PISA y sus resultados, así como un análisis semántico sobre trabajos científicos que ha generado PISA. Los resultados muestran que algunos indicadores se han mantenido a lo largo de las distintas ediciones de PISA, mientras que otros han ido variando. La plasmación de un modelo estable en las ediciones a partir de PISA 2015 en el que se especifican los ítems más relevantes facilitará sin duda el estudio de los resultados a nivel vertical y horizontal. Así, se establece la importancia de los cuestionarios de contexto de PISA para poder entender de manera adecuada sus resultados y la necesidad de realizar estudios más complejos del tipo multinivel o anidados que los que normalmente se utilizan, en general basados en estadísticos descriptivos y/o porcentajes.

This paper investigated the effects of corrections for scale usage preference in seven Latin American countries, Portugal and Spain in student self-reports in the 2012 Programme for International Student Assessment (PISA). These targeted countries tend to show a strong tendency of expressing strong opinions and self-enhancement, which can pose serious validity threats in cross-cultural comparisons of self-reports. We examined to what extent score corrections, that have been proposed, would change the patterning of the cross-cultural differences. We corrected for the scale usage preferences in a measure of teacher support among 39,045 students in nine countries, based on extreme response style, overclaiming, and anchoring vignettes, respectively. These measures showed different effects:  (1) All correction methods helped to improve measurement invariance, although the correction based on anchoring was less effective in reaching scalar invariance compared with the correction of extreme response style and overclaiming; (2) controlling for extreme response style and overclaiming changed the mean score of Spain to a greater extent than other countries, which seems to present a more realistic patterning, whereas the changes on correlations with other measures were rather limited. The use of anchored scores led to drastic changes both in means and correlations. A firm conclusion about which method is to be preferred cannot be given as there is no evidence which method enhances the validity of scores in these countries more. We discuss the necessity and practicability of correction methods.