Sistema Regional de Información
en línea para Revistas Científicas de América Latina,
el Caribe, España y Portugal

This paper explores the relevance of considering the consequences of testing as part of discussions about the validity, and validation research, in the context of the OECD Programme for International Student Asssessment, PISA. We first describe the modern conception of validity as a core aspect of quality of tests and testing systems, evolving around the proposed interpretations and uses of test scores: “Validity refers to the degree to which evidence and theory support the interpretations of test scores for proposed uses of tests. Validity is, therefore, the most fundamental consideration in developing tests and evaluating tests.” (AERA, APA & NCME, 2014, p. 11). In particular, we focus on the role that consequences have played in the literature on test validity and validation. We then introduce PISA and its intended interpretations and uses as the basis for examining its validity. This is followed by summarizing existing empirical studies on the uses and consequences of PISA. Finally, the paper presents missing pieces in the validity evidence related to consequences and discusses the importance of a pro-active agenda on these topics by the PISA stakeholders at international and national levels.

En este artículo el objetivo es realizar un análisis global del Proyecto PISA como programa de evaluación internacional. Asimismo, se analizan características metodológicas de los procesos métricos que sustentan los instrumentos que se utilizan en el proyecto: las pruebas de logro y los cuestionarios de contexto. Se identifican las fortalezas y debilidades del proyecto, en diversas áreas, desde el Diseño y validación del proyecto como programa de evaluación internacional, sus usos y modos de comunicación de resultados, hasta las características métricas de sus instrumentos. Se proponen alternativas para optimizar el uso del proyecto en general y en los países involucrados en particular.  Se concluye que se trata de un proyecto que, por su calidad metodológica e impacto socio-político es valioso, si bien tiene diferentes aspectos que podrían mejorarse -tanto como programa de evaluación, como en sus fundamentos de medición educativas- para que pudiera aportar informaciones de mayor calidad y que pudieran orientar decisiones de mejora.

International student assessments have played an increasing important role in educational policy. These international test comparisons generate valuable information about each participating country’s student performance and the social and contextual factors. A complex picture of the cultural, economic, and social factors that shape PISA participation is emerging. We aim to understand the relationship between national assessment capacity and how countries participate in international test comparisons. We propose a framework for examining assessment capacity as key to addressing two aspects of validity cultural and consequential. Also, we discuss the multiple facets of assessment capacity as conditions for addressing cultural validity and consequential validity in international test comparisons.

The OECD Programme for International Student Assessment (PISA) provides a framework in which over 80 countries collaborate to build advanced global metrics to assess the knowledge, skills and character attributes of the students. The design of assessments poses major conceptual and technical challenges, as successful learning. Beyond a sound conceptual foundation, PISA needed to fulfil a range of sometimes competing demands. The school administrators, policymakers, and teachers need to be able to use this assessment information to determine how to create better opportunities for student learning. Assessments should also provide productive feedback, at appropriate levels of detail, to fuel improvement and accountability decisions at each level of the education systems. In fact, also to assess of reading, mathematics and science as key foundation skills, PISA is now progressively incorporating also some of the broader cognitive, social and emotional competencies.

Pretendemos determinar la incidencia del tiempo que los docentes iberoamericanos de Educación Primaria destinan a diferentes tareas no lectivas sobre el logro académico de sus estudiantes en Matemáticas y en Lectura. Para ello se ha realizado un estudio con 256 docentes de 9 países de Iberoamérica y sus 5.610 estudiantes. Se ha recogido información de la distribución del tiempo de los docentes, así como de las características de los estudiantes y su entorno, y de su rendimiento en Matemáticas y en Lectura, mediante pruebas previamente validadas para todos los países, al principio y al final del curso. Utilizando Modelos Multinivel de cuatro niveles de análisis (estudiante, aula, escuela y país),  encontramos que una mayor dedicación a tres tareas mejora significativamente el logro de los estudiantes: la preparación de las clases, la corrección de evaluaciones y el trabajo con familias. Y, por el contrario, una mayor dedicación a tareas administrativas hace que disminuya el logro de los estudiantes. Con estos resultados se aportan evidencias empíricas acerca de la necesidad de que los docentes tengan unas condiciones laborales adecuadas para desempeñar adecuadamente su trabajo. Así, es necesario considerar que el trabajo de los docentes no es solo estar frente al grupo, también hay que dejarles tiempo y espacios apropiados para que prepararen su trabajo en el aula. Igualmente, todo lo que sea minimizar las tareas administrativas a realizar por los docentes redundará en un mayor aprendizaje de los estudiantes, seguramente porque los docentes se dedicarán “a lo importante”.

Antecedentes: la evaluación de la calidad del profesorado universitario, desde el punto de vista del alumnado, se ha centrado principalmente en los aspectos más formales del ejercicio docente, desatendiendo así otros factores de tipo personal. Objetivo: identificar y analizar las cargas de cada uno de los distintos factores que conforman la idea de la buena docencia según el alumnado. Es decir, detectar la ecuación que da lugar al esquema mental  de “buen profesor” o “buena profesora”. Método: encuesta transversal, elaborada a partir de los resultados de revisiones e investigaciones propias que permitieron conocer la identidad de los distintos factores implicados en la evaluación de la docencia por parte del alumnado. La muestra es de 885 alumnos de la Universitat de les Illes Balears, obtenidos mediante un procedimiento de muestreo mixto y polietápico. Resultados: la solución factorial de cuatro elementos, que en orden de mayor a menor varianza explicada son: cualidades personales, competencia formal, cumplimiento, y materia. El análisis de regresión determina que cada uno de los 4 factores presenta un efecto estadísticamente significativo sobre la consideración de buen docente, donde el primero y el segundo son, en suma, responsables del 93% de toda la varianza explicada por el modelo. Conclusiones: el gran peso que las características no formales presentan en la ecuación resultante abre la discusión en torno a la importancia de las cualidades personales del profesorado como elementos que pueden estar modulando, más allá de la satisfacción del alumnado, el propio proceso enseñanza-aprendizaje.

Las intervenciones sistemáticas en el ámbito de la educación emocional son un recurso cada vez más utilizado para facilitar entre los adolescentes la adquisición de competencias emocionales. La revisión realizada en este trabajo de dichas intervenciones muestra que la mayor parte de ellas adopta la forma de programas de expertos sin llegar a integrar sus actuaciones dentro del currículo escolar. El presente trabajo detalla la evaluación del diseño del programa de la asignatura de Educación Emocional -Programa AEdEm- (Sánchez Román y Sánchez Calleja, 2015), impartida como obligatoria en 1º y 2º de la Educación Secundaria Obligatoria (ESO) de un Instituto de Educación Secundaria. Este programa, persigue el desarrollo de las competencias emocionales siguiendo las aportaciones de autores como Bisquerra y Pérez-Escoda (2007) y Goleman (1995). La evaluación se ha llevado a cabo a través de la validación por jueces. Hemos contado con 10 docentes de diversas universidades españolas especializados en la materia, con el objetivo de conocer la racionalidad de la propuesta y la coherencia de sus componentes. Los criterios siguiendo las aportaciones de Osuna (2000) han sido: relevancia, pertinencia, adecuación, utilidad y viabilidad. Utilizando como instrumentos una escala de evaluación, para los cuatro primeros y el análisis de cuellos de botella, para el último. Los resultados muestran que el diseño del programa es válido, concretamente los expertos opinan del programa que es muy adecuado y bastante relevante, pertinente y útil.

El objetivo principal fue estudiar las políticas educativas implementadas en siete países  (Argentina, Brasil, Chile, Colombia, México, Perú y Uruguay), que han participado habitualmente  en el Programa para la Evaluación Internacional de Estudiantes (Program for the International Assessment of Students, PISA) desde 2000 hasta 2012.

This paper conducts a methodological evaluation of the PISA international evaluations, giving a critical analysis of their shortcomings and limitations. A methodological review or meta-evaluation has been carried out on the multiple PISA reports in an attempt to demonstrate the plausible validity of the inferences that PISA maintains given a series of methodological limitations such as: an inconsistent rationale, opaque sampling, unstable evaluative design, measuring instruments of questionable validity, opportunistic use of scores transformed by standardization, reverential confidence in statistical significance, an absence of substantively significant statistics centered on the magnitudes of effects, a problematic presentation of findings and questionable implications drawn from the findings for educational norms and practice. There is an onus on PISA to provide and demonstrate more methodological rigor in future technical reports and a consequent need to be show great caution lest unfounded inferences are drawn from their findings.

El rol de los directores escolares es clave para movilizar la mejora de los centros escolares. A través de un enfoque cualitativo-longitudinal utilizando la técnica thin-slice, este artículo examinó la calidad de las prácticas asociadas con la observación en el aula y la retroalimentación proporcionada por 10 directores nóveles al final de su primer y su segundo año en el cargo. Los resultados de este estudio señalan que el patrón de observación de los directores nóveles experimenta cambios desde el primer al segundo año en el cargo, desde un foco en los docentes y el contenido hacia un foco en la interacción contenidos-estudiantes. Respecto del tipo de retroalimentación en el año 2 se observa mayor uso de una retroalimentación más descriptiva que evaluativa. Los resultados de esta investigación muestran cómo con más experiencia los directores fortalecen su liderazgo pedagógico. No obstante, las limitaciones observadas el año 1 y el escaso uso de retroalimentación que promueva la metacognición y reflexión en los docentes sugieren que la observación en aula y retroalimentación a los docentes son prácticas a desarrollar por los programas de formación para directores.