Este anexo presenta el enfoque metodológico seguido en este informe realizado en el marco de la iniciativa de la red Schools+ de la OCDE. Al situar a las escuelas en el centro, esta iniciativa pretende extraer ideas de la primera línea de nuestros sistemas educativos para mejorar la política y la práctica educativas, y proporcionar un espacio para tender puentes entre la política, la práctica y la investigación. La metodología, que refleja el objetivo de tender puentes, se ha caracterizado por un desarrollo colaborativo e iterativo en el que han participado múltiples partes interesadas.
Claves para una enseñanza de alta calidad
El objetivo general del trabajo ha sido avanzar en la comprensión de las prácticas a nivel escolar. Para ello, el trabajo se ha centrado en tres objetivos concretos:
Objetivo 1: Desarrollar una taxonomía de la enseñanza que sea transversal a las distintas pedagogías y proporcione un lenguaje compartido para facilitar el diálogo entre las distintas partes interesadas y el intercambio de conocimientos.
Objetivo 2: Identificar la mejor evidencia de investigación disponible para las prácticas incluidas en la taxonomía y proporcionar una indicación de las respectivas áreas de fortaleza y limitación.
Objetivo 3: Aprovechar los conocimientos profesionales de las escuelas sobre la implementación de las prácticas incluidas en la taxonomía para comprender mejor su complejidad.
La red de Schools+ recopiló una serie de datos diferentes para alcanzar estos objetivos. Entre ellos se incluyen las siguientes actividades:
Reuniones del Grupo Informal de Expertos para elaborar documentos de referencia sobre la taxonomía de la enseñanza.
Ejercicio de calificación con expertos y organizaciones sobre la solidez de la evidencia de las prácticas, apoyado por percepciones cualitativas sobre los puntos fuertes y las limitaciones específicas.
Encuestas en línea y reuniones con los centros escolares para obtener información cualitativa sobre los desafíos y enfoques de la implementación de las prácticas pedagógicas.
Ejercicio de evaluación con los centros escolares sobre la complejidad de las distintas prácticas pedagógicas.
Consulta con expertos, organizaciones y centros escolares sobre la terminología y la conceptualización de las prácticas docentes.
Se recogieron los siguientes tipos de datos:
Cuestionario escolar sobre sus antecedentes, prácticas y actitudes hacia la investigación y las prácticas docentes.
Cuestionario escolar sobre la terminología utilizada para referirse a la práctica y comentarios cualitativos abiertos sobre los documentos de referencia.
Cuestionario escolar sobre decisiones docentes y señales de los alumnos.
Valoraciones de expertos sobre la solidez de la mejor evidencia disponible procedentes de organizaciones de intermediación y académicos, apoyadas por preguntas abiertas sobre fortalezas y limitaciones específicas.
Comentarios específicos sobre aspectos concretos del capítulo y oportunidades de revisión abierta por parte de los centros escolares.
Valoraciones de expertos sobre la complejidad de las prácticas de los centros escolares.
Presentación abierta de estudios de casos y revisión por pares de los centros escolares.
Participación
Como ya se ha mencionado, el trabajo de Schools+ ha dependido de las contribuciones de una serie de partes interesadas. La red Schools+ está formada por dos grandes grupos: los participantes en la red y los centros escolares participantes.
Participantes en la red de Schools+
Desde su puesta en marcha los días 22 y 23 de mayo de 2023, la red Schools+ ha crecido hasta incluir a más de 50 instituciones participantes, como ministerios de educación, autoridades locales, organizaciones de docentes y líderes escolares, grandes redes de escuelas, organizaciones de intermediación de evidencia y entidades que apoyan el desarrollo educativo, como fundaciones filantrópicas y organizaciones internacionales (véase la lista completa en el Cuadro A A.1). Se invita a los participantes a asistir a dos reuniones anuales de la Comunidad Global, celebradas en persona y virtualmente, para que aporten sus comentarios sobre el trabajo en curso.
Escuelas participantes
Para documentarmejor las prácticas y los conocimientos de los centros escolares, los participantes en la red de Schools+ propusieron centros para formar parte del "Círculo de Aprendizaje". Los centros fueron designados en función de su experiencia con los datos de la investigación y su interés por la innovación. Más de 150 centros de 40 países, que representan a unos 140.000 estudiantes, se reunieron trimestralmente para mejorar nuestra comprensión de las prácticas docentes. A continuación, se ofrece más información sobre la composición de las escuelas (véase la Figura A A.1). Los centros escolares no se diseñaron como una muestra representativa, lo que debe tenerse en cuenta a la hora de interpretar la información.
El trabajo de la Red también ha contado con el apoyo de dos grupos informales. En primer lugar, el Grupo Asesor Informal. Este grupo ha proporcionado un apoyo continuo en aspectos de coordinación de la Red con representantes de dos países miembros de la OCDE (Francia y Portugal), cinco organizaciones mundiales y regionales (Internacional de la Educación, Asociación Europea de Directores de Centros Escolares, Conferencia Internacional de Directores, SUMMA y UNESCO) y dos organizaciones filantrópicas (Fundación Jacobs y Fundación LEGO).
En segundo lugar, el Grupo Informal de Expertos. Formado por académicos de diferentes instituciones, este grupo ha apoyado el desarrollo de la Taxonomía Pedagógica, ha revisado la evidencia de investigaciones actuales y ha proporcionado asesoramiento sobre la experiencia que debe solicitarse a las escuelas (véase el Recuadro B.3 del Anexo B).
La Red también ha contado con los aportes de numerosos expertos que han participado en las consultas. La Tabla B.5 del Anexo B ofrece una lista de los 26 expertos del mundo académico y de organizaciones de intermediación del conocimiento que han contribuido al ejercicio de clasificación y a la revisión de la evidencia científica sobre las prácticas. Además, un grupo más amplio de académicos y organizaciones también contribuyó con aportes cualitativos sobre la conceptualización de las prácticas y la delimitación de su base empírica (véase el Recuadro B.5 del Anexo B).
La Taxonomía de la Enseñanza de Schools+ es la columna vertebral del trabajo para avanzar en la comprensión de las prácticas docentes. Proporciona un "lenguaje compartido", un marco para que educadores, investigadores y responsables políticos debatan y comprendan mejor las prácticas en el aula.
Se consideró primordial adoptar un enfoque iterativo, inclusivo y participativo en el desarrollo de la Taxonomía para garantizar que su terminología y descripciones fueran adecuadas y compartidas por las distintas partes interesadas. A continuación, se señalan los principales hitos.
Definición de las características de diseño, la estructura y las prácticas clave de la Taxonomía (noviembre de 2022 - marzo de 2023)
Junto con la Secretaría de la OCDE, el Grupo Informal de Expertos (véase el Anexo B) elaboró una versión preliminar de la Taxonomía. Una referencia importante fue el sistema de observación Global Teaching InSights de la OCDE, que se desarrolló para un estudio pionero en vídeo que se basó en múltiples métodos para observar y documentar la enseñanza de forma detallada, al tiempo que investigaba qué aspectos de la enseñanza están relacionados con el aprendizaje de los alumnos y sus resultados no cognitivos.
El sistema de observación Global Teaching InSights se desarrolló mediante cuatro ciclos de amplia colaboración entre expertos en observación y pedagogía de distintos países entre 2015 y 2020. Este sistema de observación asumió el desafío de diseñar mediciones de las prácticas docentes que fueran aplicables, válidas y comparables en todos los países y en diversos contextos culturales. Para lograrlo, el desarrollo se basó en cuatro fuentes importantes: las conceptualizaciones de los países/economías participantes sobre la calidad de la enseñanza, una revisión de la literatura de investigación internacional relevante sobre el tema y los marcos conceptuales tanto de la Encuesta Internacional sobre Enseñanza y Aprendizaje (TALIS) de la OCDE como del Programa para la Evaluación Internacional de los Estudiantes (PISA).
La fase inicial del trabajo sobre la Taxonomía de Schools+ se centró en determinar qué prácticas podían seguir desarrollándose a partir de ese marco de referencia y qué otros marcos debían examinarse con más detalle. El resultado fue la identificación de cinco objetivos principales de la enseñanza de alta calidad y una lista inicial de posibles prácticas que debían investigarse más a fondo. La Cuadro A A.2 presenta un resumen de las diferencias entre la Taxonomía Schools+ y el sistema de observación de estudios por vídeo Global Teaching InSights.
Desarrollo de definiciones compartidas (noviembre de 2022 - septiembre de 2023)
A cada uno de los cinco objetivos pedagógicos generales de la Taxonomía propuesta se le asignó un autor principal del Grupo Informal de Expertos, que depuró una lista de prácticas y examinó la evidencia en que se basaba cada una de ellas, prestando especial atención a los estudios empíricos, los metaanálisis y las revisiones sistemáticas. Cada autor también proporcionó un descriptor inicial para definir cada práctica. Las prácticas propuestas y las definiciones de los cinco objetivos se perfeccionaron colectivamente mediante reuniones en línea y presenciales, lo que dio lugar a una primera versión de la Taxonomía. Esta versión incluía 22 prácticas organizadas en los cinco objetivos, completas con definiciones y terminologías asociadas, apoyadas por documentos de referencia que proporcionaban la comprensión conceptual de cada objetivo.
Proceso de revisión por expertos (septiembre 2023 - noviembre 2023)
La OCDE invitó a más de 100 expertos del mundo académico y de organizaciones de intermediación del conocimiento a participar en un proceso de revisión por expertos. Un total de 43 académicos destacados en el campo de la pedagogía, así como organizaciones de intermediación del conocimiento sobre educación, que se detallan en el Anexo B, proporcionaron comentarios sobre la primera versión de la Taxonomía. Los principales objetivos de la revisión fueron comprobar la adecuación de la Taxonomía a los distintos corpus bibliográficos y garantizar la idoneidad de las definiciones, al tiempo que se desarrollaba una indicación de la solidez de la evidencia para cada práctica. Los expertos aportaron sus comentarios de forma independiente para reducir posibles sesgos, y se les invitó a que lo hicieran en función de los aspectos de la Taxonomía que mejor se ajustaran a sus conocimientos. A continuación, la OCDE organizó una serie de reuniones de debate con diferentes partes interesadas para seguir perfeccionando la Taxonomía, incluida una reunión en persona con un grupo de 14 organizaciones de intermediación del conocimiento los días 30 y 31 de octubre de 2023.
Una amplia consulta a todas las partes interesadas en la educación (noviembre de 2023 - enero de 2024)
Dado que la Taxonomía pretendía avanzar hacia un lenguaje pedagógico más compartido, se invitó a diversas partes interesadas en la educación a comentar la primera versión de la Taxonomía. En particular, se invitó a los países participantes y a las organizaciones de la red Schools+ a que aportaran sus comentarios, así como a más de 150 centros escolares de 40 países diferentes (véase el Anexo B). Los comentarios solicitados se centraron en las definiciones, los términos asociados de las prácticas básicas propuestas, y en los documentos conceptuales de base.
Finalización de la Taxonomía (febrero de 2024 - abril de 2024)
Los procesos de consulta produjeron valiosos comentarios que condujeron a importantes ajustes en la versión final de la Taxonomía, como la inclusión de “Metacognición” en “Compromiso cognitivo”, la redefinición de “Creación de un clima de apoyo en el aula” en la dimensión “Apoyo socioemocional” y la reubicación y fusión de “Elaboración de explicaciones y exposiciones con procedimientos y métodos explícitos” en la dimensión “Contenido temático de calidad” (véase la Cuadro A A.3). La retroalimentación recibida también ayudó a dar mayor precisión y claridad a numerosos descriptores, así como a producir términos asociados adicionales para cada práctica.
Con un borrador inicial de la Taxonomía desarrollado, la Secretaría de la OCDE llevó a cabo un proceso de consulta con expertos y encargó una revisión bibliográfica independiente para identificar la mejor evidencia disponible y las limitaciones existentes en la base de evidencia.
Proceso de consulta con expertos
Los expertos procedían del mundo académico y de intermediación de conocimientos. La lista completa figura en el Anexo B. Los expertos del mundo académico fueron seleccionados a través de un enfoque multifacético:
(a) recomendaciones del Grupo Informal de Expertos, para garantizar la coherencia con los objetivos del proyecto; (b) a partir de referencias clave en las bibliografías de los documentos de referencia para incluir una amplia gama de perspectivas disciplinarias; y (c) nominaciones de expertos participantes para incluir a otros especialistas con valiosos puntos de vista.
Objetivos de la revisión
Se preguntó a los expertos acerca de los puntos fuertes y las limitaciones respectivas de las bases empíricas de las distintas prácticas incluidas en la Taxonomía. En concreto, se invitó a los expertos a:
Calificar la solidez de la evidencia de las prácticas docentes utilizando un conjunto compartido de criterios.
Proporcionar información cualitativa que detalle los motivos de sus valoraciones, incluidas las limitaciones o los puntos fuertes percibidos en la base empírica.
Sugerir estudios clave o debates en curso que potencialmente merecían ser incluidos.
Compartir comentarios sobre las definiciones y terminologías utilizadas en la Taxonomía de Schools+ para perfeccionar la conceptualización de las prácticas (véase el proceso de revisión por expertos (septiembre 2023 - noviembre 2023) más arriba).
Proporcionar información cualitativa sobre un conjunto de consideraciones clave que contribuyen a una implementación efectiva en el aula y las condiciones favorables o los obstáculos que pueden encontrar los centros escolares a la hora de implementar eficazmente determinadas prácticas.
Calificar, basándose en su experiencia, la frecuencia con la que las prácticas se implementaban de forma eficaz y con impacto en las aulas y compartir, a través de comentarios de texto abierto, los desafíos con los que, en su opinión, se enfrentaban los docentes al intentar implementar o perfeccionarlas. Estos comentarios se utilizaron para refinar las consideraciones clave que desglosaban las prácticas docentes individuales de una manera más granular.
Se invitó a los expertos a hacer aportes sólo en las áreas de su competencia. Esto significaba que los expertos podían optar por hacer comentarios sobre algunas prácticas concretas en función de su experiencia, sobre varias o sobre todas ellas. Un total de 26 expertos valoraron la solidez de la evidencia, aunque las prácticas recibieron un número variable de valoraciones. Otros 17 académicos y organizaciones hicieron aportes cualitativos sobre la conceptualización de las prácticas y el alcance de su evidencia.
Los expertos proporcionaron sus valoraciones independientemente unos de otros para ayudar a reducir posibles sesgos de conformidad social o de individuos dominantes. Los expertos recibieron las mismas instrucciones sobre el proceso y un documento Excel para realizar sus valoraciones y compartir sus comentarios, que les fue devuelto por correo electrónico. Para facilitar una interpretación coherente, se proporcionaron a los expertos las mismas definiciones para cada práctica de la Taxonomía y el trabajo de base.
Para cada una de las prácticas de la primera versión de la Taxonomía de Schools+, se preguntó a los expertos "¿Cómo calificaría la solidez de la evidencia?" y se les invitó a elegir una de las cuatro etiquetas siguientes:
1. Emergente: La evidencia es principalmente teórica y hay poca evidencia empírica sólida, o la evidencia se limita a contextos y/o estudiantes específicos;
2. Prometedora: La base de investigación está desarrollándose y resulta prometedora, pero puede ser que todavía dependa más de estudios teóricos que de estudios empíricos sólidos, incluidos estudios experimentales, y/o que exista un alto grado de variación en los estudios. Puede que solo haya un número limitado de contextos representados en los estudios;
3. Sólida: La base de la investigación es sólida, con un buen número de estudios empíricos, incluidos estudios experimentales y una sólida comprensión de cómo los efectos pueden variar según los distintos contextos;
4. Fuerte: La base de investigación es sólida, con un gran número de estudios empíricos, incluidos estudios experimentales, y un alto grado de consenso en torno a los mecanismos que impulsan los resultados y cómo éstos varían en diferentes contextos. También hay estudios observacionales y transversales que contribuyen a la base empírica. El número total difiere según las prácticas porque sólo se invitó a los expertos a comentar sobre sus áreas de especialización.
Las definiciones de las etiquetas se elaboraron en consulta con el experto principal del Grupo Informal de Expertos. También se incluyó un cuadro de texto abierto para cada práctica que tenía la siguiente instrucción: "Por favor, siéntase libre de explicar la justificación de su calificación de la evidencia u ofrecer cualquier sugerencia que tenga sobre los puntos fuertes y las limitaciones".
Incorporando la revisión de los expertos
Las opiniones de los expertos se consolidaron en un archivo maestro exhaustivo, en el que se registraron todas las valoraciones asignadas a cada práctica, junto con transcripciones literales de los comentarios cualitativos de los expertos. Se calcularon las estadísticas básicas sobre su distribución y la media de las valoraciones. Se revisaron minuciosamente las justificaciones que acompañaban a las calificaciones, y los principales puntos fuertes y limitaciones se desglosaron en categorías temáticas.
Una preocupación particular era garantizar la coherencia en la interpretación de la solidez de la evidencia entre los revisores. Para ello, se adoptaron una serie de medidas:
Las calificaciones brutas de la solidez de la evidencia, las calificaciones agregadas y las justificaciones adjuntas se compartieron con el Presidente del Grupo Informal de Expertos para su revisión independiente (véase la Cuadro A A.4).
El Presidente asignó de forma independiente una calificación global a cada práctica basándose en su análisis de la variación de las calificaciones, los fundamentos subyacentes de las calificaciones y el alcance detallado de la evidencia para cada práctica en los documentos de referencia del Grupo Informal de Expertos (véase Desarrollo de definiciones compartidas (noviembre de 2022 - septiembre de 2023)).
Para garantizar la objetividad y fiabilidad de las conclusiones, la Secretaría de la OCDE también llevó a cabo una revisión ciega paralela, reproduciendo simultáneamente el mismo proceso de asignación de una calificación global que el Experto Principal.
Los posibles desacuerdos se conciliaron mediante deliberaciones iterativas y las prácticas se organizaron en tres grupos que reflejaron el grado de consenso sobre el impacto causal de las prácticas.
Para obtener información adicional, las valoraciones iniciales también se revisaron y debatieron con el Grupo Informal de Expertos y las organizaciones de intermediación de evidencia educativas participantes en la reunión "Reunión sobre la vinculación de la evidencia y la práctica en la educación", mencionada anteriormente, para explorar posibles pautas y vías que podrían seguirse.
Nota: Esta tabla incluye las respuestas de los 26 académicos y agencias de intermediación de conocimientos que proporcionaron calificaciones sobre la solidez de la evidencia como parte de su participación en el ejercicio de calificación de expertos.
1. Es importante señalar que los participantes no respondieron a todas las dimensiones.
2. La calificación media se calculó asignando un 1 a cada etiqueta de "Emergente", un 2 a cada etiqueta de "Prometedor", un 3 a las calificadas como "Sólidas" y un 4 a las calificadas como "Fuertes". 3. Las prácticas y su formulación son las del primer borrador de la Taxonomía de la Enseñanza de Schools+.
Sobre la base de las calificaciones finales asignadas por la Presidencia y la Secretaría de la OCDE, y reconsiderando la distribución de las calificaciones iniciales de los expertos, las prácticas se clasificaron sistemáticamente en tres niveles de evidencia –alto, medio o bajo– que reflejan el nivel de consenso sobre su impacto causal positivo en los resultados de los alumnos. Estas categorías se basaron en el número y la calidad de los estudios, la coherencia de los resultados y la implementabilidad de la evidencia a diferentes contextos educativos, asignaturas y niveles. Además, para cada práctica se cotejaron y sintetizaron las limitaciones de la base empírica. Para ello se tuvieron en cuenta las limitaciones identificadas en los documentos de referencia del Grupo Informal de Expertos, así como las limitaciones identificadas en las percepciones cualitativas de los expertos en el proceso de consulta.
Reforzar el proceso de revisión mediante una revisión bibliográfica
Se encargó una revisión bibliográfica a dos revisores independientes con el fin de seguir examinando la evidencia disponible sobre las prácticas incluidas en la Taxonomía. Uno de los objetivos de la revisión era verificar sesgos y aumentar la cobertura de la evidencia consultada por el Grupo Informal de Expertos en los documentos de referencia. De este modo, se dispondría de un conjunto más amplio de evidencias para elaborar el informe final. Un segundo propósito era también comprobar si existían posibles sesgos o descuidos en las agrupaciones de prácticas basadas en la consulta a expertos.
Esta revisión bibliográfica se diseñó siguiendo metodologías de síntesis de evidencia establecidas, garantizando que la amplitud y profundidad de la bibliografía analizada cumpliera las normas de fiabilidad y validez. En particular, el protocolo consideró los siguientes criterios explícitos de inclusión y exclusión:
Tipo de estudios: Se utilizó el mayor nivel de evidencia posible; cuando se disponía de él, síntesis metaanalíticas cuantitativas de ensayos controlados aleatorizados o diseños cuasiexperimentales.
Población: Estudios centrados en docentes de centros escolares ordinarios de los niveles de educación primaria y secundaria (CINE 1 a 3).
Intervención: Inclusión de prácticas de enseñanza, metodologías y enfoques pedagógicos pertinentes para una subdimensión específica.
Resultados: Efectos mensurables en el rendimiento cognitivo y no cognitivo de los alumnos, la definición de la Brújula de la Educación 2030 de la OCDE.
Marco temporal: Estudios publicados después de 2000 y, cuando exista un metanálisis amplio para una subdimensión, desde la publicación del metanálisis.
Geografías y Lenguaje: Estudios publicados en inglés o con traducciones al inglés disponibles.
Las fuentes de datos y la estrategia de búsqueda consistieron en utilizar palabras clave relacionadas con la subdimensión y sus términos asociados para buscar en bases de datos como ERIC (Education Resources Information Center) y Scopus. Se utilizó un formulario de recogida de datos para estandarizar la captura de las características del diseño del estudio, la metodología, los resultados, las limitaciones y la alineación conceptual con la Taxonomía.
Esto significa que, en total, se han considerado unas 500 referencias (con algunas duplicaciones) entre los objetivos pedagógicos de la Taxonomía: Interacción en el aula (95), Compromiso cognitivo (139), Evaluación formativa y retroalimentación (69), Calidad de la materia (88), Apoyo socioemocional (171). También es importante señalar que esta distribución se basa en la solidez de las conceptualizaciones de los distintos objetivos, así como en la naturaleza de las distintas bases empíricas. Por ejemplo, se dispone de metaanálisis de alta calidad para la evaluación formativa y la retroalimentación, mientras que faltan referencias similares para el compromiso cognitivo y el apoyo socioemocional. Esto también se refleja en los resultados del proceso de revisión por expertos.
Otra característica del trabajo de la red de Schools+ ha sido reunir y sistematizar los conocimientos profesionales de los docentes y los directores de centros escolares a través del Círculo de Aprendizaje de las Escuelas. Desde noviembre de 2023 hasta noviembre de 2024, más de 150 escuelas han contribuido al trabajo de Schools+.
Captación de escuelas
Los centros escolares fueron propuestos por las organizaciones y ministerios participantes en la Red Schools+. Se invitó a cada organización o ministerio a designar un máximo de 10 centros escolares. Para facilitar la selección de estas escuelas, se proporcionó una guía detallada con criterios para la selección de las escuelas, que incluía los siguientes criterios:
Centros de enseñanza primaria y/o secundaria de diferentes zonas geográficas y diferentes grupos socioeconómicos
Figurar entre los centros más pioneros de sus respectivas redes, demostrando un alto nivel de enseñanza y aprendizaje
Utilizar regularmente los resultados de la investigación para tomar decisiones e impulsar el centro educativo (por ejemplo, trabajando con investigadores, participando en la investigación-acción, manteniéndose al día de los resultados de la investigación, contando con sólidos procesos de autoevaluación del centro).
Comprometerse con la innovación y mostrar interés en cómo inspirar y apoyar a otras escuelas para que adopten iniciativas a escala.
Apasionados por dar forma a la educación mundial, compartir su experiencia y crear soluciones conjuntamente con compañeros de otros países.
Una de las principales expectativas era que las escuelas participantes estuvieran en sintonía con la investigación y tomaran decisiones basadas en ella y respaldadas por evidencias locales de su contexto escolar. Las escuelas fueron reclutadas rellenando un formulario de inscripción en el que se les pedía que compartieran información sobre las características, la experiencia y las iniciativas de la escuela en relación con la investigación y el uso de evidencia. Cuando se les preguntó al respecto, más de 100 afirmaron haber participado en proyectos de investigación, y casi todos habían participado en concursos y redes locales. Muchas escuelas también informaron de que utilizaban diferentes medios para la autoevaluación de las iniciativas en la escuela (por ejemplo, datos de evaluación y de los alumnos, cuestionarios o testimonios de los docentes). Se pidió a las escuelas que incluyeran al menos a un miembro del equipo directivo y a un miembro del personal docente, y se les animó a formar un equipo interno al menos con tres miembros del personal para permitir el debate y el desarrollo de respuestas escolares sintetizadas, con la siguiente orientación para los equipos.
La mayoría de los centros del Círculo de Aprendizaje eran públicos, con un reparto razonablemente equitativo entre los que atendían a los niveles de primaria, secundaria o tanto primaria como secundaria (véase el Recuadro A A.5). Una proporción notable tenía un número significativo de alumnos desfavorecidos, según sus propias estimaciones. El número medio de alumnos por centro era de 934, y el número medio de docentes de 88. En conjunto, esto significa que el Círculo de Aprendizaje ha trabajado con escuelas que engloban a más de 130.000 alumnos y 12.000 docentes.
También hay una notable dispersión geográfica en los centros participantes, como se muestra en la Cuadro A A.6. Un total de 84 centros fueron propuestos por gobiernos (nacionales y locales) de países miembros y no miembros de la OCDE y 67 centros fueron propuestos por otras organizaciones participantes en Schools+.
Formación de grupos temáticos
Las escuelas se organizaron en cinco grupos temáticos basados en los cinco objetivos de la enseñanza. Se pidió a los centros que eligieran en cuál de los cinco grupos temáticos/objetivos estaban interesados en centrar la mayor parte de su atención, recibiendo una visión general de los cinco objetivos para fundamentar su decisión. Se animó a las escuelas a que basaran su decisión en su propia práctica y en qué grupo temático/dimensión consideraban que era un punto fuerte de su centro, de modo que pudieran compartir y adquirir conocimientos sobre sus prácticas. Esto también facilitó reflexiones y debates más centrados entre los participantes, al invitarles a concentrarse en un único ámbito de práctica (aunque siguiera siendo amplio) en lugar de en la enseñanza en su conjunto.
A cada grupo temático se le asignaron también dos "colíderes". Se trataba de escuelas que se ofrecieron voluntarias para desempeñar esta función y expresaron su interés en tener una participación más amplia y práctica. Del grupo de escuelas interesadas, se invitó a un grupo de 10 colíderes a desempeñar esta importante función en relación a su experiencia en el trabajo internacional y en iniciativas específicas basadas en datos empíricos en sus escuelas, así como teniendo en cuenta la distribución geográfica.
Proceso para recabar las lecciones aprendidas de las escuelas
La obtención de las lecciones aprendidas de los centros escolares dependía de una serie de "hitos" que se compartían con ellos. Las escuelas tenían una serie de estímulos y resultados diferentes que se esperaban de ellas. A continuación, se describe cada uno de ellos.
Hito 1 (noviembre de 2023) - Construir un lenguaje didáctico compartido y delinear los mecanismos de implementación:
Para garantizar una comprensión común de las prácticas, las escuelas leyeron el documento de referencia de su área temática.
Los centros escolares rellenaron una encuesta en línea para compartir el lenguaje y la terminología que utilizan para describir las prácticas, así como sus sugerencias sobre cómo se describen las prácticas en términos de mecanismos de implementación para fundamentar el desarrollo inicial de ideas al respecto.
Los centros escolares se reunieron en línea para debatir los temas tratados en las encuestas.
Hito 2 (diciembre - enero de 2024) - Identificar las señales de los estudiantes en clase y profundizar en los conocimientos sobre la implementación:
Sobre la base de los capítulos anteriores, se volvió a pedir a los centros escolares, mediante una encuesta en línea, que compartieran los tipos de señales de los alumnos en clase a los que prestaban atención al implementar cada práctica, tanto en términos de señales de que una práctica se estaba implementando eficazmente como de que no se estaba implementando.
Con el fin de enriquecer la información sobre los mecanismos de implementación, también se pidió a los centros que explicaran cómo variaba la implementación de los distintos mecanismos en función de las clases y las necesidades contextuales.
Dirigidas por los codirectores, las escuelas se reunieron en línea para debatir los puntos de desacuerdo en cuanto a los mecanismos de implementación efectiva y la síntesis evolutiva de sus ideas.
Hito 3 (febrero - abril de 2024) - Debate sobre la implementación de las prácticas:
Los centros escolares tuvieron acceso a una versión compartida "en vivo" del primer borrador de los capítulos del informe para su coedición.
Se colocaron una serie de recuadros de preguntas en áreas en las que, según los hitos y debates anteriores, seguía faltando información profesional suficiente. Se invitó a las escuelas a comentar el texto existente, a compartir sus puntos de vista a través de estos cuadros de preguntas o a participar en las ideas de otras escuelas que ya se habían compartido.
En particular, se pidió a las escuelas que compartieran ejemplos tangibles de cómo responden a desafíos concretos a la hora de implementar las prácticas, con el fin de ofrecer una visión más significativa de los mecanismos de implementación.
Dirigidos por los codirectores, los centros escolares se reunieron en línea para debatir y perfeccionar la primera síntesis de las señales de los alumnos basada en el Hito 2.
Hito 4 (junio - septiembre de 2024) - Determinación del alcance del proceso de cambio y de los factores contextuales favorables:
Se invitó a los centros escolares a presentar un resumen detallado de cómo han introducido un cambio sustancial en su centro para mejorar el uso de al menos una de las 20 prácticas.
Los centros escolares compartieron sus prácticas inspiradoras a través de una plantilla estandarizada que se había desarrollado gracias a las contribuciones de la Tercera Reunión Comunitaria de Schools+. Entre otras cosas, los centros escolares compartieron la evidencia de su impacto a nivel escolar y la forma en que los directores habían abordado los distintos factores contextuales a nivel escolar para garantizar su eficacia.
Las escuelas se reunieron en línea para debatir en detalle un ejemplo de estudio de caso y cómo garantizar que la información sobre los factores contextuales fuera detallada y pertinente.
Hito 5 (octubre - noviembre de 2024) - Comprender toda la complejidad de la enseñanza:
Las escuelas realizaron un ejercicio de calificación por expertos sobre la complejidad de la enseñanza. Los centros calificaron cada una de las 20 prácticas en función de su dificultad inherente y de la influencia de los factores contextuales en su implementación.1 Este ejercicio se completó mediante una encuesta en línea y a continuación se ofrece más información sobre el ejercicio de calificación y la metodología utilizada para su procesamiento.
Los centros escolares también presentaron información cualitativa sobre los tipos de prácticas eficaces de liderazgo pedagógico que pueden contribuir a crear un entorno propicio para la enseñanza de alta calidad.
Las escuelas se reunieron en línea para debatir con más detalle los tipos de prácticas eficaces de liderazgo pedagógico que responden a distintos factores contextuales.
Hito 6 (diciembre - marzo 2024) - Explorar el liderazgo instructivo para el cambio:
Se facilitó a los centros escolares un documento de referencia sobre estrategias para ayudar a los docentes a perfeccionar sus competencias y crear entornos favorables (el borrador inicial del capítulo 8) en formato de "documento vivo", que incluía los resultados provisionales del ejercicio de calificación antes mencionado (Hito 5).
Se pidió a los centros escolares que compartieran sus impresiones sobre cómo los distintos factores contextuales determinan una enseñanza de alta calidad y que aportaran más datos sobre sus propias experiencias a la hora de hacer frente a estos factores.
Los centros escolares tuvieron acceso a la revisión por pares de las prácticas inspiradoras de sus homólogos. En particular, la revisión se centró en obtener información más detallada sobre cómo las escuelas han pasado por procesos de cambio para modificar comportamientos y mentalidades en torno a las prácticas.
Análisis de los datos escolares
Como se ha señalado, se sintetizaron dos tipos concretos de percepciones para su inclusión en el informe: percepciones sobre la respuesta a consideraciones clave a la hora de implantar prácticas, y señales de los estudiantes en tiempo real que podían utilizarse para supervisar la eficacia de la implantación. El desarrollo y el perfeccionamiento de estas consistieron en lo siguiente:
Análisis práctica por práctica: Se tomó la decisión de utilizar prácticas individuales como unidad primaria de análisis; cada grupo contaba con prácticas diferentes que tenían su propio conjunto de consideraciones y señales particulares de aplicación, que podían ser muy variables.
Oportunidades continuas de perfeccionamiento colectivo: Los codirectores tuvieron la oportunidad de revisar los temas que surgían del análisis de datos y hubo espacio para el debate entre las escuelas en las reuniones de sus grupos temáticos para considerar los temas y ciertas áreas que carecían de claridad (por ejemplo, señales particulares, ciertas respuestas a consideraciones clave).
Seguimiento de la participación para garantizar la amplitud de conocimientos: Se controlaron los índices de participación en los distintos hitos para garantizar que se escuchaban distintos puntos de vista.
Vínculos con otros marcos de la OCDE: Las señales de los alumnos se relacionaron con la Brújula de Aprendizaje de Educación 2030 para ofrecer una mayor coherencia a la hora de interpretarlas y debatirlas.
Comprobaciones adicionales: Tras sintetizar las ideas y las señales, los datos originales se devolvieron a los centros escolares para una comprobación adicional y se compartieron con un número más amplio de centros escolares.
Análisis de las calificaciones escolares sobre complejidad
Como parte del Hito 5, se pidió a las escuelas que completaran dos calificaciones para cada una de las 20 prácticas basándose en su experiencia:
"¿Cuál es el nivel de dificultad para que un docente experto ejecute esta práctica, independientemente de los factores contextuales?".
"¿Cuál es el nivel de influencia de los factores contextuales (externos al docente experto) en esta práctica?".
Se orientó a los centros escolares sobre cómo enfocar las calificaciones2 y se les dio un ejemplo del tipo de página de calificación que utilizarían, acompañado de un ejemplo de cómo calificar con ambas escalas un ejemplo ajeno a la clase.3 Aunque se esperaba que los centros participantes ya estuvieran familiarizados con las definiciones de cada práctica, se incluyeron las definiciones para mayor claridad.
Las prácticas se presentaron en orden aleatorio para mejorar la fiabilidad. Se consideró que una escala Likert de 7 puntos era la mejor para captar una mayor variabilidad en las valoraciones, en la que 1 representaba una dificultad muy baja o una influencia muy baja de los factores contextuales, y 7 una dificultad muy alta o una influencia muy alta de los factores contextuales. Se incluyó una pregunta que daba a los calificadores la oportunidad de identificar hasta cinco prácticas en cada escala de calificación que les resultaban particularmente difíciles de juzgar (véanse los Cuadro A A.8 y Cuadro A A.8).
Nota: Las prácticas fueron clasificadas en orden aleatorio por los centros. Se pidió a los centros que calificaran cada práctica en relación con la pregunta "¿Cuál es el nivel de dificultad para que un docente experto ejecute esta práctica, independientemente de los factores contextuales?". Los centros calificaron las prácticas en una escala Likert de 7 puntos, siendo 1 "dificultad muy baja" y 7 "dificultad muy alta". Al final, los centros tuvieron la opción de identificar hasta cinco prácticas que fueron las más difíciles calificar por su dificultad, respondiendo a la siguiente pregunta: "¿Qué prácticas fueron las más difíciles de calificar por su dificultad?".
El instrumento de calificación se probó primero en 32 centros escolares. A continuación, se invitó a todos los centros participantes a realizar las valoraciones. Cumplimentaron el cuestionario 132 directores y docentes de 87 centros diferentes. Había 53 docentes y el resto desempeñaba funciones de dirección. Los evaluadores tenían una experiencia media de más de 19 años como docentes. Los que eran directores o líderes escolares tenían aproximadamente 10 años de experiencia en funciones de liderazgo.
Nota: Las prácticas fueron clasificadas en orden aleatorio por los centros escolares. Se pidió a los centros que calificaran cada práctica en relación con la pregunta "¿Cuál es el nivel de influencia de los factores contextuales (externos al docente experto) en esta?". Los centros calificaron las prácticas en una escala Likert de 7 puntos, siendo 1 "influencia muy baja" y 7 "influencia muy alta". Los centros escolares tuvieron la opción de identificar al final hasta cinco prácticas que fueron las más difíciles de calificar en cuanto a influencia contextual, respondiendo a la siguiente pregunta: "¿Qué prácticas fueron las más difíciles de calificar en cuanto a influencia contextual?".
Para procesar las puntuaciones, se decidió organizar las prácticas en grupos. Las puntuaciones específicas de las prácticas tenían poco valor conceptual. Resultaba más significativo identificar los patrones que captaban las diferencias relativas entre las prácticas, en lugar de intentar, por ejemplo, cuantificar específicamente cuánto más difícil era una práctica que otra. El análisis de la correlación intraclase sugiere niveles razonables de consenso sobre qué prácticas eran más o menos difíciles y estaban más o menos influidas por factores contextuales. Hubo un acuerdo más limitado sobre la dificultad exacta o la influencia contextual en una práctica concreta (por ejemplo, si era un 4 o un 3 en la escala Likert de 7 puntos), lo que era de esperar en una escala de este tipo.
Los límites de los grupos se establecieron a partir de la valoración media, cotejada con valoraciones media y modal. Esta comprobación cruzada, así como la visualización del conjunto de datos y su distribución de valoraciones, permitieron establecer los límites adecuados, aunque éstos no sean fijos y pueden variar en su dificultad o verse influidas por factores contextuales. Los grupos finales fueron los siguientes, donde x representa la puntuación media de los evaluadores:
Dificultad: Dificultad menor x< 3,2, dificultad media 3,2≤ x< 3,7, dificultad mayor 3,7≤ x.
Factores contextuales: Menor influencia contextual x< 4,0, influencia contextual media 4,0≤ x< 4,5, mayor influencia contextual 4,5 ≤ x.
Participación sostenida
La Secretaría de Schools+ pidió a las escuelas que, bajo la dirección de los "colíderes", se comprometieran con el trabajo de los Hitos y asistieran a reuniones periódicas para informar de sus progresos. La participación de las 150 escuelas en el Círculo de Aprendizaje ha sido constante, tanto en lo que se refiere a la asignación de hitos como a la asistencia a las reuniones. Esto se refleja en los índices de participación en el primer y el último hito, que muestran cierto descenso pero niveles razonablemente sostenidos de compromiso por parte de las escuelas participantes. En el Hito 1 participaron 111 centros, mientras que el Hito 5, el mencionado ejercicio de evaluación por expertos, hubo un total de 132 evaluaciones por parte de directores y docentes de 87 centros.
En cuanto a la participación en las reuniones, el panorama es similar. La participación en las reuniones incluye a representantes de las escuelas, junto con otros colegas del mismo establecimiento. Todas las reuniones tuvieron lugar en Zoom y las grabaciones, presentaciones y otros materiales se compartieron con todos los participantes después de la reunión, para dar cuenta de las escuelas que no pudieron asistir. A continuación, se muestra la asistencia a las reuniones:
← 1. Obsérvese que en el capítulo 8 se hace referencia a los factores contextuales como factores ambientales
← 2. Las escuelas recibieron la siguiente orientación para cada pregunta de calificación:
La primera pregunta se refiere a lo difícil que cree que es llevar a cabo una práctica docente concreta con la máxima calidad. Esto no implica que la enseñanza en su conjunto no sea difícil: la enseñanza es compleja y las diferentes prácticas varían en dificultad. La pregunta se formula en torno a la dificultad que supone para un docente experto llevar a cabo esta práctica. Esto se basa en la lógica de que lo que es difícil para los que se consideran excelentes en la enseñanza también lo es para otros docentes. Para determinar el nivel de dificultad, tenga en cuenta factores como los niveles de conocimiento exigidos, el nivel de adaptación y flexibilidad a las necesidades de los alumnos o el nivel de multitarea requerido.
La segunda pregunta le pide que evalúe en qué medida la realización de esa práctica en su más elevada está influida por factores externos al docente. La enseñanza siempre se basa en gran medida en el contexto, pero determinadas prácticas pueden depender más de factores contextuales que de lo que haga el docente. Para determinar el nivel de influencia, tenga en cuenta factores contextuales como el plan de estudios y los materiales, el tamaño de las clases y las características de los alumnos, los recursos, la colaboración del personal, la participación de los padres, las políticas escolares, etc.
← 3. El ejemplo era "Por ejemplo, celebrar una reunión con los padres para hablar de la baja asistencia de un alumno es intrínsecamente más difícil que una tarea de procedimiento como registrar la asistencia al comienzo de una clase. En la reunión influyen más los factores contextuales –como las políticas escolares, las estrategias de participación de los padres y los antecedentes del alumno– que en la tarea rutinaria de pasar lista".