Mejorando las políticas activas del mercado laboral en España

2. Diseño del programa basado en la evidencia

Resumen

En este capítulo se examina cómo se utilizó la evidencia para fundamentar el diseño de una selección de PAML en España. Comienza explicando por qué el diseño basado en la evidencia es un elemento clave de un PAML eficaz, junto con el punto de referencia para la excelencia utilizado para la valoración cualitativa. A continuación, el capítulo presenta los principales hallazgos del ejercicio de valoración, centrándose en determinar si los programas se basaron en los datos del mercado laboral, las lecciones extraídas de intervenciones anteriores y las aportaciones de las partes interesadas durante la fase de diseño, y si los marcos de monitoreo y evaluación se integraron desde el inicio. Finalmente, se destacan dos buenas prácticas y se ofrecen recomendaciones derivadas de la valoración para reforzar el uso de la evidencia en el diseño futuro de PAML.

2.1. Comprender el criterio y su punto de referencia para la excelencia (benchmark) en la valoración cualitativa

Un aspecto fundamental de un programa bien diseñado es la incorporación de evidencia existente. Este enfoque garantiza que las políticas se basen en lo que se ha demostrado que funciona, mitigando así el riesgo de ineficacia o posibles consecuencias no deseadas. El diseño eficaz de un programa se apoya en una base sólida de datos empíricos derivados de la observación sistemática, la medición, la experimentación o la evaluación, en lugar de predicciones teóricas o evidencia anecdótica. La evidencia incluye un análisis de tendencias históricas, las condiciones actuales del mercado laboral y la eficacia de programas similares en contextos similares u otros. El diseño del programa debe incluir una revisión exhaustiva de programas anteriores, identificando lo que ha funcionado, lo que ha fallado y las razones de estos resultados. Al aprovechar la evidencia, en particular la procedente de ejercicios previos de monitoreo y evaluación (M&E), los diseñadores de políticas pueden crear PAML más focalizados y de mayor impacto.

Además, la comparación o el benchmarking de PAML con aquellos de otros países de la OCDE puede ofrecer nuevas perspectivas para el diseño de políticas. Este análisis comparativo ayuda a identificar buenas prácticas y enfoques innovadores que han sido exitosos en otros contextos, y que podrían adaptarse al contexto específico.

El diseño eficaz y eficiente de programas también depende de la cooperación formal e informal entre las principales partes interesadas que intervienen en el sistema de PAML (Lauringson and Lüske, 2021[6]). Esta colaboración garantiza un enfoque holístico, incorporando diversas perspectivas y conocimientos. Por ejemplo, la participación de los interlocutores sociales puede aportar valiosas ideas sobre las necesidades de los demandantes de empleo, los empleados y los empleadores, fomentando así un diseño de PAML más válido, aceptable y efectivo. Dinamarca es un ejemplo de cómo la contribución de los interlocutores sociales influye significativamente en el diseño de políticas (OECD, 2021[7]). Además, la cooperación y coordinación entre los actores del sistema de PAML han sido cruciales para dar respuestas rápidas y bien diseñadas a los retos planteados por la pandemia del COVID-19. En Austria, por ejemplo, los investigadores participaron en el rediseño del paquete de PAML desde el inicio de la crisis a través de un comité de investigación permanente.

Por último, diseñar políticas en paralelo a sus marcos de monitoreo y evaluación es fundamental. Esto garantiza que las variables para la recopilación de datos, los mecanismos de recopilación de datos, las necesidades de personal y competencias y las posibles metodologías de evaluación se tengan en cuenta de antemano, lo que facilita las posteriores actividades de monitoreo y evaluación. Al establecer indicadores de rendimiento y criterios de evaluación desde el principio, se puede mantener un ciclo de retroalimentación continuo a lo largo de la ejecución del programa, fomentando la mejora y la adaptación continúas basadas en datos y resultados en tiempo real (véase el Capítulo 9 sobre monitoreo y evaluación).

Recuadro 2.1. Punto de referencia para la excelencia (Benchmark): el diseño de PAML

Un PAML de referencia destaca por su diseño basado en evidencia, fundamentado en hechos y hallazgos sólidos. Se basa en un análisis exhaustivo de las tendencias históricas, las condiciones y los retos actuales del mercado laboral, los datos empíricos y las enseñanzas extraídas de otros programas. Se inspira en los resultados de programas anteriores y similares, identificando lo que ha funcionado, lo que ha fallado y las razones de estos resultados. Este enfoque garantiza que los programas se basen en lo que se ha demostrado que funciona, mitigando así el riesgo de ineficacia o posibles consecuencias no deseadas.

El proceso de diseño implica la colaboración con diversas partes interesadas, como organismos gubernamentales, empleadores, sindicatos e investigadores. De este modo se garantiza que el programa tenga en cuenta una amplia gama de perspectivas y necesidades. Por otra parte, el programa se inspira en las políticas activas del mercado laboral que han tenido éxito en otros países y traslada estos conocimientos a la práctica local.

Además, el programa referente se diseña en paralelo a su plan de monitoreo y evaluación (M&E). Este desarrollo simultáneo garantiza que el programa establezca indicadores de rendimiento y criterios de evaluación claros desde el principio, lo que facilita el seguimiento posterior de los avances y la eficacia.

2.2. Resumen de los resultados de la valoración cualitativa

2.2.1. Uso de evidencia en el diseño del programa

Los programas valorados solían presentar tres capas en su diseño. En primer lugar, el contenido general y los objetivos del programa se definió a nivel estatal. Posteriormente, cuando la gestión recaía en las comunidades autónomas, estas podían desarrollar y concretar dicho marco. Por último, las entidades proveedoras de servicios contribuyeron sugiriendo acciones y metodologías específicas dentro de las directrices establecidas del programa.

Una buena práctica observada en el diseño del contenido general en el ámbito estatal fue el uso de las lecciones aprendidas de proyectos anteriores de asistencia técnica y de consultas con expertos, como el proyecto IAT “Apoyo a la implementación y monitoreo de las medidas incluidas en el Plan de Choque por el Empleo Joven y el Plan Reincorpora-T", respaldado por la Comisión Europea y el Banco Mundial. Estos esfuerzos permitieron identificar enfoques eficaces de intervenciones anteriores, que orientaron el desarrollo de programas dirigidos a colectivos vulnerables de atención prioritaria para la política de empleo en España. Incorporar estos aprendizajes permitió asegurar que el contenido y los objetivos definidos a nivel estatal incluyeran elementos previamente probados y validados en contextos similares.

En el ámbito autonómico, la mayoría de los programas se basaron en experiencias previas, especialmente en áreas como el asesoramiento, la formación o los itinerarios personalizados, para perfeccionar y mejorar la prestación de servicios. Algunos programas integraron de forma explícita la evidencia derivada de PAML anteriores con el objetivo de reforzar su diseño. En algunos casos, se adaptaron y ampliaron iniciativas previas exitosas, incorporando elementos como servicios de apoyo más completos, incentivos reforzados para las personas participantes o vínculos más sólidos con los empleadores. En otros casos, las comunidades autónomas buscaron replicar modelos eficaces que ya se habían implementado con éxito en otros territorios o a nivel estatal.

En ciertos programas, especialmente aquellos dirigidos a mujeres víctimas de violencia de género y trata de personas, la ausencia de iniciativas previas a gran escala implicó que el diseño del programa dependiera en mayor medida de la experiencia de las entidades proveedoras de servicios. Dado su conocimiento especializado y su experiencia directa en el trabajo con estos colectivos, estas entidades desempeñaron un papel clave en el diseño de los programas, garantizando que las intervenciones respondieran a las necesidades y realidades de la población destinataria.

También se utilizaron datos del mercado laboral para analizar tendencias y definir con mayor precisión los colectivos destinatarios. La información procedente de los institutos de estadística nacionales y autonómicos, los observatorios de empleo y otras fuentes de datos permitió identificar qué grupos enfrentaban mayores barreras de acceso al empleo y en qué territorios eran más necesarias las intervenciones. En algunos casos, se utilizaron datos derivados del monitoreo de programas anteriores, como los financiados a través del Fondo Social Europeo (FSE), para extraer enseñanzas útiles. Sin embargo, la aplicación de los resultados de este monitoreo al diseño de nuevos programas no fue sistemática, y las evaluaciones rigurosas, como las evaluaciones de impacto contrafactual, siguen siendo poco frecuentes. Esta falta de evidencia estructurada limita la capacidad de identificar y replicar los elementos más eficaces de los programas, reduciendo así el potencial de mejora continua en el diseño de los PAML.

2.2.2. Colaboración con las partes interesadas en el diseño del programa

El grado de implicación de las diferentes partes interesadas en el diseño del programa varió significativamente entre los programas valorados. En la mayoría de los casos, el proceso de diseño fue liderado por los servicios públicos de empleo (SPE) y las consultas con actores externos fueron limitadas, principalmente debido a restricciones de tiempo en el desarrollo de los programas. Incluso la colaboración dentro de los propios SPE no siempre estuvo presente. Por ejemplo, los SPE autonómicos prestan servicios de atención confidencial a mujeres víctimas de violencia de género, facilitados por personal especializado. Si bien estos servicios específicos existen, la colaboración entre estas unidades especializadas y los equipos responsables del diseño e implementación de los nuevos programas bajo el PRTR fue poco frecuente. En los casos en que sí se produjo esta colaboración, su contribución resultó muy valiosa, ya que permitió adaptar mejor las intervenciones a las necesidades concretas de este colectivo, aumentando su pertinencia y efectividad. La falta de colaboración estructurada con actores externos y entre distintos departamentos y unidades del propio SPE limita la capacidad de los PAML para responder plenamente a las necesidades de las personas participantes y a la realidad del mercado laboral.

No obstante, en algunos programas se observó una mayor implicación de las partes interesadas, especialmente a través de estructuras de diálogo social y órganos consultivos. Algunas comunidades autónomas realizaron consultas formales con sindicatos y organizaciones empresariales antes de finalizar el diseño de los programas, lo que permitió incorporar las perspectivas tanto de las personas trabajadoras como del tejido empresarial. En algunos casos, los consejos de diálogo social participaron en la revisión de las propuestas de programa, permitiendo a los interlocutores sociales influir en aspectos como la definición del colectivo destinatario, el modelo de prestación de servicios o las medidas de apoyo previstas.

El diálogo y la colaboración entre los SPE y las entidades proveedoras de servicios también fueron elementos clave en el diseño de los programas. Consultar a organizaciones que trabajan con colectivos vulnerables específicos, como las organizaciones del tercer sector o los servicios sociales, se reveló como una práctica particularmente eficaz, al permitir adaptar las estrategias de activación a la realidad de las personas demandantes con mayores dificultades de inserción. Además, en los programas dirigidos a mujeres víctimas de violencia de género y trata de personas, también participaron cuerpos de seguridad y organismos de igualdad de género durante la fase de diseño, aportando conocimiento especializado sobre los desafíos específicos de protección e inserción que enfrentan las mujeres víctimas de violencia.

2.2.3. Integración de marcos de monitoreo y evaluación en el diseño del programa

Todos los programas incorporaron algún tipo de marco de monitoreo y evaluación (M&E) desde la fase de diseño, principalmente a través del sistema de monitoreo establecido en el marco del PRTR (véase el Capítulo 9). Esto garantizó la existencia de mecanismos básicos de seguimiento desde el inicio, permitiendo monitorear el progreso de las personas participantes y la implementación de los programas. Sin embargo, el marco del PRTR sirve principalmente como una herramienta de monitoreo, y carece de un componente estructurado de evaluación. Si bien facilita la recopilación de datos cuantitativos sobre los flujos de participantes y las tasas de finalización, no incluye mecanismos que permitan valorar si los resultados observados, como la inserción laboral tras la finalización del programa, son directamente atribuibles a la participación en el programa y no a otros factores externos.

Más allá del marco establecido por el PRTR, algunos programas integraron elementos adicionales de diseño en materia de monitoreo y evaluación con el fin de mejorar el seguimiento y la rendición de cuentas. En algunos casos, las comunidades autónomas diseñaron sus propias herramientas de recopilación de datos, ampliando el tipo de información recogida más allá de los indicadores estándar del PRTR. Otra buena práctica fue la inclusión de guías operativas para las entidades proveedoras de servicios, lo que permitió estructurar los procesos de recopilación de datos y presentación de informes y asegurar su alineación con los objetivos del programa. Algunos programas también incorporaron mecanismos estructurados de seguimiento posterior, exigiendo a las entidades proveedoras mantener registros de las personas participantes una vez finalizado el programa, lo que facilita el monitoreo de resultados a medio y largo plazo.

2.3. Buenas prácticas identificadas

Los dos ejemplos que se presentan a continuación, en el Recuadro de buenas prácticas 1 y el Recuadro de buenas prácticas 2, destacan por adecuarse estrechamente al punto de referencia para el diseño de PAML basado en la evidencia. El primer ejemplo ilustra cómo el servicio público de empleo de Extremadura incorporó de forma sistemática datos de monitoreo, retroalimentación de las personas participantes y aportaciones de las entidades proveedoras de servicios de ciclos anteriores del programa para perfeccionar su apoyo a colectivos vulnerables. El segundo destaca cómo los programas TIC y TURISMO, gestionados por SEPE con la colaboración de FUNDAE, integraron de manera estructurada el diálogo social y la participación sectorial en todas las fases del diseño del programa. Estos casos ofrecen ejemplos concretos de cómo la evidencia empírica y la colaboración con las partes interesadas pueden dar lugar a PAML más pertinentes y mejor orientados.

Recuadro de buenas prácticas 1. Diseño de PAML: programa territorial para colectivos vulnerables en Extremadura

Base empírica para el diseño del programa

El diseño del programa se fundamentó en los resultados de PAML anteriores llevados a cabo por el Servicio Extremeño Público de Empleo (SEXPE) para demandantes de empleo con discapacidad. En concreto, se ha tenido en cuenta lo aprendido en los programas iniciados en 2018 y 2021, cada uno con una duración de 12 meses y ejecutados en régimen de concurrencia competitiva para entidades sin ánimo de lucro de la comunidad autónoma. Estos programas tenían como componente principal la orientación y el asesoramiento profesional, pero también incluían acciones para la mejora de competencias.

El proceso de diseño se nutrió del monitoreo detallado de estos programas previos. El análisis se centró en el grado de cumplimiento de los objetivos establecidos, tal como se describe en los informes detallados sobre la ejecución de acciones facilitados por los proveedores de servicios. Estos informes incluían un examen de los perfiles de las personas participantes, incluyendo la edad, el sexo, el tipo de discapacidad y las profesiones a las que se dirigían. Además, los informes valoraban las principales actividades de los programas, identificando áreas de éxito y fracaso. Ayudaron a identificar posibles áreas de mejora, garantizando que cada iteración del programa estuviera mejor ajustada para cumplir con sus objetivos.

Colaboración con las partes interesadas

El diseño del programa dirigido a colectivos vulnerables en Extremadura se vio especialmente beneficiado por la participación activa de diversas partes interesadas, incluyendo proveedores de servicios que implementaron programas similares anteriormente, así como las personas usuarias de los programas.

Los proveedores de servicios fueron fundamentales para conocer los obstáculos a la empleabilidad de las personas con discapacidad. Sus aportaciones fueron esenciales para identificar y perfeccionar áreas del programa que requerían mejoras. Por ejemplo, los comentarios recibidos en el ciclo del programa de 2018 pusieron de manifiesto una importante laguna en la sensibilización y comprensión de los empleadores sobre las cuestiones relacionadas con la discapacidad. Esto condujo a la introducción de acciones de empleo con apoyo en el programa de 2021, que ofrecían asesoramiento y apoyo personalizados para ayudar a las personas con discapacidad y dificultades especiales a encontrar, mantener y progresar en empleos ordinarios en el mercado laboral abierto. Asimismo, basándose en los comentarios de estos prestadores de servicios, se incluyeron en el nuevo programa mejoras significativas, como la incorporación de acciones para desarrollar competencias genéricas y transversales, junto con competencias digitales.

Los participantes también influyeron de forma sustancial en su diseño a través de sus comentarios. Las encuestas realizadas a los participantes proporcionaron información directa sobre sus niveles de satisfacción y la pertinencia de los conocimientos adquiridos.

Diseño del marco de monitoreo y evaluación (M&E)

El marco de monitoreo y evaluación en Extremadura se diseñó desde el inicio y supera el marco estándar de M&E común a todos los programas para colectivos vulnerables desarrollados en el marco del Mecanismo de Recuperación y Resiliencia (MRR). Un aspecto clave de este enfoque fue la mejora de una aplicación informática existente del SEXPE, utilizada inicialmente para la recopilación de datos básicos, que ahora captura una mayor variedad de datos cuantitativos y cualitativos. Se prevé que esta aplicación mejorada se convierta en una herramienta habitual del SEXPE, con futuros desarrollos para permitir un análisis más profundo de los datos cualitativos y textuales recopilados.

Además, el diseño del monitoreo y evaluación se sustenta en el "Manual para el Desarrollo de Acciones", facilitado por el SEXPE a todos los proveedores de servicios. Este manual ofrece instrucciones sobre todas las acciones que se deben ofrecer en el marco del programa y cómo monitorearlas de manera adecuada. Constituye una herramienta esencial para garantizar un seguimiento consistente y riguroso del progreso y la eficacia del programa. Esta combinación del diseño de una herramienta de recopilación de datos y una guía operativa clara establece un marco robusto para el M&E.

Fuente: Autores a partir de información recopilada a través de cuestionarios y consultas.

Recuadro de buenas prácticas 2. Colaboración con las partes interesadas en el diseño de los programas TIC y TURISMO en todo el territorio (SEPE-FUNDAE)

El diseño de los programas de Formación para la transformación digital (TIC) y Recualificación profesional de las personas trabajadoras ocupadas del ámbito sectorial del turismo (TURISMO), gestionados por el SEPE en colaboración con la Fundación Estatal para la Formación en el Empleo (FUNDAE), constituye una buena práctica que destaca por su enfoque basado en evidencia y su sólida estructura de colaboración con las partes interesadas. Esta práctica está profundamente arraigada en la estructura de FUNDAE, donde la integración de diversas perspectivas asegura que los programas estén alineados con las necesidades y tendencias actuales del mercado laboral

Composición del patronato - FUNDAE

El patronato de FUNDAE desempeña un papel fundamental en la aprobación y supervisión estratégica de los programas de formación. Está compuesto por representantes de la Administración General del Estado y de las comunidades autónomas de Andalucía, Aragón, Asturias, Baleares, Canarias, Cantabria, Castilla y León, Castilla-La Mancha, Cataluña, Extremadura, Galicia, La Rioja, País Vasco, Madrid, Murcia, Navarra y Valencia. Asimismo, el patronato cuenta con la participación de los sindicatos y organizaciones empresariales más representativos. Estos incluyen la Confederación Sindical de Comisiones Obreras (CCOO), la Unión General de Trabajadores (UGT), la Confederación Intersindical Galega (CIG), la Confederación Española de Organizaciones Empresariales (CEOE) y la Confederación Española de la Pequeña y Mediana Empresa (CEPYME). Esta composición diversa garantiza que se tengan en cuenta diversos intereses territoriales y económicos en la toma de decisiones.

Función de las Comisiones Paritarias Sectoriales

En el núcleo del marco de colaboración de FUNDAE se encuentran las comisiones paritarias sectoriales, que desempeñan un papel clave en el diseño, programación, monitoreo y evaluación de los programas de formación. Estas comisiones, constituidas mediante acuerdos en la negociación colectiva estatal, están formadas por representantes de los sindicatos y las organizaciones empresariales. Identifican las necesidades formativas directamente desde el entorno laboral, asegurando que la formación impartida responda a la evolución de las demandas de los sectores económicos.

A lo largo de más de tres décadas, estas comisiones han contribuido de manera significativa al diseño y la difusión de programas de formación en diversos sectores. En la actualidad, existen 91 Comisiones Paritarias Sectoriales y una estructura paritaria sectorial específica para la economía digital, lo que pone de manifiesto la amplia cobertura y atención especializada a las necesidades sectoriales específicas. La función principal de estas comisiones es establecer prioridades formativas sectoriales, que luego se incorporan en un plan sectorial de referencia que detalla las especialidades formativas que dan respuesta a las necesidades de cada sector a través de convocatorias de programas de formación en el trabajo de ámbito estatal.

Estas comisiones también desempeñan un papel de mediación en la resolución de disputas entre las empresas y los representantes legales de los trabajadores respecto a la formación programada, asegurando una implementación fluida y ajustada a la realidad del terreno. Además, participan de forma activa en los estudios de tendencias y en las evaluaciones de la formación, proporcionando información sobre la evolución sectorial y las posibles carencias de competencias.

Buena práctica en el diseño de PAML

Las buenas prácticas en el diseño de PAML como TIC y TURISMO a través de la cooperación de FUNDAE resultan evidentes en su fundamentación en el análisis empírico, las tendencias históricas y los retos actuales del mercado laboral. Al extraer enseñanzas de otros programas y recoger aportaciones de una amplia gama de partes interesadas, estos programas no solo se ajustan a los estándares de buenas prácticas, sino que también establecen un modelo para integrar de manera efectiva las perspectivas de los actores implicados, reduciendo significativamente el riesgo de ineficacia desde la fase de diseño.

Fuente: Autores a partir de información recopilada a través de cuestionarios y consultas.; https://blog.fundae.es/aprendizaje-permanente/2024/01/29/comisiones-paritarias-sectoriales-sistema-formacion-empleo/.

2.4. Orientaciones estratégicas: Vías para el diseño de futuros PAML

2.4.1. Reforzar el uso de evidencia empírica en el diseño de los programas

Si bien muchos programas se basan en experiencias anteriores, el uso sistemático de evidencia empírica en su diseño sigue siendo limitado. Partiendo de los avances establecidos por la Estrategia Española de Apoyo Activo para el Empleo (EEAAE 2021–2024), que promueve el uso de la evidencia y los datos en la planificación de los PAML, los futuros programas deberían:

• Asegurar que el diseño de nuevos programas incorpore sistemáticamente los aprendizajes derivados de PAML anteriores, en particular aprovechando los datos de monitoreo ya disponibles y las evaluaciones existentes para perfeccionar las intervenciones.

• Reforzar el uso del análisis de datos del mercado laboral para fundamentar el diseño de los programas, incluyendo la definición de colectivos destinatarios, servicios ofrecidos y el alcance del programa, a partir de las tendencias de empleo, la demanda ocupacional y las condiciones económicas locales.

• El SEPE puede desempeñar un papel clave en la promoción del aprendizaje entre pares a nivel interterritorial, permitiendo a las comunidades autónomas intercambiar prácticas y aprendizajes, así como escalar modelos eficaces de PAML. Mecanismos ya existentes, como la Red de Centros Públicos de Orientación, Emprendimiento, Acompañamiento e Innovación para el Empleo (Red COE), pueden facilitar estos intercambios mediante la sistematización de la identificación y difusión de buenas prácticas en todo el Sistema Nacional de Empleo.

2.4.2. Reforzar la colaboración con las partes interesadas para el diseño de los programas

La participación de las partes interesadas en el diseño de los programas fue limitada en muchos casos, lo que redujo el grado de alineación con las necesidades reales del mercado laboral. Los futuros PAML deberían:

• Fortalecer la colaboración entre departamentos y unidades dentro de los SPE, asegurando la participación de equipos especializados y personal orientador en el diseño de los programas, especialmente aquellos que trabajan directamente con determinados colectivos de personas demandantes de empleo (por ejemplo, mujeres víctimas de violencia de género, personas paradas de larga duración, etc.).

• Garantizar que las consultas con las organizaciones empresariales y sindicales informen sistemáticamente el diseño de los programas a todos los niveles, para alinear mejor la formación y los servicios de empleo con las necesidades reales del tejido productivo y de las personas. A nivel estatal, estas consultas se llevan a cabo de forma estructurada a través del Consejo General del Sistema Nacional de Empleo, órgano consultivo de carácter tripartito regulado en el artículo 10 de la Ley 3/2023. No obstante, en los programas de competencia autonómica o para elementos de diseño gestionados por los SPE autonómicos, estas consultas no siempre son sistemáticas. Es importante iniciarlas desde las primeras fases del diseño y que sean coordinadas por las unidades responsables de la planificación y diseño de los programas. Aprovechar estructuras de diálogo social ya existentes o establecer reuniones consultivas específicas puede garantizar que las aportaciones de los interlocutores sociales informen aspectos clave del diseño, como los colectivos destinatarios, los contenidos (por ejemplo, contenidos formativos) y los enfoques de implementación.

• Involucrar desde el inicio a las entidades proveedoras de servicios, organizaciones del tercer sector y servicios sociales, especialmente en programas dirigidos a colectivos vulnerables, con el fin de diseñar intervenciones adaptadas a sus necesidades y circunstancias específicas. Esta colaboración debería canalizarse a través de formatos estructurados de consulta, como talleres de planificación conjunta o grupos focales específicos, coordinados por las unidades responsables del diseño de los programas.

2.4.3. Incorporar el diseño del marco de M&E desde la fase inicial

Aunque todos los programas incluyen algún tipo de monitoreo, la evaluación raramente se integra desde la fase de diseño. Partiendo del modelo integrado de evaluación recogido en la EEAAE (2021–2024) y su aplicación mediante los Planes Anuales de Política de Empleo, se requiere un esfuerzo adicional para garantizar que la planificación de la evaluación se incorpore de forma sistemática desde el inicio y se aplique de manera efectiva en todo el Sistema Nacional de Empleo. Los futuros PAML deberían:

• Establecer directrices claras para la recopilación y el reporte de datos, asegurando su homogeneidad entre territorios y entidades proveedoras. Estas directrices deberían definir los tipos de datos a recoger, incluyendo tanto información cuantitativa como cualitativa sobre los resultados obtenidos por las personas participantes durante el programa y una vez finalizado (idealmente durante al menos 12 meses), así como medidas que permitan capturar dimensiones más amplias como el bienestar o la integración social.

• Ir más allá del monitoreo básico e integrar desde el diseño componentes de evaluación, definiendo un plan claro para evaluar el impacto, la eficacia y la eficiencia del programa. Esto incluye establecer objetivos e indicadores de evaluación desde la fase de diseño, seleccionar metodologías apropiadas (por ejemplo, evaluaciones de impacto contrafactual), identificar los actores responsables (internos o externos), y prever recursos suficientes para llevar a cabo la evaluación.