Mejorando las políticas activas del mercado laboral en España

9. Monitoreo y evaluación

Resumen

En este capítulo se examina en qué medida una selección de PAML en España integraron marcos de monitoreo y evaluación (M&E). En primer lugar, se expone la motivación para valorar los sistemas de monitoreo y evaluación y se presenta el punto de referencia para la excelencia (“benchmark”) utilizado en la valoración cualitativa. El capítulo analiza en qué medida los programas establecieron mecanismos para monitorear la participación y los resultados, utilizaron la retroalimentación para mejorar la prestación de servicios, evaluaron su impacto en las personas participantes y promovieron la transparencia y la rendición de cuentas. Destaca buenas prácticas identificadas durante la valoración y concluye con recomendaciones para reforzar los marcos de monitoreo y evaluación en futuros PAML.

9.1. Comprender el criterio y su punto de referencia para la excelencia (benchmark) en la valoración cualitativa

Las políticas públicas, incluidos los PAML, deben implementarse en un marco que promueva la transparencia y la rendición de cuentas, y que permita analizar su eficacia y eficiencia. En este contexto, el monitoreo y la evaluación desempeñan un papel fundamental. El monitoreo y la evaluación no solo proporcionan la evidencia objetiva necesaria para que las personas responsables de las políticas adapten o pongan fin a las políticas ineficaces y promuevan políticas que respondan de manera eficaz y eficiente a las necesidades cambiantes del mercado laboral, sino que también garantizan que los recursos públicos se destinen a políticas que produzcan los resultados esperados. Los resultados generados a partir del monitoreo y la evaluación permiten establecer un proceso de retroalimentación continua para la mejora permanente de los PAML con base en la evidencia generada (OECD, 2022[32]; OECD, 2022[31]; OECD, 2023[33]).1

Si bien el monitoreo y la evaluación cumplen funciones distintas, son complementarios en su propósito de generar la evidencia necesaria para valorar el éxito de un programa. El monitoreo es un proceso continuo de recopilación y análisis de información sobre un programa, que permite verificar que se está desarrollando conforme a lo previsto, que las actividades se han puesto en marcha y se están cumpliendo los plazos, que tanto las personas participantes como el personal están satisfechos y que se están alcanzando los objetivos. Este seguimiento facilita la detección de distintos tipos de problemas relacionados con el diseño, la implementación o los resultados de los PAML y permite reaccionar con rapidez y aportar soluciones adecuadas.

En paralelo, las actividades de evaluación se centran en determinar en qué medida el programa se ha implementado de forma eficaz, si cumple sus objetivos, si existe una relación causal entre el programa y sus resultados, y si los beneficios obtenidos superan sus costes (OECD, 2020[34]; OECD, 2020[35]). La evaluación constituye la revisión sistemática de un programa en curso o finalizado, abarcando su diseño, ejecución y resultados (OECD, 2022[36]). A pesar de que requiere una mayor inversión de tiempo y recursos que el monitoreo tradicional, la evaluación es esencial para comprobar la eficacia del programa.

Aunque existen múltiples tipos de evaluación y pueden clasificarse de distintas formas, una categorización propuesta es la siguiente (OECD, 2023[17]; OECD, 2020[34]):

• Evaluación formativa: valoración ex ante para determinar si un programa o intervención es viable, adecuado y aceptable antes de su implementación completa. Resulta especialmente pertinente para evaluar el criterio de “Relevancia”.

• Evaluación de procesos: determina si las actividades del programa se han ejecutado conforme a lo previsto. Se utiliza para valorar el criterio de “Coherencia”. Como parte de esta evaluación, se pueden incorporar las experiencias de las personas usuarias para comprender mejor la eficacia de la implementación desde la perspectiva de quienes participan directamente.

• Evaluación de resultados (intermedios): mide los efectos intermedios del programa en la población destinataria, analizando los avances en los resultados o metas que el programa pretende alcanzar.

• Evaluación de impacto: evalúa la eficacia del programa en el logro de sus objetivos finales.

• Evaluación de eficiencia y de coste-beneficio: examina los resultados del programa (rentabilidad o «coste eficacia») o sus impactos (coste-beneficio) en relación con los costes de implementación y, si es posible, con los costes de oportunidad para las personas beneficiarias (por ejemplo, ingresos no percibidos), así como los costes indirectos sobre los no beneficiarios (por ejemplo, externalidades negativas).

Estos distintos tipos de evaluación forman parte esencial de un marco integral de monitoreo y evaluación de los PAML. Resulta fundamental que los aprendizajes derivados de estos procesos se utilicen directamente para mejorar y ajustar el diseño y la implementación de los programas (véase el Capítulo 2).

Recuadro 9.1. Punto de referencia para la excelencia (Benchmark): monitoreo y evaluación de los PAML

Un PAML referente se distingue por su marco integral de monitoreo y evaluación (M&E), diseñado para garantizar la mejora continua y la transparencia. Este marco incluye:

• Monitoreo sistemático: El programa incorpora un proceso sistemático de recopilación y análisis continuo de datos. El monitoreo incluye el seguimiento del progreso de las personas participantes, las tasas de inserción laboral, la adquisición de competencias y otros indicadores relevantes. El objetivo es establecer un sistema de retroalimentación que facilite los ajustes en tiempo real del programa para garantizar su conformidad con los objetivos estratégicos y la evolución de la demanda del mercado laboral.

• Evaluación: La evaluación en el PAML referente va más allá de las medidas de monitoreo tradicionales. Se trata de evaluar (internamente o en colaboración con expertos independientes) la eficacia del programa en la realización de sus objetivos y su impacto más amplio, utilizando metodologías como las evaluaciones de impacto contrafactuales. La atención se centra en medir el impacto (causal) del programa en resultados como la inserción laboral, la calidad del empleo, su rentabilidad, así como en comprender los beneficios económicos y sociales más amplios del programa.

• Integración de las opiniones de las partes interesadas: El programa busca e incorpora activamente las sugerencias de las principales partes interesadas, incluyendo participantes y empleadores. Para ello se utilizan métodos como encuestas, entrevistas y grupos de discusión, que garantizan que el programa siga siendo receptivo y se centre en los participantes.

• Transparencia y adaptación: El programa hace hincapié en la transparencia de sus procesos de divulgación y aplica medidas de rendición de cuentas. Esto incluye la difusión pública de los resultados, la realización de inspecciones independientes y la introducción de modificaciones en el programa basadas en los resultados del monitoreo y la evaluación.

9.2. Resumen de los resultados de la valoración cualitativa

9.2.1. Monitoreo sistemático

Todos los programas valorados estuvieron sujetos al marco de monitoreo establecido en el PRTR, que exige la recopilación de indicadores comunes para hacer seguimiento al progreso de las personas participantes. Las autoridades responsables de la implementación presentan informes bimestrales que detallan la ejecución del programa, las características de las personas participantes y la prestación de servicios. Los datos recopilados incluyen generalmente un seguimiento detallado de todos los servicios y acciones realizadas por las personas participantes (por ejemplo, sesiones de orientación, acompañamiento por parte de orientadores, formaciones y otras acciones de apoyo). Cada servicio o acción se documenta con sus fechas de inicio y fin, duración, entidad proveedora responsable y lugar de prestación. Este enfoque estructurado permite realizar un seguimiento exhaustivo de las actividades del programa y garantiza que la prestación de servicios esté alineada con los objetivos establecidos.

Sin embargo, para algunos programas, como los dirigidos a colectivos vulnerables, el marco del PRTR presenta una limitación: no exige el monitoreo sistemático de los resultados en materia de inserción laboral. Esta carencia ha llevado a algunos programas a implementar mecanismos independientes de seguimiento de las inserciones para cubrir esta brecha. En la mayoría de los demás programas, como los dirigidos a mujeres víctimas de violencia de género y los programas de apoyo a mujeres en zonas rurales y urbanas, sí se monitorearon los resultados de inserción laboral debido a la vinculación directa entre los pagos a las entidades proveedoras de servicios y la inserción laboral exitosa. En estos casos, se hizo seguimiento a los contratos laborales, incluyendo las fechas de inicio y fin previstas, el tipo de contrato, la ocupación, el lugar de trabajo y la identificación de la empresa empleadora, como su número de CIF y razón social. En el caso del autoempleo, los programas también hicieron seguimiento al alta en el régimen especial de personas que trabajan por cuenta propia.

En algunos programas, la recopilación de datos fue más allá del marco del PRTR para reflejar indicadores más matizados del éxito del programa. Por ejemplo, en ciertos casos se realizaron evaluaciones de empleabilidad tanto al inicio como al final de los itinerarios, para medir el progreso en términos de empleabilidad. Además, en algunos programas se hizo seguimiento de la adquisición de competencias mediante cuestionarios de evaluación por competencias, exámenes teóricos y la obtención de certificados profesionales.

Además del monitoreo cuantitativo, algunos programas, en particular los dirigidos al colectivo de mujeres víctimas de violencia de género, recogieron información cualitativa más detallada para comprender mejor el avance de las participantes. Por ejemplo, se elaboraron informes que incluían información cualitativa sobre la autoestima, la autonomía y otros aspectos personales que no se reflejan de forma inmediata en los indicadores laborales.

La infraestructura técnica que sustenta el monitoreo en el marco del PRTR requiere que las entidades proveedoras de servicios cumplimenten archivos de seguimiento bimestral, que luego son remitidos a los servicios públicos de empleo autonómicos. Estos SPE realizan controles de calidad sobre los datos recopilados antes de enviarlos al SEPE, garantizando que cumplan con los estándares requeridos. Al mismo tiempo, el SEPE, junto con los SPE autonómicos, mantiene una base de datos nacional integrada, conocida como el Sistema de Información de los Servicios Públicos de Empleo (SISPE). Este sistema agrega datos sobre la implementación de los PAML en todo el país, incluyendo datos sobre las personas demandantes de empleo, los distintos servicios y programas en los que participan, así como información sobre la gestión de los PAML y de las prestaciones por desempleo. El flujo de datos hacia SISPE se facilita mediante interfaces con las bases de datos operativas de los SPE autonómicos, lo que permite un acceso compatible y eficaz a los datos de los programas.

Algunas comunidades autónomas cuentan con sistemas automatizados que permiten a las entidades proveedoras de servicios introducir datos directamente en las bases de datos autonómicas o nacionales, agilizando el proceso de monitoreo y garantizando la disponibilidad de datos en tiempo real. Sin embargo, en muchos de los programas analizados, las comunidades autónomas aún dependen de la introducción manual de datos, lo que aumenta la carga administrativa y el riesgo de brechas informativas. Además, en algunos programas, las comunidades no habían establecido ningún mecanismo de intercambio automatizado de datos, ni introducían manualmente la información en SISPE, lo que agrava las lagunas en los registros de los SPE sobre las personas participantes en los programas.

Además, la necesidad de gestionar dos sistemas paralelos de recopilación de datos generó importantes ineficiencias, imponiendo una carga de trabajo considerable tanto a las entidades proveedoras de servicios como al personal de los SPE. Los proveedores de servicios tuvieron que duplicar esfuerzos introduciendo información similar en ambos sistemas, mientras que el personal de los SPE autonómicos tuvo que realizar controles de calidad y conciliar los datos de ambas fuentes para garantizar la coherencia. Este sistema dual añadió complejidad innecesaria y provocó demoras, dificultando la eficiencia del proceso de monitoreo.

9.2.2. Prácticas de evaluación

Si bien los procesos de monitoreo estuvieron bien establecidos, permitiendo garantizar que las actividades se implementaran según lo previsto, identificar cuellos de botella o ineficiencias en la prestación de servicios y hacer seguimiento del progreso y los resultados de las personas participantes, los marcos de evaluación estuvieron poco desarrollados. La mayoría de los programas carecieron de mecanismos formales de evaluación de impacto, lo que dificultó determinar si los resultados observados en materia de empleo eran atribuibles directamente a la participación en el programa. Solo en casos puntuales se pilotaron evaluaciones experimentales o cuasiexperimentales para medir el impacto causal del programa sobre el empleo y el bienestar. Uno de estos ejemplos, aún en fase inicial, busca evaluar los efectos de la participación comparando los resultados en términos de empleabilidad de las personas participantes con los de un grupo de control, que actúa como contrafactual para aislar el impacto causal del programa. Esta evaluación también pretende captar efectos cualitativos más amplios, como mejoras en la autoconfianza y la autonomía de las mujeres participantes, ofreciendo así una comprensión más completa del impacto del programa.

9.2.3. Integración de la retroalimentación de las partes interesadas

Algunos programas recogieron activamente la retroalimentación de las partes interesadas mediante encuestas y entrevistas, lo que proporcionó información valiosa sobre la calidad y la eficacia del programa. Por ejemplo, en algunos casos se recogió la opinión de las personas participantes en varias etapas a lo largo del programa, lo que permitió realizar ajustes en tiempo real en función de las experiencias de los demandantes de empleo. En los programas que incluían la inserción laboral como parte integral del itinerario, la retroalimentación de los empleadores sirvió para valorar la preparación para el empleo, la pertinencia de la formación y la identificación de brechas de competencias específicas del sector, garantizando que la formación y el apoyo a la inserción laboral respondieran a las necesidades del mercado. Sin embargo, la integración de las opiniones tanto de las personas participantes como de los empleadores no fue sistemática en todos los programas, y no se observaron mecanismos homogéneos que garantizaran su uso para mejorar de forma continua los programas.

9.2.4. Transparencia y adaptaciones receptivas

Si bien los resultados del monitoreo se comunicaron de forma sistemática a las autoridades responsables, su uso para la rendición de cuentas pública y la adaptación de los programas fue inconsistente entre los diferentes programas. En la mayoría de los casos, los informes finales elaborados por las entidades proveedoras de servicios no trascendieron del ámbito interno de los servicios públicos de empleo, lo que limitó las oportunidades de aprendizaje más amplio y de mejora de los programas. Además, los resultados de las actividades de monitoreo y evaluación no se integraron de manera sistemática en los procesos de toma de decisiones, lo que hizo que los cambios introducidos fueran de carácter procedimental en lugar de mejoras más integrales basadas en la evidencia.

No obstante, algunos programas avanzaron hacia una mayor transparencia y capacidad de respuesta. Por ejemplo, la publicación en línea de resultados del programa y desgloses estadísticos fortalecieron la rendición de cuentas y facilitaron el aprendizaje entre programas. Asimismo, algunos programas demostraron un compromiso con la toma de decisiones basada en evidencia, utilizando los resultados del monitoreo y la evaluación para introducir ajustes durante la implementación, respondiendo a desafíos emergentes y fomentando una mejora continua a lo largo de la implementación del programa.

9.3. Buenas prácticas identificadas

Los dos ejemplos siguientes, presentados en el Recuadro de buenas prácticas 16 y el Recuadro de buenas prácticas 17, ilustran enfoques destacables de monitoreo y evaluación identificados durante el ejercicio de valoración. El primero, corresponde al programa dirigido a colectivos vulnerables en Baleares y muestra cómo las autoridades autonómicas pueden desarrollar un sistema de monitoreo y evaluación integrado y transparente que va más allá de los requisitos obligatorios del PRTR. El segundo, gestionado por el SEPE a través de su Dirección Provincial en Ceuta, Melilla y otras cinco comunidades autónomas (Andalucía, Aragón, Canarias, Cataluña, Madrid), combina un monitoreo sistemático con herramientas adicionales para captar dimensiones más amplias de la reinserción y recoger la retroalimentación de las personas participantes.

Recuadro de buenas prácticas 16. Monitoreo y evaluación (M&E) del programa para colectivos vulnerables en Baleares

Baleares representa una buena práctica en materia de monitoreo y evaluación (M&E) en el marco de los PAML dirigidos a colectivos vulnerables. El marco integral de M&E implantado en Baleares se alinea con el punto de referencia para la excelencia, al garantizar una mejora continua y mantener elevados estándares de transparencia

Monitoreo detallado y sistemático

En Baleares, las entidades proveedoras de servicios tienen acceso a aplicaciones especializadas, ACCFOR y ESOIB, que permiten documentar minuciosamente todos los aspectos del acompañamiento a las personas participantes. Estas plataformas permiten cargar directamente datos detallados sobre cada servicio y actuación prestada: desde la inscripción inicial hasta la finalización del itinerario, incluyendo los casos de abandono. Estos datos se integran automáticamente en las bases de datos autonómicas y estatales gestionadas por los servicios públicos de empleo, alimentando el Sistema de Información de los Servicios Públicos de Empleo (SISPE). Este intercambio automatizado de datos mejora la eficacia del proceso de monitoreo al garantizar un flujo de información rápido y preciso

Seguimiento proactivo de la inserción laboral

Cabe destacar que, a pesar de que el marco de monitoreo del PRTR no lo exige, Baleares realiza un seguimiento proactivo de la inserción laboral a los seis y doce meses tras la finalización del programa. El Servicio de Ocupación de las Illes Balears (SOIB) lleva a cabo este seguimiento mediante el cruce de datos con la base de datos de la Seguridad Social para verificar si las personas participantes han suscrito contratos laborales. Este enfoque permite una valoración más precisa del impacto del programa en la empleabilidad

Integración de la opinión de las personas participantes

Baleares le otorga especial importancia a la retroalimentación de las personas participantes para mejorar la prestación de servicios. A lo largo del itinerario, las personas participantes valoran cada acción formativa y el acompañamiento recibido mediante encuestas estructuradas. Esta retroalimentación directa es esencial para ajustar el programa de forma continua y se integra plenamente en el sistema de monitoreo.

Compromiso con la transparencia y la difusión

El SOIB establece un alto estándar de transparencia al publicar en su página web oficial (https://soib.es/avaluacio-de-programes-i-serveis/) informes de análisis sobre las acciones de monitoreo y los resultados de las encuestas. Estos informes ofrecen estadísticas clave y análisis detallados sobre todos los aspectos del programa. La información publicada incluye desgloses demográficos de las personas participantes por sexo, nivel educativo y edad. Además, los informes presentan datos por entidad proveedora y analizan indicadores como tasas de abandono, finalizaciones con éxito, inserción laboral y grado de satisfacción.

Fuente: Elaboración propia a partir de información recopilada a través de cuestionarios y consultas.

Recuadro de buenas prácticas 17. Enfoque integral y matizado de monitoreo y evaluación (M&E) en el programa dirigido a mujeres víctimas de violencia de género y de trata o explotación sexual por parte del SEPE en Ceuta, Melilla y en las provincias de Zaragoza (Aragón), Barcelona (Cataluña), Madrid (Comunidad de Madrid), Las Palmas (Canarias), Málaga y Sevilla (Andalucía)

Monitoreo sistemático para la mejora continua

Uno de los puntos fuertes del programa es su adhesión a los procesos estructurados de monitoreo exigidos por el marco de monitoreo y evaluación (M&E) del PRTR. Esto incluye la recopilación de datos anonimizados de las personas participantes, lo que garantiza el respeto a la privacidad y, al mismo tiempo, permite un seguimiento completo de su progreso. Mediante informes bimestrales remitidos al SEPE, el programa hace un seguimiento de indicadores clave como el número de mujeres atendidas, su situación laboral, detalles de la formación y los instrumentos jurídicos utilizados. El programa incorpora una serie de documentos que facilitan el monitoreo en tiempo real. Ejemplos de ello son los informes generados para servicios como el “Servicio Puedo” y el “Servicio Proyecto”, que permiten seguir el desarrollo de competencias personales, sociales y laborales de las participantes. Los informes mensuales documentan la asistencia, la búsqueda activa de empleo y las interacciones con empleadores, mientras que los informes finales detallan los resultados laborales, como los tipos de contrato, las prácticas laborales y las transiciones hacia el autoempleo.

Además, el programa utiliza un sistema de gestión de proyectos basado en el Enfoque del Marco Lógico (EML), una metodología estructurada para planificar, gestionar y evaluar proyectos. El EML, al centrarse desde el inicio en la definición de indicadores medibles, permite recopilar y analizar datos de forma sistemática, asegurando la alineación del programa con sus objetivos y la posibilidad de adaptarlo según los avances de las participantes.

Evaluación de resultados de supervivientes (“Assessment of Survivor Outcomes” (ASO))

Un elemento distintivo del programa SEPE/Cruz Roja es el uso de la herramienta de la evaluación de resultados de supervivientes (“Assessment of Survivor Outcomes” (ASO)), desarrollada por la Misión Internacional de Justicia. La herramienta ASO va más allá del monitoreo tradicional al evaluar la recuperación holística y la reintegración de mujeres supervivientes de violencia y explotación. Esta herramienta realiza un seguimiento del progreso de las participantes en seis ámbitos fundamentales para reducir el riesgo de revictimización y favorecer una reintegración sostenible:

• Seguridad: evalúa si las participantes viven en entornos seguros.

• Protección jurídica: da seguimiento al acceso de las participantes a apoyo legal y al ejercicio de sus derechos.

• Bienestar mental: supervisa la recuperación psicológica y la salud emocional.

• Empoderamiento económico y educativo: evalúa la disposición y capacidad de las participantes para reincorporarse al mercado laboral o a sistemas educativos y formativos.

• Apoyo social: mide la solidez de las redes sociales y del apoyo recibido por las participantes.

• Bienestar físico: valora la salud general y la recuperación física de las participantes.

Esta herramienta proporciona una visión global del progreso de cada superviviente, y permite captar no solo los resultados económicos, sino también su empoderamiento personal y su proceso de reintegración social.

Integración de la opinión de las participantes

Un componente fundamental del marco de M&E del programa es su uso proactivo de la retroalimentación de las participantes. Encuestas periódicas de satisfacción recogen sus valoraciones sobre la pertinencia y utilidad de las actividades, la calidad de la información y del acompañamiento recibido, y el grado de adecuación del programa a sus expectativas y necesidades. Además, el programa ofrece canales abiertos de sugerencias y reclamaciones a través de la página web oficial de la Cruz Roja España, lo que permite una retroalimentación continua y facilita la adaptación del programa.

Fuente: Elaboración propia a partir de información recopilada a través de cuestionarios y consultas.

9.4. Orientaciones para la elaboración de políticas: vías para reforzar el monitoreo y la evaluación en futuros PAML

España ha establecido un modelo integrado de monitoreo y evaluación (M&E) de los PAML, estructurado en torno a cuatro procesos clave: (1) el seguimiento y la evaluación de la Estrategia Española de Apoyo Activo para el Empleo vigente y sus Planes Anuales de Política de Empleo2; (2) el seguimiento de los servicios prestados a personas demandantes de empleo y empleadores mediante la Cartera Común de Servicios del Sistema Nacional de Empleo; (3) las valoraciones del desempeño de los servicios públicos de empleo, incluyendo ejercicios de aprendizaje comparado (benchlearning); y (4) las evaluaciones externas e independientes de las PAML y sus instrumentos. A partir de la evidencia recogida durante la valoración realizada, se formulan las  recomendaciones siguientes para reforzar y mejorar este marco.

9.4.1. Reforzar el monitoreo sistemático

Si bien la mayoría de los programas contaron con mecanismos de monitoreo sistemático, es necesario realizar mejoras para avanzar hacia una recopilación de datos más homogénea y simplificar el proceso de monitoreo en todo el territorio. Los futuros PAML deberían:

• Sistematizar el seguimiento de los resultados de inserción laboral como parte central del monitoreo. Esto implica el seguimiento obligatorio de indicadores como la colocación laboral, el tipo y duración del contrato, entre otros indicadores clave de integración en el mercado laboral. Idealmente, el monitoreo debería extenderse más allá de la finalización del programa, incorporando el seguimiento de la sostenibilidad del empleo y la progresión profesional a medio y largo plazo.

• Promover la recopilación de datos sobre resultados en dimensiones más amplias, como la integración social, el bienestar o la adquisición de competencias, para obtener una visión más integral del éxito de las personas participantes y la eficacia de los programas. Iniciativas como ES_DataLab, que facilita el acceso seguro a microdatos administrativos vinculados del SEPE y diversas otras entidades públicas, pueden apoyar este tipo de análisis.

• Integrar sistemas de monitoreo paralelos, como el sistema de monitoreo del PRTR y las bases de datos de los SPE, para reducir ineficiencias, duplicidades y la carga administrativa tanto para las entidades proveedoras de servicios como para el personal de los SPE, garantizando flujos de información más constantes y precisos.

• Priorizar el desarrollo de sistemas automatizados de intercambio de datos en aquellas comunidades autónomas que aún no los hayan implementado. Esto permitiría el seguimiento en tiempo real, reduciría el riesgo de brechas informativas y mejoraría la capacidad de respuesta y la eficiencia general del sistema de monitoreo.

9.4.2. Implementar evaluaciones rigurosas

Si bien se han establecido procesos de monitoreo, la mayoría de los programas carecen de mecanismos sólidos para evaluar su impacto en el empleo, la calidad del empleo u otros resultados relevantes. Estas evaluaciones podrían proporcionar la evidencia necesaria para mejorar el diseño de los programas, asegurar un uso eficaz de los recursos públicos y evaluar su eficiencia económica. Los futuros PAML deberían:

• Incorporar evaluaciones de impacto formales, utilizando metodologías experimentales o cuasiexperimentales que permitan medir los efectos causales en el empleo, la integración social y el bienestar. Esto podría incluir, por ejemplo, ensayos aleatorios controlados (RCT) a nivel estatal o autonómico, o la implementación escalonada de programas en diferentes áreas geográficas y a lo largo del tiempo para facilitar la construcción de grupos de comparación. Esto permitiría una comprensión más robusta de la eficacia del programa.

• Incluir análisis de coste-beneficio que permitan evaluar la eficiencia económica de los programas, comparando los costes de implementación con los beneficios obtenidos en términos de inserción laboral, integración social y otros impactos sobre las personas participantes.

9.4.3. Reforzar la integración de la retroalimentación de las partes interesadas

Aunque algunos programas recogieron retroalimentación de las personas participantes y de los empleadores, este proceso no fue sistemático. Los futuros PAML deberían:

• Recoger de forma sistemática la retroalimentación de las personas participantes en distintos puntos a lo largo del programa, garantizando que sus experiencias y sugerencias puedan informar ajustes en tiempo real.

• Integrar la retroalimentación de los empleadores de manera más estructurada para valorar la pertinencia de los itinerarios y la formación, la preparación para el empleo y las brechas de competencias específicas del sector. Esto permitiría adaptar mejor los programas formativos a las necesidades reales del mercado de trabajo y mejorar los resultados laborales.

• Utilizar la retroalimentación de las partes interesadas para realizar ajustes receptivos durante todo el ciclo del programa, asegurando que el diseño y la implementación sean dinámicos y adaptativos.

9.4.4. Mejorar la transparencia y el uso de los resultados de M&E

La transparencia en la difusión de los resultados de M&E es clave para la rendición de cuentas pública y la mejora continua de los programas. En línea con lo establecido en el Título VI de la Ley de Empleo 3/2023, que obliga a publicar los resultados de las evaluaciones e integrarlos en los procesos de toma de decisiones, los futuros PAML deberían:

• Publicar los resultados de M&E, permitiendo su escrutinio externo, promoviendo la rendición de cuentas y facilitando el aprendizaje entre programas.

• Garantizar que los resultados del M&E se utilicen de forma sistemática para orientar no solo ajustes procedimentales menores, sino también rediseños más integrales de los programas basados en la evidencia.

9.4.5. Invertir en el desarrollo de capacidades para los sistemas de M&E

Las actividades de M&E eficaces requieren recursos y capacidades suficientes en todos los niveles de implementación. Partiendo de iniciativas ya existentes, como la garantía de formación establecida por el Real Decreto 438/2024 y el plan de formación permanente aprobado por la Conferencia Sectorial, los futuros PAML deberían invertir en formación y fortalecimiento de capacidades para el personal responsable de la recogida y análisis de datos y de las actividades de M&E, tanto en las entidades proveedoras de servicios como en los SPE. Esto contribuiría a garantizar la calidad de los datos y el uso efectivo de los sistemas de M&E en todo el territorio. Además, se debería prestar apoyo técnico y financiero a aquellas comunidades autónomas con menor capacidad o experiencia, para facilitar el desarrollo e implementación de sistemas automatizados de recopilación y gestión de datos.

Notas

← 1.  Véase el proyecto OCDE-CE sobre la evaluación de impacto de políticas a través del uso de datos administrativos y de encuestas.

← 2.  Actualmente denominados Planes Anuales para el Fomento del Empleo Digno (PAFED).