Por María Jesús Montero, Directora Estudios y Mediciones, Fundación Mustakis
¿Cuál es la evidencia? Es una pregunta que últimamente aparece con frecuencia en las reflexiones y planificaciones de diversos equipos que trabajan por determinado fin. Seguramente, todos tenemos la mejor de las intenciones, pero ¿cuál es la seguridad de que lo que hacemos genera los efectos que esperamos? Para esto existen distintas metodologías y estrategias, cada una con sus beneficios, limitaciones y costos, ¿cuál es mejor? La respuesta no es una sola, dependerá de distintos factores, pero sí es necesario hacerse algunas preguntas claves.
La primera es: ¿tenemos claridad de qué cambios o efectos queremos generar en los beneficiarios? ¿Y estos cambios responden a una necesidad real de la población objetivo? ¿Qué seguridad tenemos de que nuestra propuesta vaya a dar respuesta a dichos requerimientos? Para esto, el primer paso es la sistematización del programa o proyecto, documentando el diagnóstico que da pie a la problemática en cuestión, los fundamentos teórico-conceptuales del modelo y la metodología de intervención. Para complementar esta reflexión una herramienta muy útil es la Teoría de Cambio, permitiendo establecer una relación causal entre necesidades, insumos, actividades y resultados esperados.
Luego, pasamos a preguntarnos, si tenemos claridad de cómo estamos generando estos cambios. Acá la evaluación de implementación es un gran aporte. Se trata de mirar los procesos y acciones que están diseñadas para generar los resultados esperados, evidenciando dificultades de implementación que conlleven a ajustes para la mejora. Esta es una reflexión muy necesaria, de hecho, una evaluación de resultados sin una evaluación de implementación no tiene mucho sentido, ya que no estaremos seguros de que las acciones se están realizando como se espera, por lo que los resultados puede que respondan a una estrategia distinta a la diseñada.
Y finalmente, nos deberíamos preguntar, ¿nuestra propuesta está generando los cambios que esperamos? Ante esta pregunta, aparecen distintas posibilidades de evaluación, siendo la más precisa la evaluación de impacto, ya que permite atribuir causalidad, es decir, pensar que los resultados que se generan responden efectivamente a la intervención que se está realizando. No obstante, esto implica un proceso costoso y largo en el tiempo, arriesgando que al término del período de evaluación, pudiendo ser tres años o más, la necesidad ya ha mutado o bien es tarde para realizar ajustes. Por eso es muy relevante, considerar en la etapa de madurez que se encuentra el programa o proyecto, siendo muy arriesgado generar una evaluación de este tipo para una iniciativa que recién o hace poco se está implementando.
Otra forma de comprender la evidencia
Una alternativa menos costosa y que requiere un periodo más breve de ejecución es la evaluación de resultados. Esta puede llevarse a cabo por medio de distintos métodos y técnicas, siendo una opción bastante utilizada el método pre – post. Se trata de una evaluación de entrada o línea de base, en que se mide cómo se encuentran las variables a afectar al iniciar el proceso de formación o intervención en la población objetivo, y luego se vuelve a aplicar el mismo instrumento para la evaluación de salida, es decir, para medir cómo se encuentran las variables que se quisieron afectar en los mismos individuos. Esto permite tener evidencia de cambios, con las limitantes de no poder despejar variables que pueden estar interviniendo en estos cambios “ensuciando” el efecto del programa. No obstante, permite tener referencias de los avances y comparar aspectos o variables que se modifican más que otros, indagando en diferencias por subgrupos de interés.
Por otra parte, además de considerar la etapa de madurez del programa o proyecto, resulta esencial identificar cuál es el objetivo de generar evidencia. Si la información se utilizará únicamente para rendir cuentas, contar con indicadores de monitoreo y realizar un seguimiento periódico será suficiente. No obstante, si es que el objetivo es contar con información para que los equipos implementadores puedan enfocar o ajustar sus esfuerzos y estrategias, la evaluación de implementación y/o resultados será de gran relevancia. Por otra parte, si es que la evidencia se requiere para escalar el programa o proyecto, y/o generar incidencia en la política pública, la evaluación de impacto será una muy buena herramienta.
Considerando todas las aristas
Es importante considerar también, la naturaleza de las actividades del programa o proyecto y el perfil de los beneficiarios. Ya que en ciertos contextos o ámbitos y con ciertos participantes, la evaluación puede ser disruptiva e incluso contraproducente. Por esto, aparece como elemento clave generar evaluaciones robustas pero proporcionadas, en el sentido de que consideren la mínima cantidad de individuos, para lo cual generar muestras representativas es una muy buena estrategia, así como también es importante que la cantidad y extensión de los instrumentos sea óptima, evitando sobrecargar a los beneficiarios e implementadores.
En esta línea, es necesario ser muy estratégicos con el diseño de evaluación, siendo clave plantearse buenas preguntas, ya que si existe claridad de qué es lo que queremos medir y se plantea por medio de indicadores precisos y pertinentes, se ahorrará tiempo y recursos, e incluso el análisis y la comunicación de los hallazgos será más fluida y de utilidad.
Por último, el compartir experiencias de evaluación y aunar esfuerzos de medición entre organizaciones que trabajan con una misma población objetivo o por un mismo fin, es una forma responsable y eficiente de avanzar en este camino. Si bien, cada programa o proyecto tiene sus especificidades, existen puntos en común que pueden levantarse de manera mancomunada y generar sinergias para avanzar de manera colaborativa en los desafíos comunes.