Hola,
Hay una pregunta que todas las organizaciones sociales deberíamos hacernos con mayor frecuencia: si mañana dejáramos de existir, ¿qué habría cambiado realmente en la vida de las personas gracias a nuestro trabajo? O bien, ¿cómo ha cambiado el sistema en el que operamos gracias a nuestro trabajo?
No cuántas actividades realizamos, no cuántos talleres impartimos, no cuántos recursos ejecutamos, ni siquiera cuántas personas participaron en nuestros programas. La pregunta es qué cambió sistémicamente en sus condiciones de vida, qué oportunidades tienen ahora que antes no tenían y qué parte de ese cambio podemos atribuir razonablemente a nuestra intervención.
Esta distinción parece sencilla, pero tiene implicaciones profundas para la manera en que diseñamos, financiamos y evaluamos los proyectos sociales en Costa Rica. Durante mucho tiempo hemos construido sistemas de seguimiento que nos permiten demostrar que estamos trabajando. El siguiente paso es construir sistemas de medición que nos permitan demostrar que nuestro trabajo está generando resultados valiosos para la sociedad, y que contribuye a una agenda de desarrollo nacional.
En Fundación Caricaco creemos que esta transición es fundamental para movilizar más recursos hacia las causas que nos importan. No porque las actividades sean irrelevantes, sino porque una buena ejecución no garantiza una transformación social. Y si queremos que más personas, instituciones, empresas y organizaciones inviertan en resolver los problemas del país, necesitamos ofrecerles algo más convincente que un reporte de actividades cumplidas. Necesitamos hablar de resultados.
No todo lo que podemos medir es un resultado
En gestión de proyectos existe una diferencia fundamental entre actividades, productos y resultados. Las actividades representan aquello que hacemos, los productos son los bienes o servicios que entregamos y los resultados, conocidos técnicamente como outcomes, son los cambios que ocurren en las condiciones, capacidades, comportamientos u oportunidades de las personas como consecuencia de una intervención. Esta última categoría es la que debería ocupar el centro de nuestra conversación sobre impacto social.
Cuando hablamos de resultados, nos referimos a cambios relevantes para el desarrollo económico, humano, social, educativo, ambiental o institucional. Nos interesa saber si aumentaron de manera estructural los ingresos de una familia, si mejoró la salud de una comunidad, si disminuyó la pobreza, si más jóvenes consiguieron empleo formal, si mejoraron los aprendizajes de los estudiantes o si una institución pública logró prestar servicios más efectivos a la población.
En otras palabras, un indicador de resultado debe representar un cambio que tenga valor por sí mismo o que contribuya de manera demostrable a una mejora relevante en el bienestar de las personas.
Pensemos en un programa de empleabilidad juvenil. Podemos medir que impartimos 200 horas de capacitación, que participaron 150 jóvenes y que el 90% completó el proceso formativo. Todas son métricas útiles. Sin embargo, ninguna demuestra todavía que hayamos contribuido a mejorar sus oportunidades económicas.
Para conocer el resultado necesitamos saber cuántos jóvenes consiguieron empleo, qué proporción accedió a un trabajo formal, cuánto mejoraron sus ingresos y cuántos permanecieron empleados después de seis, doce o veinticuatro meses. Esas son las variables que nos acercan al propósito de la intervención.
Antes de escoger un indicador debemos decidir qué entendemos por progreso
Existe una discusión especialmente interesante sobre qué significa mejorar la vida de una persona. ¿Deberíamos medir principalmente sus ingresos, su salud, sus oportunidades o su bienestar subjetivo?
El debate no tiene una respuesta universal. En economía del desarrollo, el enfoque de capacidades de Amartya Sen propone prestar atención a las libertades reales que tienen las personas para elegir la vida que valoran. Desde otras perspectivas, los ingresos permiten aproximarnos a esas oportunidades. En salud pública, los años de vida ajustados por discapacidad ayudan a cuantificar las pérdidas de salud. Más recientemente, los WELLBY, o años de bienestar ajustados, buscan incorporar la valoración subjetiva que las propias personas hacen de sus vidas. Muchas gracias a filantropos.org por la inspiración a este boletín de nuestro lado. Si llegaron hasta aquí, les recomiendo seguir este newsletter. ¡Es buenísimo!
Ok, volviendo. Cada enfoque ilumina una dimensión distinta del progreso y cada uno tiene limitaciones que debemos reconocer. Una persona puede experimentar un aumento importante de ingresos sin mejorar proporcionalmente su bienestar emocional. Otra puede declarar sentirse satisfecha con su vida a pesar de enfrentar privaciones materiales importantes. Una tercera puede mejorar su salud sin que ese cambio se refleje inmediatamente en su situación económica.
Por eso, construir buenos indicadores no comienza en una hoja de cálculo. Comienza con una definición clara del problema que queremos resolver y del cambio que consideramos socialmente valioso. Si queremos reducir el desempleo juvenil, debemos medir inserción laboral y permanencia en empleos de calidad. Si buscamos mejorar la salud mental, debemos utilizar instrumentos que capturen cambios relevantes en esa condición. Si queremos fortalecer la movilidad social, necesitamos observar cambios en las oportunidades y trayectorias de las personas, no solamente en su participación en actividades. El indicador correcto depende del resultado que perseguimos. No deberíamos escoger lo que resulta más fácil de contar y después presentarlo como si fuera aquello que realmente queríamos transformar.
Los indicadores operativos son importantes, pero cumplen otra función
Conviene hacer una aclaración. Los indicadores de procesos, actividades y productos son indispensables para administrar correctamente cualquier organización.
Una dirección ejecutiva necesita saber si su equipo está cumpliendo los plazos. Una coordinación de programas debe conocer cuántos participantes han sido atendidos, cuántos abandonaron una intervención y si los recursos se están ejecutando conforme al presupuesto. El problema aparece cuando confundimos estos indicadores internos con los resultados que justifican la movilización de recursos filantrópicos.
Un donante que quiere contribuir a reducir la pobreza no debería conformarse con saber que una organización realizó veinte talleres de emprendimiento. Necesita comprender si esos talleres ayudaron a mejorar las condiciones económicas de las familias.
Aquí conviene distinguir dos conceptos. Los indicadores son mediciones; las evaluaciones son los estudios que usan esas mediciones para responder preguntas sobre un programa. Distintas preguntas requieren distintos tipos de evaluación, y cada una se apoya en indicadores diferentes, como resume el siguiente cuadro. Los indicadores operativos alimentan muy bien una evaluación de procesos, pero por sí solos no pueden decirnos si el programa tuvo impacto.
Los indicadores operativos y los de resultados deben coexistir, pero no necesitan tener el mismo protagonismo frente a todos los públicos. Hacia adentro, una organización puede necesitar decenas de indicadores para administrar sus operaciones. Hacia afuera, debería poder explicar su contribución social mediante unos pocos resultados claros, relevantes y verificables.
Cómo construir indicadores que realmente sirvan para tomar decisiones
Una vez identificado el resultado que queremos alcanzar, comienza el trabajo técnico. Un buen indicador debe tener una definición precisa. No basta con decir que queremos aumentar la empleabilidad. Necesitamos establecer qué entenderemos por empleo, a qué población nos referimos, durante qué período mediremos el cambio y qué fuente de información utilizaremos. También necesitamos una línea base. Saber que el 40% de los participantes consiguió empleo tiene poco significado si desconocemos cuál era su situación inicial, qué resultados alcanzan programas comparables o qué habría ocurrido razonablemente sin nuestra intervención.
Los indicadores adquieren valor cuando permiten establecer comparaciones. Una línea base, una meta explícita o un punto de referencia sectorial nos ayudan a interpretar si estamos progresando y si lo estamos haciendo a un ritmo suficiente. Además, deberíamos utilizar definiciones e instrumentos estandarizados siempre que sea posible. No tiene mucho sentido que cada organización invente una manera diferente de medir el mismo fenómeno cuando existen herramientas validadas. La estandarización facilita comparar intervenciones, acumular evidencia y aprender colectivamente.
Otra característica importante es la oportunidad de la información. Algunos indicadores confirman resultados cuando una intervención ha concluido. Otros funcionan como señales tempranas que permiten anticipar problemas y corregir decisiones mientras todavía estamos ejecutando. En empleabilidad, por ejemplo, la proporción de participantes que cumple los requisitos de vacantes reales puede funcionar como una señal anticipada de colocación. Pero solamente será útil si existe evidencia de que esa variable efectivamente se relaciona con conseguir empleo, es decir, si ese eslabón de nuestra teoría de cambio se sostiene. De lo contrario, podríamos estar construyendo otra métrica atractiva que no nos dice demasiado sobre el resultado final.
También debemos ser cuidadosos con los incentivos que generan nuestras métricas. Cuando una organización recibe reconocimiento o financiamiento exclusivamente por alcanzar determinado número, puede terminar optimizando el indicador en lugar del bienestar que pretendía representar. Si premiamos solamente la cantidad de jóvenes colocados, podríamos incentivar la selección de participantes que ya tenían mayores probabilidades de conseguir empleo. Si medimos únicamente la graduación, podríamos terminar favoreciendo estándares menos exigentes. Si premiamos la cantidad de personas atendidas, podríamos estimular servicios superficiales que permiten aumentar cobertura sin mejorar resultados. Es lo que se conoce como la ley de Goodhart: cuando un indicador se convierte en meta, deja de ser un buen indicador. La gente encuentra la forma más barata de mover el número, que casi nunca es la forma real de mejorar lo que ese número representaba. Pero esa misma fuerza puede jugar a nuestro favor. Si los indicadores cambian comportamientos, un indicador bien diseñado puede orientar la atención, los recursos y las conversaciones de todo un sistema hacia lo que realmente importa. Elegir qué medir es, en el fondo, decidir dónde ponemos el foco.
La solución no es dejar de medir. Es diseñar indicadores que representen fielmente el propósito de la intervención, complementarlos con controles de calidad y revisar continuamente los comportamientos que generan.
Medir resultados también significa aprender cuánto nos cuesta producirlos
Existe una dimensión adicional que consideramos especialmente importante en Fundación Caricaco. No basta con saber si un programa funciona. También necesitamos comprender cuánto cuesta o vale conseguir sus resultados.
Imaginemos dos iniciativas de empleabilidad. Ambas logran colocar a cien jóvenes en empleos formales comparables y con niveles similares de permanencia. La primera requiere una inversión de doscientos millones de colones. La segunda consigue el mismo resultado con ciento cincuenta millones. Si las poblaciones atendidas y las condiciones son comparables, esa diferencia representa una oportunidad de utilizar mejor los recursos disponibles. Con una condición: el costo debe compararse con el impacto, no con el resultado bruto. Si uno de los programas selecciona a jóvenes que habrían conseguido empleo de todos modos, su costo por colocación se verá bajo aunque haya cambiado muy poco.
Indicadores de costo-efectividad, como el costo o valor por persona colocada, por estudiante adicional que se gradúa o por mejora verificable en salud, pueden ayudarnos a identificar intervenciones más eficientes. También permiten plantear una pregunta especialmente poderosa para la filantropía, ¿cuánto bienestar adicional podríamos generar si destináramos los mismos recursos a otra solución? Naturalmente, las comparaciones deben considerar la complejidad de cada población. Conseguir empleo para una persona que enfrenta múltiples barreras puede requerir una inversión mayor que hacerlo para alguien con mejores condiciones iniciales. Un indicador de costo aislado podría castigar precisamente a las organizaciones que trabajan con quienes más necesitan apoyo.
Por eso debemos combinar resultados, costos, calidad y características de la población atendida. Y debemos distinguir entre observar un cambio y demostrar que nuestra intervención lo causó. Un aumento en los ingresos de los participantes no constituye automáticamente evidencia de impacto atribuible al programa. Para sostener esa conclusión necesitamos una estrategia de evaluación adecuada, que puede ir desde comparaciones razonables hasta diseños más rigurosos cuando la magnitud de la inversión lo justifique. No todas las organizaciones necesitan realizar evaluaciones experimentales. Pero todas deberían comprender la diferencia entre reportar un resultado y demostrar su contribución a ese resultado.
Los buenos indicadores deben cambiar la manera en que financiamos el desarrollo
Cuando una organización comienza a medir resultados relevantes, cambia mucho más que su sistema de seguimiento. Cambia la conversación con sus donantes. En lugar de solicitar recursos para financiar actividades, puede presentar una propuesta concreta de valor social. Puede explicar qué cambio espera producir, qué evidencia respalda su intervención, cuánto costará y cómo verificará los resultados.
También cambia su relación con otras organizaciones. Si utilizamos indicadores comparables, podemos identificar experiencias exitosas, compartir aprendizajes y evitar financiar repetidamente soluciones que no están produciendo los efectos esperados. Y cambia nuestra relación con las instituciones públicas. La filantropía puede financiar pilotos relativamente pequeños que produzcan evidencia sobre nuevos modelos de intervención. Cuando esos modelos demuestran resultados, las instituciones pueden considerar su adopción y escalamiento mediante recursos públicos de una magnitud mucho mayor.
Ese es uno de los mayores potenciales de la inversión social estratégica. Utilizar recursos limitados para descubrir soluciones que posteriormente puedan beneficiar a miles de personas. En Fundación Caricaco creemos que el futuro de la filantropía y de los programas sociales en Costa Rica dependerá, en buena medida, de nuestra capacidad para pasar de financiar actividades a financiar resultados verificables de desarrollo. No se trata de convertir las organizaciones sociales en empresas ni de reducir el bienestar humano a una sola cifra. Se trata de reconocer que los recursos son escasos, que los problemas sociales son importantes y que tenemos la responsabilidad de aprender continuamente cómo generar el mayor beneficio posible.
Si su organización está comenzando a definir sus indicadores, si actualmente mide principalmente actividades o si quiere dar el siguiente paso hacia resultados de desarrollo económico, humano o social, nos encantaría conectar y conversar. No hace falta comenzar con un sistema sofisticado ni con grandes presupuestos de evaluación. Podemos comenzar identificando el cambio que queremos conseguir, seleccionando dos o tres indicadores verdaderamente relevantes, estableciendo una línea base y diseñando una manera sencilla y rigurosa de darles seguimiento.
La invitación es a que conversemos sobre cómo construir indicadores de resultados para sus proyectos sociales y cómo utilizarlos para generar evidencia, mejorar decisiones y atraer más recursos hacia las causas que compartimos. Porque al final, una organización no debería aspirar a ser recordada por todo lo que hizo, sino por todo lo que logró cambiar. Y para saber si estamos cambiando algo, primero tenemos que aprender a medir lo que realmente importa.
Pura vida,