Evaluación de proyectos comunitarios

En términos generales, la evaluación consiste en emitir un juicio que se ha obtenido de la comparación de información con un patrón de referencia valorativo. El juicio declara si algo es bueno o malo, si sirve o no, si responde o no a alguna necesidad. Por ejemplo, si hemos decidido que dejar de tomar refresco, es porque hemos leído información acerca de las desventajas que tiene tomar dicha bebida y las hemos comparado con los criterios de valoración que tenemos acerca de la salud (mantener niveles adecuados de azúcar y de peso corporal para sentirse bien).

De igual forma, en un proyecto se debe emitir un juicio sobre los beneficios que ha aportado a la comunidad en la que se ha implementado. Para llegar a ese juicio, en la evaluación se obtiene información acerca del diseño y ejecución del proyecto, del cumplimiento de las actividades programadas y de los resultados obtenidos con la intención de compararla con los criterios de valoración, que son los objetivos planteados al inicio del proyecto.

Además, en la evaluación se comparan los resultados con los objetivos para identificar los aspectos que han favorecido o dificultado la ejecución del proyecto con el propósito de obtener enseñanzas que favorezcan la realización de proyectos futuros.

Así mismo, Quintero (1995) menciona que en la evaluación de proyectos se analizan las actividades y resultados con la finalidad de determinar la pertinencia de los métodos utilizados, la validez de los objetivos, la eficiencia en el uso de recursos y el impacto que ha tenido en los beneficiarios.

La Organización para la Cooperación y el Desarrollo Económico menciona que la evaluación de proyectos hace referencia a la evaluación de una intervención que impulsa el desarrollo de una comunidad u organización con la finalidad de alcanzar objetivos específicos utilizando unos determinados recursos y dentro de un calendario de ejecución bien definido.

Tipos de evaluación en un proyecto

Existen varios tipos de evaluación de acuerdo al momento que se aplica. La evaluación Ex – ante se realiza antes de la aprobación del proyecto. Valora la pertinencia, viabilidad y eficacia potencial con la finalidad de hacer ajustes al diseño del proyecto. La evaluación operativa se realiza cuando el proyecto se va desarrollando. Proporciona información sobre la forma en que se van logrando los objetivos. La evaluación de resultados se aplica cuando el proyecto ha terminado. Detecta el nivel de cumplimiento de los objetivos y demuestra que los cambios generados han sido por la aplicación del proyecto.

Por último, se tiene la evaluación de impacto que detecta los cambios que son permanentes y las mejoras en la calidad de vida producidas por el proyecto.

Criterios utilizados en la evaluación de proyectos

Existen diferentes criterios que facilitan la expresión de juicios acerca de un proyecto. Su selección depende del objetivo que se desea alcanzar por la implementación de dicho proyecto. La Organización para la Cooperación y el Desarrollo Económicos (OCDE) maneja un glosario amplio acerca de los criterios de valoración que se pueden utilizar en la evaluación de un proyecto, siendo los más comunes los que se presentan a continuación:

• Pertinencia.- Establece la congruencia entre los objetivos del proyecto y las necesidades e intereses detectados en una comunidad u organización.
• Eficacia.- Es la medida en la cual se han logrado los objetivos.
• Eficiencia.– Establece la relación entre los recursos utilizados en la realización del proyecto.
• Impacto.– Es la medición de los efectos positivos y negativos que ha tenido el proyecto a lo largo del tiempo.
• Sostenibilidad.– Es la medida de los cambios que ha generado el proyecto han permanecido en el tiempo.

Con la finalidad de que la información obtenida en una evaluación de proyectos sea pertinente a la realidad, es necesario que es necesario que cumpla con algunas características:

• Debe adaptarse a las condiciones de la comunidad en la cual se aplica el proyecto. Su diseño e implementación debe tomar en cuentas las características económicas, políticas, culturales, educativas y económicas de las personas a las cuales va dirigida.
• Debe ser flexible, esto es, que la evaluación debe acomodarse a las circunstancias en las cuales se aplica, dejando a un lado la rigidez.
• Debe ser clara y transparente, esto es que los evaluados conozcan el objetivo de su aplicación y la forma en que se van a utilizar los resultados.
• Deber ser simple y accesible, ya que debe manejar un lenguaje apropiado a las características educativas de los participantes de tal forma que sea entendible para ellos.
• Participación de los beneficiarios, es indispensable que en la evaluación se utilicen técnicas participativas de tal forma que los integrantes del equipo evaluador y los beneficiarios del proyecto comunitario se involucren en ella.

La importancia que tiene realizar una evaluación en un proyecto radica en:

• Analizar el diseño y las condiciones de implementación del proyecto para detectar áreas de oportunidad y proponer medidas de mejora.
• Medir los resultados previstos en la planeación para verificar su cumplimiento.
• Dar cuenta del uso y la cantidad de los recursos que fueron utilizados en la implementación del proyecto.
• Detectar el impacto que tuvo el proyecto para detectar los beneficios que aportaron a la comunidad.
• Aprovechar lo aprendido para configurar, adaptar y mejorar el trabajo que se realizó para llevar a cabo el proyecto.

Plan de evaluación

Tal como se ha mencionado, en la evaluación se recaba información con la finalidad de emitir un juicio que permita mejorar una determinada situación, que en este bloque, es un proyecto de desarrollo comunitario. La mejor forma de asegurarse de
que dicha evaluación sea productiva es deseable elaborar un plan de evaluación. El plan de evaluación es una guía que ayuda a decidir el tipo de información que se va a recabar, los métodos y estrategias a utilizar, el tiempo que se le dedicará y las
personas que participarán en ella. Además clarifica la forma en que se va a utilizar y difundir la información que se obtuvo como fruto del análisis de la recolección de datos.

Un plan de evaluación está formada por cuatro etapas:

1. Objetivo de la evaluación. Consiste en dar respuesta a las preguntas ¿Qué se desea evaluar?, ¿a quiénes les interesa que se evalúe el proyecto?, ¿Quiénes van a ser los responsables de implementar la evaluación?, ¿a quiénes se van a evaluar? y ¿Quién dirigirá la evaluación?
2. Recolección de datos. Se debe elegir las fuentes de información que se van a utilizar, el tipo de evaluación ya sea cuantitativa o cualitativa, el calendario, la muestra y los instrumentos a utilizar.
3. Análisis información. En este aspecto se concentra la información obtenida en el instrumento de tal forma que se pueda utilizar herramientas estadísticas que faciliten esta tarea.
4. Difusión de la información. Se debe decidir la forma en que se dará a conocer la información que se obtuvo del análisis así como las áreas de oportunidad detectadas.

La primera etapa consiste en clarificar el objetivo de la evaluación. Hay que responder a la pregunta ¿Qué se desea evaluar? En este bloque nos centraremos en la evaluación de los resultados y del impacto que tuvo el proyecto que has implementado en tu comunidad.

Además se tiene que identificar a las personas que les interesa que el proyecto se evalúe. En este sentido, tú debes ser el principal interesado en que se lleve a cabo esta actividad ya que eres el creador del proyecto de desarrollo comunitario. Otros que podrían estar interesados son aquellas personas que estuvieron involucradas en la implementación del proyecto y las que recibieron directamente sus beneficios.

También puedes considerar a las que te proporcionaron los recursos para llevar a cabo tu proyecto. En el caso de las personas responsables de desarrollar la evaluación, es importante clarificar que tú eres el principal responsable de esta actividad. Sin embargo, puedes formar un equipo que te ayude a recolectar la información, analizarla y difundirla.

Otro aspecto de esta etapa es acordar quiénes van a participar en la evaluación. En este sentido, debes considerar a las personas que te ayudaron a organizar la implementación de tu proyecto, ya sea algún compañero de la escuela o alguna persona de la comunidad, y a los habitantes que participaron en el proyecto. Así mismo, se considera el cronograma que sitúa en el tiempo la realización de cada una de las etapas que conforman el plan de evaluación.

La segunda etapa consiste en la recolección de datos. En toda evaluación se plantean preguntas que ayudan al aprendizaje de la realidad siempre y cuando sean respondidas en forma apropiada. Para lograrlo hay que seleccionar el instrumento que sea más pertinente a las condiciones en que se llevará a cabo la evaluación. En cuanto al análisis de información, que es la tercera etapa del plan de evaluación, existen diferentes técnicas estadísticas y cualitativas que facilitan la realización de esta actividad. La cuarta última etapa consiste en la difusión de la información. Para ello se debe presentar un reporte que contenga el análisis de datos y las áreas de oportunidad detectadas. Más adelante profundizaremos en estas tres últimas etapas.

Recolección de datos

La recolección de datos es la actividad que se enfoca a recopilar información en un determinado contexto. Para lograrlo se utilizan una diversidad de técnicas y herramientas que sirven para conformar los sistemas de información. Existen dos perspectivas desde las cuales se pueden considerar esas técnicas y herramientas: cualitativa y cuantitativa. La evaluación cuantitativa se enfoca a recolectar en forma sistemática datos que se pueden contar y codificar numéricamente. Utiliza instrumentos estructurados que facilitan la recolección y el análisis datos, así como la reproducción en la búsqueda de datos.

En este tipo de evaluación se recopila un gran número de observaciones de las cuales se obtienen datos estadísticos que permiten la elaboración de generalizaciones acerca de la población a partir de la muestra. En la evaluación cuantitativa se formulan preguntas referidas al cuánto o cuántos. Las respuestas obtenidas son números absolutos que facilitan el cálculo de porcentajes para cada pregunta. Los resultados dependen de la definición que el evaluador le haya dado a las categorías de las respuestas lo cual dificulta manifestar los detalles de la vida de las personas o de recoger información no prevista.

Por otro lado, la evaluación cualitativa se enfoca a analizar datos que no son numéricos. Utiliza entrevistas, fotografías y otras observaciones que da respuesta a cuestionamientos como qué, cómo y por qué. Este tipo de evaluación se utiliza para ahondar sobre un determinado tema y favorece el estudio de respuestas a preguntas que no son previsibles.

La participación de los beneficiarios de un proyecto es el elemento central para la evaluación cualitativa que busca establecer la diferencia entre los individuos y los grupos, por lo son de gran importancia las contribuciones que puedan aportar cada uno de ellos. Algunas técnicas que se utilizan en la evaluación cualitativa son las entrevistas, grupos de discusión, mesas redondas, estudio de casos, la observación, examen de expedientes, informes de prensa, diarios, formularios de retroinformación y talleres de evaluación y reuniones de examen.

Los dos tipos de evaluación, cuantitativa y cualitativa, se pueden utilizar en forma independiente, o bien, se pueden combinar para recabar la información requerida. A continuación se muestran los aspectos a considerar en cada tipo de evaluación.

Análisis de los datos

Después que se han recogido todos los datos, el siguiente paso consiste en reunirlos y compararlos. El objetivo de analizar los datos es responder a las siguientes preguntas:

• ¿La información obtenida responde a los objetivos?
• ¿Cuáles son los resultados obtenidos?
• ¿Los datos manifiestan los logros?
• ¿Se ha presentado obstáculos para el logro de los objetivos?

Ahora bien, dependiendo del tipo de evaluación que se aplique, se utiliza la técnica de análisis para obtener información de los datos recogidos en el cuestionario. Para el análisis de datos cuantitativos se necesita tener conocimientos sobre Estadística que es la ciencia que estudia el uso y análisis de datos provenientes de una muestra con la finalidad de obtener conclusiones sobre la relevancia de la información obtenida (Orellana, 2001).

Es conveniente resaltar que existen diferentes tipos de datos cuya naturaleza depende del instrumento que se ha utilizado para su recolección: Son datos nominales los que registran la presencia de un atributo. Un ejemplo es el instrumento que se te solicitó que aplicaras. Como observaste las respuestas estaban acotadas a un si y a un no, lo que indica la presencia o ausencia de la característica buscada. Debido a esta situación, se dice que este tipo de datos son nominales dicotómicos.

Son datos ordinales aquellos que se pueden ordenar con base al grado de presencia de una característica. Por ejemplo los datos de nivel socioeconómico se pueden clasificar en clase alta, media o baja. Son datos por intervalo aquellos que indican la diferencia que existe entre ellos, por lo que utilizan una unidad constante de medición. La estatura es un ejemplo en el cual se obtienen datos por intervalo porque se utiliza una determinada unidad de medida (cinta métrica) y se puede determinar la diferencia de estatura que existe entre una persona y otra.

Para la concentración de datos en pocos números se utiliza la frecuencia que es el número de veces en que se presentan los datos en función a una determinada categoría. Para el caso que nos ocupa el instrumento muestra dos categorías, si y no. Por tanto se cuenta el número de veces en que aparecen en las respuestas dadas en cada pregunta por los que contestaron dicho instrumento y se escribe en una tabla llamada de frecuencias. El total debe coincidir en las tablas de frecuencia de cada pregunta.

Por ejemplo, a un grupo de 10 estudiantes se les hicieron dos preguntas. La primera era si les gustaba el futbol y la otra era que si estaban de acuerdo en suspender clases por ver un partido de este deporte. En la primera pregunta, seis contestaron que si les gustaba el futbol y los cuatro restantes dijeron que no. En la segunda, ocho contestaron que estaban de acuerdo en que se suspendieran clases y los dos restantes no estaban de acuerdo. Las tablas de frecuencias para cada caso se
muestran a continuación.

Una vez que se ha calculado la frecuencia para cada pregunta, se procede a su graficación. Existen dos tipos de gráficos, el histograma y el gráfico de pastel que facilitan la visualización de las respuestas obtenidas en el instrumento.

El histograma permite graficar datos nominales y ordinales. Cada categoría le corresponde una barra cuya altura representa la frecuencia. Cada barra debe tener el mismo ancho y diferente altura. Las barras grafican en un plano cuya escala del eje horizontal es arbitraria y el eje vertical inicia en cero, tal como se muestra en la figura.

El procedimiento para elaborar el histograma consiste en dibujar los ejes x e y, señalar en el eje y la escala que se va utilizar. Después se ubica sobre el eje x la barra a la altura deseada. Ahora vamos a graficar el ejemplo que hemos venido trabajando. Como hemos visto, en la pregunta 1 se tienen a 6 personas que si les gusta el futbol y a 4 que no les gusta.

Otro tipo de gráfico es el de pastel. En él se grafican los porcentajes de las frecuencias. Un porcentaje se calcula tomando cada uno de los datos, dividiéndolos entre el total y multiplicándolos por 100. En el ejemplo que estamos trabajando de la pregunta 1, los porcentajes son 60% y 40% que se obtuvieron de dividir 6 entre 10 y 4 entre 10. Después se multiplica cada resultado por 100. A continuación se muestra la tabla de frecuencias y el gráfico de pastel.

Ahora bien, en relación a los datos cualitativos, su análisis es más subjetivo que el de datos cuantitativos. La técnica que se utiliza se llama análisis de contenido y consiste en examinar documentos escritos o la transcripción de datos orales. La metodología del análisis de contenido consiste en leer el texto, identificar las ideas que sean interesantes, determinar los temas, asignar un código a esos temas que representan los conceptos o las respuestas distintas proporcionadas por los entrevistados. Después se clasifican y agrupan los temas por categorías. Esas categorías se definen antes de elaborar el instrumento o se desprenden del examen de los datos. La forma en que se reporta la información es a través de números.

Un ejemplo de un análisis de contenido se muestra a continuación. A partir de los comentarios de los estudiantes en la evaluación docente acerca del desempeño de sus profesores, se obtiene la siguiente información.

Los comentarios son:

Una vez realizado el análisis de contenido se detecta que la profesora evalúa es una buena maestra que maneja situaciones reales que enlaza la teoría con la práctica. Sin embargo, los estudiantes solicitan que sus clases sean más dinámicas.

Difusión de la información

Es importante compartir los resultados que se han recopilado y analizado con todos los involucrados. Al comunicar dichos resultados se pueden extraer aprendizajes y realizar las adaptaciones necesarias para mejorar el proyecto. El mejor medio para lograr una comunicación efectiva de los resultados, es necesario elaborar un reporte de evaluación que contenga la siguiente información:

1. Introducción. Se describe en términos generales en que consiste cada una de las partes que conforman el documento.
2. Describir las características del proyecto de desarrollo comunitario realizado.
3. Describir la necesidad o problemática que aborda el proyecto.
4. Describir los resultados que se desean lograr por la implementación del proyecto.
5. Describir la forma en que se llevaron a cabo cada una de las etapas del plan de evaluación.
6. Descripción de los resultados obtenidos en los instrumentos de evaluación ya sea a través de gráficos, si los datos son cuantitativos, o bien, las conclusiones que se obtuvieron del análisis de los datos cualitativos.
7. Comentar los resultados obtenidos y emitir un juicio crítico acerca de cada uno de ellos.
8. Describir el resultado de la comparación entre los resultados deseados y los resultados obtenidos.
9. Describir las dificultades encontradas y las áreas de oportunidad detectadas.

Fuente: Secretaría de Educación Pública. (2015). Desarrollo comunitario II. Ciudad de México.