SciELO - Scientific Electronic Library Online

 
vol.13 número2Empoderamiento: Proceso, Nivel y ContextoRepresentaciones Sociales de los Chilenos Acerca del 11 de Septiembre de 1973 y su Relación con la Convivencia Cotidiana y con la Identidad Chilena índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

Compartir


Psykhe (Santiago)

versión On-line ISSN 0718-2228

Psykhe v.13 n.2 Santiago nov. 2004

http://dx.doi.org/10.4067/S0718-22282004000200004 

PSYKHE 2004, Vol. 13, Nº 2, 41-55

ARTICULO

Evaluación de una Experiencia Partícipe de Capacitación en Evaluación de Programas Para Organizaciones Comunitarias en Puerto Rico

Evaluation of a Participatory Training Experience in Program Evaluation for Community Organizations in Puerto Rico

Irma Serrano-García, Josephine Resto-Olivo y Nelson Varas-Díaz
Universidad de Puerto Rico

Dirección para Correspondencia


Implantamos y evaluamos un modelo de capacitación partícipe (MCP) en evaluación de programas con organizaciones comunitarias (OC) que ofrecen servicios de VIH/SIDA a diversas poblaciones incluyendo jóvenes. El MCP incluye cuatro fases: a) identificación de expectativas, necesidades y recursos (ENR), b) adiestramiento, c) evaluación de proceso e impacto, y d) seguimiento. En la primera fase entrevistamos a 30 participantes. La segunda fase incluyó talleres, consultoría y la evaluación del MCP. En la cuarta fase entrevistamos a seis personas. Las personas evaluaron el adiestramiento positivamente. Recalcaron la importancia de que éste respondiera a sus necesidades e incluyera ejercicios de aplicación. Su conocimiento aumentó significativamente en casi todos los temas aunque fue mayor en el diseño de la evaluación e instrumentos.


We implemented and evaluated a model of participatory training (MCP, in Spanish) in program evaluation for community organizations that offer HIV/AIDS services to diverse populations including youth. The MCP included four phases: a) identification of expectations, needs and resources, b) training, c) process and impact evaluation, and d) follow-up. During the first phase we interviewed 30 participants. The second and third phase included workshops, consulting and evaluation of the MCP. We interviewed six persons during the fourth phase. Participants evaluated the training positively. They emphasized that the workshops responded to their needs and incorporated exercises. Their knowledge in program evaluation increased significantly in almost all dimensions, although it increased most in evaluation design and in instrument development.


Nuestro objetivo al desarrollar este trabajo es contribuir a la reflexión sobre la capacitación partícipe con organizaciones comunitarias (OC). Para alcanzarlo presentamos la implantación y evaluación de un modelo de capacitación partícipe (MCP) en evaluación de programas con siete OC que ofrecían servicios en el área de VIH/SIDA en el 2002 en Puerto Rico.

Nuestro estudio queda enmarcado dentro de las bases conceptuales de la psicología social-comunitaria. Serrano-García, López y Rivera Medina (1992) han señalado que esta disciplina tiene como base teórica el entendido de que la realidad se construye socialmente. Esta construcción se genera en la medida en que las personas reaccionan al mundo que se les presenta (exteriorización), le otorgan un significado compartido por el colectivo al que pertenecen (objetificación) y luego le nombran como la "realidad" (interiorización) (Berger & Luckman, 1966). Partiendo de esta premisa, la psicología social-comunitaria tiene como objetivos, describir las realidades existentes y transformarlas promoviendo el cambio social. El cambio social es posible transformando nuestros escenarios y promoviendo el desarrollo de nuevas realidades en pro del bienestar de las personas, los grupos, las organizaciones y las comunidades (Serrano-García et al., 1992).

Un concepto central a los esfuerzos de cambio que surgen de esta disciplina es la participación (Sánchez, 2000). ésta facilita que las personas o entidades se adueñen de su proceso de desarrollo. Con este trabajo, enfocado en el nivel de intervención organizacional y asumiendo la importancia de la participación, centramos nuestro interés en promover en el personal de las OC cambios en la conceptualización y destrezas sobre evaluación de programas a través de un modelo de capacitación partícipe (MCP).

La evaluación de programas es una de las áreas de mayor necesidad para las OC en Puerto Rico, en especial para aquellas que ofrecen servicios en el área de VIH/SIDA (Asociación Puertorriqueña Pro Bienestar de la Familia, 2001). Esto es así por su necesidad de comprobar la efectividad de los servicios (W. K. Kellogg Foundation, 1998) tanto como por razones socio-económicas y de desarrollo de la sociedad civil (Figueroa, 2003). Sin embargo, cuando analizamos la participación de profesionales de diversas disciplinas en este campo notamos que: a) la relación entre los y las evaluadores y el personal de las OC se ha construido históricamente como desigual y conflictiva, y b) que, generalmente, la evaluación de programas se considera una actividad punitiva y externa a los intereses de las OC (Serrano-García, Resto-Olivo & Varas-Díaz, 2002). Ante esto, y tomando en cuenta las bases valorativas de la PSC, el MCP nos permite desarrollar una experiencia educativa sobre la evaluación de programas, pertinente para el personal de las OC dentro de un marco de trabajo equitativo y colaborativo. Para ubicar al lector y lectora en el contexto específico de este estudio, examinamos a continuación, literatura relacionada a la evaluación de programas y las propuestas sobre un modelo de capacitación partícipe.

Evaluación de Programas

La evaluación de programas busca mejorar la calidad de los programas y servicios que se ofrecen a la ciudadanía (Rossi, Freeman & Lipsey, 1999). A pesar de lo complicada que puede ser la tarea, en los últimos años ha crecido el interés en este tema por varias razones que incluyen: a) el interés en conocer la efectividad de los programas de asistencia social y su respuesta a las necesidades expresadas por la ciudadanía (Rossi et al., 1999); b) la necesidad de justificar la distribución y la inversión de los recursos asignados a los programas, demostrando así buenas destrezas administrativas y financieras (Porbén, 1998); y c) el requerimiento del gobierno de los Estados Unidos de que todos los programas que financia se evalúen (Porbén, 1998)1.

Definición de Evaluación de Programas

La evaluación de programas se define como la recolección sistemática de datos sobre las características, actividades y resultados de los programas (Health Resources and Services Administration [HRSA], 1999). El propósito principal de esta evaluación es facilitar la toma de decisiones con respecto a un programa. Según Porbén (1998) un programa se define como una secuencia de actividades planificadas con la intención de lograr alguna meta. Los programas pueden ser: a) un conjunto de materias para un currículo escolar; b) un procedimiento, tal como la distribución de tareas dentro de un programa de servicios a pacientes con VIH/SIDA; y c) una secuencia de talleres sobre la evaluación de programas, como lo fue en nuestra experiencia. En fin, la evaluación de programas permite: a) evaluar la efectividad de los programas; b) evaluar el nivel al cual se han alcanzado los objetivos; c) ofrecer alternativas para mejorarlos; d) definir qué puede fortalecerse, eliminarse o expandirse; y e) decidir sobre nuevos programas o servicios por desarrollar (Porbén, 1998).

Tipos de Evaluación

En la literatura se señalan dos tipos principales de evaluación: de foco y de uso. La evaluación de uso incluye la sumativa y la formativa, y la evaluación de foco incorpora: a) la estructural, b) de proceso, c) de resultado, y d) de impacto (HRSA, 1999). Definiremos sólo la evaluación de proceso y de impacto ya que fueron las pertinentes a nuestro trabajo. La evaluación de proceso busca conocer cómo se ofrecen los servicios y/o actividades (HRSA, 1999; Rossi et al., 1999) y enfoca la relación de los servicios con los objetivos del programa, si los recursos se invierten adecuadamente y si las actividades se implantaron como se diseñaron. En nuestra experiencia, la evaluación de proceso nos sirvió para examinar la implantación y la satisfacción con el MCP. Por su parte, la evaluación de impacto enfoca el alcance y el grado del cambio generado por el programa o servicio, si alguno, provee evidencia sobre el uso y el alcance de los recursos asignados y determina las posibilidades para replicar y extender el programa o servicios a otros escenarios (Owen & Rogers, 1999). Con nuestra evaluación de impacto nos interesaba establecer si a través de los talleres y las consultorías individuales, las personas participantes de las OC que asistieron a los talleres aumentaron sus conocimientos sobre temas relacionados a la evaluación de programas.

Dada la centralidad de la evaluación de programas para las OC participantes y nuestros valores desde la psicología social-comunitaria, era necesario utilizar un modelo que facilitara el desarrollo de conocimientos y destrezas tanto como una cultura organizacional de apreciación y valoración de la evaluación (Wandersman et al., 2004). Por esto, desarrollamos el MCP. éste, como veremos a continuación, es el primer paso dentro de un modelo de evaluación partícipe.

Modelo de Evaluación Partícipe de Programas (MEPP)

Bases Conceptuales

El MEPP se define como un proceso de capacitación de destrezas y conocimientos entre los y las representantes de las OC y los y las evaluadores, que permite que conjuntamente establezcan los objetivos de evaluación e implanten planes a la medida de las necesidades y recursos de los sectores involucrados (Gómez & Goldstein, 1996). Según Fetterman (1996) el MEPP está basado en la colaboración y el empowerment. Ortiz-Torres (1999) define el empowerment2 como:

El proceso por el cual los individuos, grupos organizaciones y comunidades desarrollan un sentido de control sobre sus vidas, que les permite actuar eficientemente en el ámbito público, permitiéndoles además, tener acceso a recursos y promover cambios en sus contextos comunes. (p. 52)

Etapas Propuestas Para un MEPP

Fetterman (1996) propone cinco etapas para el desarrollo de un MEPP que incluyen: a) capacitación, b) facilitación, c) intercesoría (advocacy), d) iluminación o inspiración (enlightment ), y e) liberación. En la etapa de capacitación el equipo de evaluación le enseña al personal de las organizaciones a establecer y dirigir sus propias evaluaciones y a identificar los problemas y necesidades específicas en esa área. En esta etapa, la evaluación se incorpora como un componente integral del trabajo diario de la OC. Dentro de la etapa de facilitación, el equipo colabora en la implantación del plan de evaluación proveyendo dirección y guía. Sin embargo, la responsabilidad del trabajo recae en el personal de las OC. La intercesoría se destaca por la diseminación de los resultados a todos los sectores de la organización una vez que se cumple con las metas de la evaluación. En la etapa de iluminación se identifican las fortalezas y se revelan los resultados de un plan de evaluación. La etapa de liberación se destaca por generar nuevas formas de conceptualizar el trabajo de evaluación, los roles y por identificar nuevos recursos y fortalezas para el trabajo diario.

El MEPP reconoce la capacidad cambiante y diversa del contexto de las OC. En general, desde la etapa de capacitación se abordan necesidades específicas, ya que ésta es una estrategia para educar al personal de las OC a manejar sus propios asuntos en áreas que ellos y ellas conocen mejor. En general, para la implantación y evaluación efectiva de un MEPP es necesaria una atmósfera de honestidad, autocrítica, confianza y apoyo entre todos los sectores involucrados.

El desarrollo e implantación de un MEPP requiere compromiso no sólo del equipo sino de todo el personal y las estructuras decisionales de las OC. Gómez y Goldstein (1996) señalan que la etapa de capacitación facilita que el personal de las OC aprenda del proceso y adquiera las destrezas necesarias para la evaluación de sus respectivos programas o servicios. Por otro lado, el equipo conoce las dificultades de diseñar, implantar o incorporar planes de evaluación en el contexto de una OC de servicio, en nuestro caso de VIH/SIDA. De esta manera promueve una perspectiva de la evaluación de programas como una actividad positiva y deseable. La experiencia educativa que se promueve permite desarrollar relaciones de colaboración entre el personal de las OC y el equipo de evaluación.

Como se desprende de la descripción anterior, el MCP es una versión de la primera etapa de capacitación del modelo de MEPP. El MCP agiliza que el personal de las OC tome control de su destino operacional y programático al capacitarles para la tarea. Dentro del MCP se facilita el proceso de dar inicio al desarrollo e implantación del plan de evaluación (Fetterman, 1996). En esta medida, se reconoce: a) la capacidad del personal de las OC para manejar sus procesos de evaluación, b) la importancia de incorporarle en todas las etapas del proceso, c) la diversidad de sus experiencias y destrezas, y d) que el proceso de capacitación y aprendizaje es mutuo y recíproco.

La etapa de capacitación (MCP) que hemos desarrollado consistió de cuatro pasos:

1. Fase de identificación de expectativas, necesidades y recursos (ENR). La aceptación y efectividad de cualquier intervención incrementará si la misma parte de las ENR de las personas involucradas (Martí & Serrano-García, 2000). Por esto, implantamos esta fase para desarrollar un adiestramiento que se amoldara a las características de las OC participantes. La misma consistió de entrevistas estructuradas a todas las personas de las organizaciones que esperábamos participaran de los adiestramientos.

2. Fase de adiestramiento. Ofrecimos tres talleres y consultoría individualizada por teléfono, por correo electrónico y en persona. Los talleres consistieron de charlas y ejercicios interactivos. En la Tabla 1 presentamos los temas de cada taller y las tareas que tenían que realizar las personas entre cada uno. Para realizar estas tareas se les ofrecía consultoría. Administramos los instrumentos de evaluación en cada sesión de taller.

3. Fase de evaluación. Evaluamos el cumplimiento de los objetivos de proceso e impacto de la capacitación a través de la organización y análisis de los datos de los instrumentos que administramos durante las sesiones de taller.

4. Seguimiento a la capacitación. Para conocer el impacto de la capacitación en las organizaciones, contactamos y realizamos entrevistas telefónicas a algunas de las personas participantes de los talleres luego de 16 meses.

En resumen, el MCP es la primera etapa de las cinco del MEPP. Provee las bases para las demás etapas y, si es efectiva, facilita su implantación. A continuación describimos nuestra experiencia con este proceso.

Tabla 1
Temas de los talleres y tareas para las cuales recibieron consultoría


La Implantación del Modelo de Capacitación Partícipe

Esta experiencia surgió dentro de los servicios del Center for HIV/AIDS Training (CHAT), cuyo propósito principal es proveer asistencia técnica a OC. El CHAT recibió y agrupó las peticiones de diferentes agencias para recibir adiestramiento sobre evaluación de programas. Solicitaron nuestros servicios, ofreciéndonos la oportunidad de implantar el MCP. Veamos a continuación los objetivos de proceso e impacto de la consultoría.

Objetivos de la Consultoría

Objetivos de Proceso

1. Ofreceríamos cuatro talleres de tres horas sobre principios básicos de evaluación de programas y consultoría individual entre cada taller (en persona, por correo electrónico o fax) a personas participantes de siete OC.

2. Las personas participantes de las OC entregarían las tareas que surgieron de cada taller a la fecha estipulada en el mismo.

3. Al finalizar los talleres, las personas participantes de las OC entregarían un borrador del plan de evaluación de su agencia o programa siguiendo las guías provistas en los talleres.

4. Ofreceríamos una experiencia educativa que sería de la satisfacción de la mayoría de las personas participantes.

Objetivos de Impacto

Como resultado de su participación en los talleres y las consultorías individuales, las personas participantes de las OC:

1. Aumentarían por lo menos en un 15% sus conocimientos sobre: a) el proceso de evaluación de programas, b) los tipos de evaluación de programa, y c) los objetivos.

2. Aumentarían por lo menos en un 20% sus conocimientos sobre: a) los diseños utilizados para evaluar programas, b) el método de evaluación y su estructura, c) las consideraciones éticas involucradas al realizar una evaluación, d) los instrumentos disponibles para realizar evaluaciones, e) el proceso que se sigue para desarrollar un instrumento, f) la estructura de un instrumento, g) el uso de expedientes y registros, h) análisis cualitativos y cuantitativos, i) redacción de informes de evaluación. Este material se discutió en los talleres restantes.

Como podemos observar, el aumento proyectado para las dimensiones del primer taller de principios básicos de evaluación y desarrollo de objetivos fue de 15%, mientras el aumento proyectado para las dimensiones de otros talleres fue de 20%. Establecimos estos niveles porque la experiencia previa de las personas participantes se concentraba en los temas del primer taller, por lo cual pensamos que su nivel de aumento de conocimiento en estas áreas sería menor.

También es evidente que no evaluamos el cambio en las destrezas de los/as participantes, un componente que podría ser fundamental en su desarrollo e implantación del plan de evaluación. Entendimos que este componente se evaluaría de forma más efectiva a través de la observación in situ, tarea para la cual no disponíamos de tiempo ni recursos. Tampoco pudimos constatar el impacto de la capacitación a largo plazo sobre el funcionamiento de las OC. Esta tarea corresponde al CHAT en su proceso de asistencia técnica.

Método

Participantes

En la primera fase de la consultoría realizamos entrevistas no-estructuradas, personalmente y por teléfono, a miembros del personal de siete OC. Obtuvimos información de algunos datos sociodemográficos de las personas entrevistadas. Una de las siete organizaciones participantes en la Fase I, se retiró de los talleres por razones internas no asociadas al proceso de consultoría. Por otro lado, no todas las personas entrevistadas asistieron a los talleres y en algunas OC enviaron a otras personas que no fueron entrevistadas a las actividades. Hubo bastante consistencia entre personas entrevistadas y asistentes en cuatro de las seis organizaciones. A continuación proveemos información sociodemográfica sobre las personas participantes en los talleres.

Personas que Asistieron a los Talleres

A los talleres asistieron un total de 26 personas de seis organizaciones. De éstas, 20 (67%) fueron entrevistadas en la Fase I. Por tanto, los datos que presentamos a continuación no incluyen a seis de las personas que asistieron pero no fueron entrevistadas.

Entre las 20 personas que asistieron, había 16 (80%) mujeres y cuatro (20%) hombres. De estas personas, el 55% poseían un bachillerato y un 25% una maestría. Una cuarta parte tenía preparación en trabajo social (25%), 15% en psicología y 10% en administración de empresas y justicia criminal. De las 20 personas participantes, seis (30%) eran coordinadores/as y cinco (25%) directores/as de programa. Sólo un/a director ejecutivo asistió al adiestramiento. Es interesante destacar, que 10 participantes (50%) tenían experiencia previa en el campo de evaluación de programas y de esos/as siete (70%) la adquirieron en cursos universitarios.

Participantes del Seguimiento a la Consultoría

En la cuarta fase logramos entrevistar seis (30%) de las 20 personas que participaron de los talleres. No logramos contactar a más participantes porque las personas no respondieron a los mensajes, se encontraban de vacaciones, o estaban fuera de la organización en gestiones oficiales al momento de las llamadas. Entre las personas entrevistadas, había cinco mujeres y un hombre. Tres tenían preparación en trabajo social, uno/a en psicología, uno/a en administración de sistemas de oficina y uno/a en administración de empresas. Dos eran directores/as de programas, un/a (17%) coordinador/a de programa, un/a manejador/a de casos, un/a oficial de recursos humanos y un/a trabajador/a social. Cuatro personas informaron que sus tareas incluían tareas de evaluación de programas como: desarrollo de propuestas y recolección de datos demográficos de la clientela.

Instrumentos

Entrevista Inicial: Datos Demográficos

Para la entrevista estructurada desarrollamos un instrumento con una tabla con renglones en los cuales apuntábamos los datos sociodemográficos de las personas. La segunda parte tenía un total de 13 preguntas abiertas a través de las cuales exploramos información sobre su experiencia en el área de evaluación y datos para el desarrollo de la logística de los talleres. También solicitábamos a las personas información de su organización como opúsculos o informes anuales.

Evaluación de Proceso

Realización de tarea. Desarrollamos varios instrumentos de realización de tareas. Estos correspondían a las tareas que debían completar las personas participantes para cada sesión de taller o consultoría individual. En los documentos se explicaba la tarea a realizar y en algunos se indicaba la fecha en que debían entregarla.

Satisfacción. Utilizamos tres instrumentos para evaluar la satisfacción de las personas participantes con la consultoría. El primero correspondió a la Fase I y al Taller 1, el segundo solicitaba la evaluación de la consultoría individual entre el Taller 1 y 2 y su evaluación del Taller 2, y el tercero trataba sobre la consultoría entre el Taller 2 y 3 y sobre el Taller 3. Constaban de tres secciones con reactivos en una escala Likert de 4 puntos, que fluctuaba de "Completamente de acuerdo" a "Completamente en desacuerdo", y de preguntas abiertas. Todos compartían la misma organización y estructura.

Evaluación de Impacto

Para la evaluación de impacto utilizamos cuatro instrumentos. Estos incluían aseveraciones sobre los temas discutidos en cada taller que las personas evaluaban en una escala de Cierto, Falso y No sé. Desarrollamos un instrumento para cada taller cuyo total de reactivos fue de 14, 30 y 14, respectivamente, y uno para la totalidad de la información vertida en estos con un total de 58 aseveraciones. Los instrumentos evaluaban 10 dimensiones de conocimiento que incluían: 1) proceso de evaluación de programas, 2) tipos, 3) objetivos operacionales, 4) diseños, 5) método, 6) consideraciones éticas, 7) instrumentos disponibles, 8) expedientes y registros, 9) análisis de datos, y 10) informe de evaluación.

Realizamos un análisis de confiabilidad Alpha de Cronbach de los instrumentos de evaluación de impacto. Los niveles de confiabilidad para cada instrumento fluctuaron desde .42 hasta .97. La confiabilidad del instrumento global en la pre-prueba fue de .80. Estos niveles de confiabilidad son adecuados particularmente para instrumentos de conocimiento con una muestra de participantes tan pequeña (Sánchez Viera, 1992)3.

Seguimiento a la Consultoría

Desarrollamos un instrumento de entrevista telefónica que constaba de 29 preguntas abiertas divididas en tres secciones, a saber: a) preguntas sobre datos demográficos y ocupación de las personas, b) preguntas para conocer si los talleres fueron de provecho para la organización, y c) una sección de cierre que exploraba si las personas participantes estaban interesadas en recibir un resumen de los resultados y le agradecía su colaboración.

Procedimiento

Al inicio de la consultoría le informamos a todas las personas que estaríamos evaluando la experiencia, por tanto, recabamos su autorización para tomar notas en las entrevistas y para administrarle instrumentos de evaluación, analizar la información recopilada y rendirle un informe a CHAT con la misma. También nos comprometimos a guardar la confidencialidad de los datos que nos brindaran y a proveerles un resumen de los mismos al concluir las fases de la consultoría. Estas acciones permitían modelarle los conceptos aprendidos durante las sesiones de taller y consultoría individual.

Entrevistas de Identificación de ENR

Las entrevistas las realizamos individualmente o en pareja, en las oficinas de las personas de las OC. Les explicamos a las personas el propósito de la entrevista, que los datos que ofrecieran eran confidenciales, que su participación era voluntaria y el tiempo que tomaría completarla. éstas eran entrevistas no-estructuradas, por lo cual, en ocasiones no obtuvimos la misma información de todas las personas.

Evaluación de Proceso

Realización de tareas. El personal de las organizaciones entregaba los documentos solicitados por diversos medios, pero generalmente en el taller de seguimiento a aquel en el cual recibían la asignación. Si entregaban antes, recibían insumo individualizado de una de las consultoras. Tomábamos nota de la fecha de entrega y de cuán completa estaba la tarea. Aunque no desarrollamos un instrumento para evaluar sistemáticamente la calidad del producto que entregaban, comparábamos el mismo con el material presentado en los talleres.

Satisfacción. Al finalizar cada taller, le administramos a las personas participantes los cuestionarios de evaluación de proceso que solicitaban tanto su reacción a los talleres como a los intercambios que ocurrieron entre las consultoras/es y las personas participantes en las semanas entre los talleres. Las personas los completaban y entregaban en el mismo lugar del taller.

Evaluación de Impacto

El diseño de la evaluación de impacto fue uno de pre y post-prueba, sin grupo control. Para cumplir con el mismo, les administramos a las personas participantes el instrumento de pre-prueba de cada sesión de adiestramiento al inicio de la misma. Aunque la estructura de la consultoría era de tres talleres, uno de los cuales fue de día completo, en términos conceptuales dividimos ese día en dos sesiones de contenido separadas. Por esto, desarrollamos cuatro instrumentos de pre-prueba. Para la post-prueba integramos todos los reactivos de los instrumentos de pre-prueba en uno solo, y lo administramos al completar el tercer taller. Es importante notar, por tanto, que la pre-prueba y post-prueba del Taller 3 se administraron el mismo día, con sólo dos horas de separación entre ellas, mientras que para las otras administraciones el tiempo entre pre y post-prueba fluctuó desde dos semanas hasta un mes y medio y fue impactado por sesiones de consultoría individual entre los talleres.

Seguimiento a la Consultoría

Contactamos a cada una de las personas participantes para explorar su disponibilidad para participar de la entrevista telefónica. Intentábamos completar dos entrevistas por OC porque en ocasiones participaron dos personas de una misma OC con el interés de desarrollar planes de evaluación para programas diferentes de la misma agencia.

Al contactar a la persona le informamos que su participación en la entrevista telefónica era voluntaria, confidencial y tomaría aproximadamente 15 minutos. Si la persona aceptaba, le administrábamos la entrevista en el momento. Si en esa primera llamada no era posible completar la entrevista, coordinábamos una cita telefónica con ella para administrar la entrevista posteriormente. En ocasiones, contactamos a las personas en más de tres oportunidades y dejamos mensajes para que nos devolvieran la llamada, sin resultado. Este proceso duró aproximadamente dos meses.

Análisis

Realizamos análisis de estadísticas descriptivas y resúmenes cualitativos de los datos de evaluación de proceso y la entrevista telefónica de seguimiento a la consultoría. Con los datos de la evaluación de impacto realizamos análisis de confiabilidad y calculamos estadísticas descriptivas, porcentajes de aumento o disminución en conocimiento y pruebas t para identificar si los cambios habían sido estadísticamente significativos. Para estos análisis codificamos las respuestas de "no sé" como respuestas incorrectas. Con estimaciones de los porcentajes de aumento o disminución en conocimiento, al igual que las pruebas t, realizamos tres comparaciones: a) pre-prueba y post-prueba global de los talleres, b) pre-prueba y post-prueba por taller, y c) pre-prueba y post-prueba por dimensión del instrumento.

Resultados

Evaluación de Proceso

Realización de Tareas Luego de Cada Taller

Como tarea posterior al primer taller las personas de cada organización debían decidir los aspectos de su programa a evaluar, el tipo de evaluación que iban a realizar, revisar las metas del programa y desarrollar objetivos operacionales para la evaluación. En cinco de las seis organizaciones realizaron la tarea, aunque sólo una entregó a la fecha estipulada. Después del segundo taller, las organizaciones debían decidir el método de su evaluación y desarrollarlo, al igual que desarrollar un borrador de instrumento. En este caso, y partiendo de la experiencia anterior, les solicitamos iniciaran la preparación de los documentos en el taller. Recogimos estos borradores y les proveímos insumo a tiempo para entregar la versión revisada que traerían al Taller 3. Nuevamente cinco de las seis organizaciones recibieron este insumo.

Por último, las personas debían completar el adiestramiento entregando una propuesta de evaluación completa de su programa en o antes de la fecha estipulada. A la fecha establecida no entregó nadie. Dos programas entregaron poco después y otro un mes después. Dos programas solicitaron consultoría individual posteriormente. Las OC que entregaron las propuestas y que solicitaron consultoría posterior fueron las de asistencia más consistente a los talleres. Aun así, como no recibieron consultoría individual a tiempo, ni suficiente en nuestra opinión, las organizaciones que entregaron no realizaron la tarea a cabalidad. Las propuestas, con excepción de una, estaban incompletas o eran deficientes.

Satisfacción

Fase I: Identificación de expectativas, necesidades y recursos (ENR). En la Tabla 2 presentamos la información de las respuestas de las personas al solicitarles que evaluaran la primera fase de la consultoría ENR. Eliminamos de esta tabla, y de las que siguen para los talleres, las respuestas de "Parcial" y "Totalmente en desacuerdo" ya que ninguna persona las seleccionó. Este instrumento lo completaron 21 personas.

Tabla 2
Evaluación de la primera fase de la consultoría


Al examinar la tabla podemos notar que, en términos generales, las personas expresaron un nivel de satisfacción muy alto con los diferentes aspectos de la Fase I. Los niveles de satisfacción más altos fueron con la accesibilidad de las consultoras (81%) y con el ambiente que existió durante la reunión inicial (75%). Quedaron más insatisfechas con la eficiencia de las comunicaciones telefónicas (43%) y con el impacto de la reunión para facilitar su integración al proceso de consultoría (48%). Si sumamos las columnas de "Completa" y "Parcialmente de acuerdo", las personas en su mayoría pensaron que el insumo que enviamos describiendo las necesidades de la agencia fue acertado (76%). Esto es importante dado que ese fue el propósito principal de esa fase.

La evaluación de esa fase también incluyó dos preguntas abiertas adicionales. A la primera, sobre la evaluación general de la Fase I, las respuestas fueron de excelente (16; 76%) y buena (5; 24%). A la segunda, sobre la utilidad de dicha fase, las respuestas fueron de mucha (19; 90%) y alguna utilidad (2; 10%).

Talleres (proceso general de evaluación y redacción de objetivos). Hubo satisfacción general con todos los talleres. En términos generales, los renglones en que hubo mayor satisfacción fueron: la preparación de las consultoras (100%), la adecuación de la información provista por las consultoras (100%), confirmar el acierto de ofrecer un repaso entre el primer y el segundo taller (100%), la utilidad de los ejercicios para la aplicación del conocimiento (100%), la utilidad de los materiales de las actividades (100%), la utilidad de los ejercicios (95%), y la adecuación del lugar en el cual se celebró la primera actividad (95%). Las personas también indicaron que entienden que la evaluación de programas es importante para su trabajo (100%). Las evaluaciones en preguntas abiertas fueron de que los talleres eran excelentes o buenos y de mucha utilidad.

Los reactivos con la puntuación menor en los talleres fueron: "Me siento preparado/a para utilizar la información que aprendí en mi trabajo" (48%) e insatisfacción con el lugar del tercer taller.

Por último, las personas hicieron los siguientes comentarios: a) las consultoras fueron excelentes recursos, b) el material presentado es nuevo aún para aquellas personas que llevan años trabajando en OC, c) la manera informal de enseñar fue efectiva y agradable, y d) el taller me ayudará para la parte de implantación de programa de mi OC. Una persona sugirió que dado que la información era densa y complicada (refiriéndose al taller de diseño) debía dedicársele más tiempo.

Consultorías. El instrumento de evaluación de la consultoría entre el primer y el segundo taller lo completaron las 12 personas que quedaban en la actividad al momento de administrarlo. Los resultados fueron muy favorables destacándose la adecuación de la información (100%), la utilidad del insumo (92%) y la eficiencia de la comunicación entre la agencia y las consultoras (92%). Ningún reactivo recibió una evaluación pobre.

Para el tercer taller, las personas debían entregar un documento con el método de la evaluación de su programa. Estos datos aparecen en la Tabla 3. Se destacan como positivos los reactivos en que evaluamos la utilidad del insumo de la consultora (94%), su accesibilidad (89%) y la calidad de su insumo (89%).

Tabla 3
Evaluación de la consultoría entre el Taller 2 y 3 (N = 18)


Se les preguntó a las personas si las tareas que realizaron les fueron de utilidad. Tanto para la tarea de redacción de objetivos, del diseño y el método, y del desarrollo de instrumentos, encontraron que les había sido de "mucha" (95% - 83%) o de "alguna" utilidad (17% - 5%).

Las personas participantes añadieron: a) que se ofreció mucho material en poco tiempo, b) algunas OC afectaron su beneficio del taller por ausentarse, c) aunque abarcador y general, fue útil, d) se diseñó conforme a las necesidades de la agencia, e) las tareas permitieron aplicar el conocimiento aprendido, y f) sintieron mucha satisfacción con el taller. Sugirieron: a) más sesiones de contenido, b) trabajar con una OC y comprometer a sus participantes, c) seguimiento para conocer si la gente puso en práctica lo aprendido, y d) recoger la información de los casos trabajados y distribuirlos entre los distintos grupos de trabajo en el taller.

Evaluación Global

Este instrumento contenía un par de reactivos para evaluar la experiencia en su totalidad. En el primero se les preguntó ¿Cómo usted evalúa su experiencia en la consultoría de evaluación de programas hasta el día de hoy? Diez (56%) personas indicaron que "excelente" y ocho (44%) que "buena". En el segundo solicitamos comentarios o sugerencias generales. Nos indicaron lo siguiente: a) pude llevar lo aprendido a mi agencia y aplicarlo a las tareas, b) pertinente, oportuno, adecuado, interesante y rápido, c) la información compartida fue valiosa, d) requería más tiempo para hacer las tareas, e) experiencia positiva de mucho aprendizaje para el mejoramiento de la agencia, y f) excelentes recursos. Sus sugerencias incluyeron: a) más tiempo, b) más información de contenido, c) talleres de seguimiento para afinar lo aprendido y d) talleres de días completos y subsiguientes para no perder la secuencia.

En resumen, en términos de las actividades ofrecidas, todo lo planificado se pudo implantar. Al examinar las tareas que se esperaba que las personas realizaran, la experiencia no fue del todo favorable. Las personas se tardaron más de lo esperado en realizar las tareas y la meta de completar un plan de evaluación para cada OC no se cumplió. Los planes que entregaron no contaban con los niveles de exigencia deseados. Por otro lado, podemos concluir que las personas que participaron de los talleres quedaron muy satisfechas con la experiencia. Se destacó el consenso en los aspectos positivos relacionados a la capacidad de los recursos, la utilidad de los materiales y de los ejercicios, la accesibilidad de las consultoras y la calidad del insumo que proveyeron. Los aspectos menos favorables fueron no sentirse listos/as para aplicar el aprendizaje en el trabajo y la insatisfacción con uno de los locales. Ahora presentamos los resultados de la evaluación de impacto.

Evaluación de Impacto

Los resultados del análisis del impacto de la consultoría aparecen en el siguiente orden: a) estimaciones de los porcentajes de aumento o disminución en conocimiento, y b) pruebas t para comparar las diferencias entre los grupos antes y después de los talleres.

Estimaciones de los Porcentajes de Aumento o Disminución en Conocimiento en Tres Niveles

Pre-prueba y post-prueba global de los talleres. Estimamos los resultados de la pre-prueba mediante la suma de las contestaciones correctas en los cuestionarios administrados al inicio de cada sesión de taller. Los datos de la post-prueba surgen de la administración del instrumento global al finalizar el último taller. El promedio de la post-prueba fue de 41.56 mientras que el de la pre-prueba fue de 31.06. Por tanto, hubo un aumento global de 10.5 puntos en el conocimiento de las personas participantes lo cual equivale a un 25%.

Pre-prueba y post-prueba por taller. También comparamos el aumento en conocimiento por taller (ver Tabla 4). Podemos observar que cumplimos con los niveles establecidos en todos los talleres menos el último, en el cual el aumento fue menor. El aumento mayor ocurrió en la mañana del segundo taller que se dedicó a la discusión de diseños de investigación, seguido por la sesión de la tarde en la cual discutimos asuntos éticos y desarrollo de instrumentos.

Tabla 4
Comparación del promedio obtenido por los/as participantes en la pre y post-prueba por cada sesión de taller


Pre-prueba y post-prueba por dimensión. Por último, evaluamos el aumento en las dimensiones de conocimiento que quisimos impactar con el adiestramiento (ver Tabla 5). Hubo aumento en todas las dimensiones excepto en la 10 (Informe de Evaluación), en la cual hubo una reducción de conocimiento. Las dimensiones con mayor aumento fueron: diseños utilizados para evaluar programas, el método y la estructura de la evaluación y temas relacionados con los instrumentos disponibles.

Tabla 5
Comparación del promedio obtenido por los/as participantes en la pre-y post-prueba por cada dimensión de contenido de los talleres


Pruebas t

Las diferencias antes mencionadas parecen importantes pero no sabemos cuánto lo son sin evaluar si son estadísticamente significativas. Aunque el tamaño de la muestra es pequeño, sugiriendo que interpretemos los resultados con cautela, ni en el programa computarizado SPSS, ni en la referencia utilizada (Sánchez Viera, 1992) se indica que haya dificultades con aplicar la prueba t a este tamaño de muestra. Establecimos un nivel aceptable de .05 de significación para el estudio. La presentación de estos resultados sigue el mismo orden de la sección anterior. La prueba t resultó significativa para el impacto global de los talleres sobre el conocimiento de evaluación de programas (t = 4.698; p < .000). Al mirar la Tabla 6 observamos que resultó significativa también para todos los talleres menos el último. Por último, en la Tabla 7 se observan tres pruebas t que no resultaron significativas (dimensiones 2, 8 y 9) y una (dimensión 10) que resultó significativa para una disminución en conocimiento.

Tabla 6
Prueba t de la comparación de nivel de conocimiento por taller entre pre y post-prueba


Tabla 7
Prueba t de la comparación de nivel de conocimiento por dimensión de conocimiento entre pre y post-prueba


En resumen, podemos concluir que:

1. La comparación mediante porcentajes para los talleres agrupados reveló un aumento de un 25% en el conocimiento de las personas participantes. Esta cifra sobrepasa por un 5% la estimación más alta proyectada para cualquier dimensión de conocimiento (20%).

2. El aumento en conocimiento de las personas participantes de los primeros dos talleres sobrepasó las metas propuestas. Sin embargo, éste no fue el caso del tercer taller donde el aumento fue sólo de 8%.

3. Al analizar el aumento de conocimiento en cada dimensión, los porcentajes de aumento variaron de un 9% a un 51% en múltiples dimensiones. Sólo en la dimensión 10 existió una disminución de conocimiento.

4. Existió diferencia significativa entre la cantidad de preguntas contestadas correctamente en las pre-pruebas (tomadas en conjunto) y la post-prueba, al igual que entre la cantidad de preguntas contestadas correctamente en las pre-pruebas y post- pruebas de los primeros dos talleres. Sin embargo, no existió diferencia significativa entre la pre-prueba y la post-prueba del tercer taller.

5. Por último, existió diferencia significativa entre las puntuaciones de la pre y post-prueba para ocho de las diez dimensiones de conocimiento que trabajamos en los talleres. En uno de estos casos la dirección fue opuesta a la esperada.

Seguimiento a la Consultoría

Desarrollo del Plan de Evaluación

Cinco personas informaron que desarrollaron un plan de evaluación en los talleres, mientras que una indicó que no. La persona que no desarrolló el plan indicó que fue porque en su OC ya se estaba desarrollando un plan para su programa. De las cinco personas que desarrollaron un plan de evaluación, sólo dos lo implantaron. Las tres participantes que no implantaron el plan que desarrollaron indicaron que no lo hicieron por: a) la contratación de un evaluador/a externo, b) el cambio de personal, y c) la imposibilidad de reunirse con la persona en la OC que se encargaría de la tarea.

Por otra parte, las dos personas que implantaron el plan coincidieron en que la fortaleza principal de sus planes de evaluación era la claridad y la especificidad de los objetivos. No pudieron identificar deficiencias en el plan. Las dos participantes informaron que sus respectivas OC le facilitaron algunos recursos para implantar el plan de evaluación: a) contratación de un evaluador/a externo, b) equipo de oficina y computadoras, c) apoyo de estudiantes subgraduados/as, d) personal adicional de la OC, y e) asistencia a más adiestramientos sobre el tema.

Estas personas coincidieron en que enfrentaron dificultades durante la implantación del plan de evaluación que desarrollaron en los talleres. Algunas de éstas incluyeron: a) pocas destrezas en el análisis de datos, b) el tiempo adicional que requiere adiestrar a recursos externos, c) escasez de recursos materiales, y d) las limitaciones de horario y tiempo de los/as estudiantes dados sus compromisos académicos.

Desarrollo Organizacional y Profesional

Todas las personas coincidieron en que participar de los adiestramientos contribuyó al fortalecimiento de su OC. Los y las participantes indicaron que la capacitación contribuyó a darle dirección al trabajo, aclarar los objetivos de sus programas, someter mejores propuestas, y a facilitar la contratación y supervisión de un evaluador/a externo. Igualmente, todas coincidieron en que contribuyó a su desarrollo profesional en la medida en que: a) ayudó a que fueran más eficientes en sus gestiones, b) facilitó la adquisición de conocimiento y destrezas en el campo de la evaluación de programas, y c) proveyó motivación para participar de más adiestramientos en el tema.

Tres participantes informaron que han tomado adiestramientos en evaluación de programas aproximadamente un año después de la consultoría. Estas/as participantes indicaron que los adiestramientos que tomaron fueron auspiciados por el Centro para el Control de Enfermedades de Atlanta (CDC por sus siglas en inglés) y por dependencias afiliadas a dicha agencia estadounidense. Las tres participantes que no han tomado adiestramientos adicionales informaron que esto se debía a: la falta de tiempo, la participación en adiestramientos sobre otros temas, y que su OC tiene otras prioridades.

En términos generales, las personas participantes informaron que: a) sería importante organizar reuniones de seguimiento con las personas que asistieron a los talleres, b) que los talleres fueran en días consecutivos, y c) que las consultoras fueron recursos excelentes.

La experiencia de seguimiento contiene indicadores del desarrollo de una cultura de evaluación en las organizaciones que implantaron sus planes o contrataron a un evaluador o evaluadora externo para hacerlo. Se reporta un fortalecimiento en la organización y el interés de continuar el adiestramiento. Las que no implantaron sus planes, no lo hicieron por factores organizacionales (ej. ausencia de recursos o de tiempo) que no estaban relacionados a su conocimiento de la tarea ni a deficiencias de la capacitación. El impacto, sin embargo, no puede evaluarse a cabalidad, dado el número reducido de personas que pudimos contactar en esta fase.

Discusión

En términos generales, los objetivos de la consultoría se alcanzaron y, en ocasiones, se rebasaron. A continuación discutimos las formas en que esto se hizo evidente y las razones por las cuales entendemos que algunos aspectos no se cumplieron a cabalidad. Para finalizar incluimos una reflexión final sobre nuestro MCP.

Objetivos de Proceso

El primero de estos objetivos se refería a ofrecerles los cuatro talleres a integrantes de siete OC. Diseñamos y ofrecimos los talleres a integrantes de seis OC ya que una se retiró. Siempre hubo participación de las seis organizaciones; tres participaron consistentemente.

No hubo correspondencia exacta entre las personas entrevistadas en la primera fase y las que asistieron, pero las necesidades de las personas participantes, auscultadas en el primer taller, coincidieron con las de las entrevistadas. Además, las personas que asistieron al recibir el resumen de resultados de la ENR, la describieron como acertada.

Por otro lado, la ausencia de correspondencia en la asistencia puede reflejar otros asuntos. La mirada más simple podría atribuirle la diferencia a falta de comunicación en el proceso de invitación. Otras posibles explicaciones, que parecerían más razonables, incluyen: a) que las organizaciones quieren aumentar el número de empleados/as que obtenga provecho de la experiencia; b) que les interesa aumentar su acceso a asistencia técnica ya que no pueden costearla de otra forma; y c) que, dado el cambio frecuente de personal en estas organizaciones, quieren preparar a varios recursos por si el que ahora tiene la tarea asignada se va. Esto es consistente además, con el hecho de que el cambio en participantes se reflejó en la ausencia de personas de alta jerarquía. Aunque nos preocupa que hayan delegado la tarea, particularmente si lo hicieron en quienes no tienen responsabilidades de evaluación en el programa, esto es consistente con la abrumadora cantidad de tareas y de responsabilidad que estas personas enfrentan diariamente (Figueroa, 2003).

El segundo objetivo fue ofrecer consultoría individual a las agencias que lo solicitaran. Este objetivo se cumplió y rebasó la solicitud explícita de las personas participantes. La consultoría se ofrecía en relación con las tareas asignadas en los talleres. Aunque la primera tarea la realizaron en todas las organizaciones, no la entregaron a tiempo y su entrega requirió múltiples recordatorios. Como consecuencia de esta experiencia, incorporamos al diseño del segundo taller el inicio de la segunda tarea. Esto facilitó un poco el proceso de consultoría posterior, pero aún así requirió seguimiento.

Entendemos que esta dificultad puede explicarse por: a) lo innovador del modelo partícipe que se utilizó en el adiestramiento, b) la cantidad de trabajo que tiene el personal de las OC, c) los estilos de comunicación y d) la relación de aprendizaje. Al mencionar lo innovador de la experiencia nos referimos a que generalmente las personas que asisten a talleres no van con la expectativa de tener que realizar tareas de seguimiento. Los talleres suelen ser experiencias a las cuales uno/a asiste, presta atención, y de los cuales sustrae materiales y experiencias. Aunque les explicamos a las personas el modelo que utilizaríamos, su desconocimiento del mismo puede dificultar entender lo que se les anticipó. Esto se complica con el hecho de que sabemos que todas las personas involucradas son personas sumamente ocupadas con múltiples compromisos a los cuales se le añade éste. Si a su vez, alguno de los/as asistentes no tenía tareas de evaluación asignadas en su agencia, el interés disminuye al reducirse la pertinencia con sus labores.

Encontramos que ofrecer la consultoría partícipe también se dificultó por estilos de comunicación diferentes. El equipo de consultoría prefería recibir los documentos por correo electrónico para poderle insertar los comentarios en el texto y agilizar el proceso de insumo. Las personas participantes preferían -aunque tuviesen correo electrónico disponible- utilizar el fax o el teléfono. Parece ser, que el correo electrónico es en casi todas las organizaciones exclusivo del ejecutivo, por lo cual él o ella recibe las comunicaciones y las transmite a los/as empleados. Eso puede generar el problema adicional de que el supervisor/a reciba un instrumento "corregido" que pueda interpretar como señal de deficiencia del empleado/a y no como parte de un proceso de aprendizaje. Por último, siempre es difícil exponerse ante un consultor/a, identificar áreas de desinformación y recibir insumo, particularmente si uno/a ya abandonó el "rol de estudiante" y es un profesional. Todos estos factores pueden haber contribuido a las dificultades, aunque pocas, con la consultoría individual.

El tercer y cuarto objetivo de proceso se refería a la entrega de las tareas por las personas participantes a la fecha estipulada. Como ya hemos indicado esto se cumplió para casi todas las tareas aunque el cumplimiento fue disminuyendo a medida que avanzaba el taller. Además de los factores que ya hemos mencionado, puede influir en este proceso la dificultad con la tarea ya que a medida que pasaban los talleres la tarea era más complicada y exigente.

Por último, el quinto objetivo se refería al nivel de satisfacción de las personas participantes con la experiencia. No hay duda de que las personas quedaron satisfechas con todo el proceso. Los resultados cuantitativos reflejan que el material fue de interés, de utilidad y respondió a sus necesidades, que los recursos les parecieron competentes y accesibles, que los ejercicios le parecieron útiles y que las consultorías fueron fuente de aprendizaje. Hubo comentarios confirmando el aumento en la complejidad del material, particularmente del segundo taller, y las personas mencionaron que no salieron listas de los talleres para aplicar el conocimiento adquirido en su trabajo. Quedamos muy complacidas/os con la evaluación de satisfacción y entendemos que el no sentirse capacitadas para la aplicación inmediata del conocimiento era de esperarse ya que la información era "nueva y densa" y que se contaba con las tareas, la consultoría y los ejercicios de repaso en los Talleres 2 y 3 para afianzar conocimiento y destrezas.

Algunas personas participantes mencionaron que los talleres se debían dar de forma consecutiva y otras que deberían durar más tiempo. Discrepamos de ambas opiniones. El ofrecerlos de forma consecutiva elimina el tiempo intermedio para procesar e internalizar el aprendizaje obtenido. A la vez limita las posibilidades de reforzarlo mediante la consultoría. La petición de tiempo adicional siempre surge cuando las personas tienen experiencias satisfactorias pero no dominan el material completamente. Sin embargo, creemos que sería más efectivo proveer consultoría individual por más tiempo que alargar la duración de los talleres. La sugerencia de un/a participante de ofrecer talleres de seguimiento también podría ser útil si se identifican áreas de deficiencia en común.

Objetivos de Impacto

Como informamos anteriormente, la mayoría de las personas participantes tenía experiencia previa en evaluación de programas a través de cursos, adiestramientos o tareas en el empleo. Evidentemente, consideraban esta experiencia insuficiente ya que solicitaron asistencia técnica sobre el tema. También asumimos al inicio que su conocimiento de conceptos generales de evaluación serían los más desarrollados, lo cual confirmamos en el análisis de impacto. Los aprendizajes mayores fueron en las áreas de diseño de la evaluación y de desarrollo de instrumentos. En términos generales, el aumento en conocimiento fue mayor del esperado.

Es importante discutir dos asuntos: el nivel menor de aprendizaje en el tercer taller y la disminución de conocimientos relativo a redacción de informes. El primer asunto puede resultar del proceso de recolección de datos. Como ya hemos informado, el instrumento de post-prueba de los Talleres 1 y 2 se administró en cada taller subsiguiente, por lo tanto, evaluó en realidad el impacto no sólo del taller, sino el impacto acumulativo del taller, la consultoría individual y la realización de las tareas. Por el contrario, la post-prueba del Taller 3 se hizo en el mismo taller inmediatamente después de haberle ofrecido la información a las personas. Esto se combina con que el grueso de ese taller era sobre análisis de datos, que entendemos es una de las áreas de las cuales las personas se sienten más distantes. Esto puede explicar que el aumento en conocimiento fuese menor, aunque siempre lo hubo.

La única excepción, como ya hicimos notar, fue la dimensión de redacción de informes, en la cual hubo una disminución de conocimiento. A este tema le dedicamos 10 minutos del Taller 3, fundamentalmente para proveerles un bosquejo de lo que debía ser el informe. La brevedad y rapidez con la cual se hizo esta presentación pudo resultar en confusión. Al evaluar las propuestas que entregaron luego, nos surgió otra posible explicación. El bosquejo que les proveímos no estaba a tono con las exigencias de formato de las agencias financiadoras de sus programas. Dos de las tres agencias que entregaron las propuestas las entregaron en formato de tabla siguiendo los lineamientos de las agencias financiadoras. Por tanto, puede haberles confundido la presentación de un formato alterno.

Conclusiones y Recomendaciones

Podemos afirmar que ésta fue una experiencia grata, de crecimiento y de aprendizaje para todas las personas involucradas. Entendemos que los datos de la evaluación revelan que su impacto, tanto de proceso como de contenido, fue positivo. Por tanto, creemos que la conclusión principal es que el MCP de evaluación de programa en cuatro pasos fue beneficioso y recomendable. El primer paso tiene la ventaja de generar la información necesaria para diseñar una experiencia educativa hecha a la medida para las personas participantes. También permite establecer una relación personal que les motiva a asistir. La segunda fase, que en este caso incluyó talleres y consultorías intercaladas, permitió fortalecer los conocimientos y destrezas de las personas proveyéndoles información, ejercicios para su aplicación y tareas directamente pertinentes a su escenario de trabajo. El componente de consultoría también permitió ir intercalando estas tareas en su cotidianidad. La tercera fase, no sólo genera información de la eficacia del adiestramiento, sino que provee modelaje para el personal de las OC de cómo evaluar sus intervenciones. La última fase, permite ver a largo plazo el impacto del esfuerzo y, cuando hay recursos disponibles, intervenir para fortalecer los cambios que se interesa fomentar.

Otras sugerencias específicas surgen de lo que hemos narrado hasta aquí, e incluyen:

1. Afinar los procesos de reclutamiento de participantes para tratar de aumentar la consistencia entre quienes son entrevistados/as y quienes asisten.

2. Recomendar a las organizaciones que envíen a los adiestramientos personas que luego realizarán las tareas pertinentes y que incorporen estas personas al proceso de entrevista inicial.

3. Dar seguimiento en los días previos a los talleres a las personas para confirmar su asistencia.

4. Desarrollar un instrumento de datos sociodemográficos sencillo y corto para administrarlo en las entrevistas iniciales y en los talleres. Esto permitirá generar un cuadro completo y específico de las personas involucradas.

5. Realizar una post-prueba de la Fase III luego de entregada la tarea final. ésta se debe añadir sin eliminar la del tercer taller, anticipando la posibilidad de que haya atrición en el proceso de devolución de la que aquí sugerimos.

6. Desarrollar talleres u otras actividades educativas de seguimiento en las áreas en que la mayoría de las personas aún revelen insuficiencias.

Promover procesos de consultoría partícipe para desarrollar e implantar planes de evaluación de programas puede facilitar el empowerment del personal de las OC. En este caso entendemos que contribuimos a esta meta: a) fomentando la identificación de las necesidades y la toma de conciencia sobre los recursos con que cuenta el personal de las OC para desarrollar planes de evaluación acorde a su experiencia y b) desarrollando destrezas y conocimientos que facilitan no sólo el acceso a, sino también el control sobre, la toma de decisiones programáticas y fiscales sin violentar sus valores y creencias. También se inició una transformación de la cultura organizativa acorde con el cambio en el nivel individual y grupal. Entendemos que una intervención tradicional no hubiese generado estos resultados.

Nuestra intervención se hubiera enriquecido con un seguimiento similar al que propone Fetterman (1996) en las últimas tres etapas de su modelo. Sin embargo, no siempre se puede intervenir a todo lo largo del proceso pues esto depende de la relación contractual que se haya establecido con la OC, y de lo que está interesada en lograr la OC al momento de iniciarse en el MCP. Por tanto, lo importante es motivar un desarrollo en la dirección de las metas y valores que ya hemos mencionado.

El MCP representa para la psicología social-comunitaria una innovación que propone la promoción de espacios de trabajo e intercambio colaborativo, desde el cual no sólo se generen esfuerzos de bienestar para diferentes poblaciones, sino contribuciones al desarrollo de conocimientos y destrezas que enriquezcan nuestra disciplina. El trabajo conjunto y recíproco que fomenta el MCP entre el personal de las OC y los psicólogos y psicólogas sociales-comunitarios genera nuevas e innovadoras formas de acercarnos a los fenómenos sociales y enriquece las herramientas disponibles para responder y luchar con las exigencias de un mundo altamente mercantilizado, competitivo, tecnológico y profesional. Entendemos que el MCP que implantamos provee medidas para comenzar a lidiar efectivamente con este reto. Queda en manos del lector o lectora continuar este tipo de esfuerzo.

Notas

1 Dada la situación política puertorriqueña, en muchas ocasiones las OC reciben fondos del gobierno federal estadounidense.

2 El concepto de empowerment se ha traducido en algunas fuentes como apoderamiento, potenciación o fortalecimiento. Entendemos que ninguna de estas traducciones capturan su esencia por lo cual preferimos continuar utilizándolo en inglés.

3 Se ha desarrollado un trabajo posterior con el instrumento para validarlo y aumentar la confiabilidad de sus escalas. Para mayor información puede consultar a Santiago, Serrano-García, Nieves, Varas & Resto (2003).

Referencias

Asociación Puertorriqueña Pro Bienestar de la Familia. (2001). Estudio de las necesidades de las organizaciones de base comunitaria que trabajan con VIH/SIDA. Informe sometido a la Asociación Puertorriqueña Pro Bienestar de la Familia, San Juan, Puerto Rico.         [ Links ]

Berger, P. & Luckman, T. (1966). La construcción social de la realidad. Buenos Aires: Amorrortu.         [ Links ]

Fetterman, D. (1996). Empowerment evaluation: An introduction to theory and practice. En D. Fetterman, S. Kaftarian & A. Wandersman (Eds.), Empowerment evaluation: Knowledge and tools for self-assessment and accountability (pp. 3-46). Thousand Oaks, CA: Sage.         [ Links ]

Figueroa, M. (2003). Las organizaciones de base comunitaria frente a la reforma de salud: Un reto a su invisibilidad.         [ Links ]

Disertación doctoral inédita sometida al Departamento de Psicología de la Universidad de Puerto Rico, Río Piedras, Puerto Rico.

Gómez, C. & Goldstein, E. (1996). The HIV prevention evaluation initiative: A model for collaborative and empowerment evaluation. En D. Fetterman, S. Kaftarian & A. Wandersman (Eds.), Empowerment evaluation: Knowledge and tools for self-assessment and accountability (pp. 100-122). Thousand Oaks, CA: Sage.         [ Links ]

Health Resources and Services Administration. (1999). A practical guide to evaluation and evaluation terms for Ryan White CARE Act grantee [En línea]. Accedido el 18 de marzo 2002. http://www.hrsa.gov         [ Links ]

Martí, S. & Serrano-García, I. (2000). Needs assessment and community development: An ideological perspective. En J. Rothman, J. Erlich & J. Tropman (Eds.), Strategies of community intervention (pp. 257-267). Itasca, IL: Peacock Pub.         [ Links ]

Ortiz-Torres, B. (1999). El empowerment como alternativa teórica para la América Latina. Revista Interamericana de Psicología, 33(2), 49-66.         [ Links ]

Owen, J. & Rogers, P. (1999). Program evaluation: Forms and approaches. Thousand Oaks, CA: Sage.         [ Links ]

Porbén, M. (1998). Diseño de una guía de evaluación de programas que prestan servicios sociales y educativos. Disertación doctoral inédita sometida a la Universidad Carlos Albizu, San Juan, Puerto Rico.         [ Links ]

Rossi, P. H., Freeman, H. E. & Lipsey, M. W. (1999). Evaluation: A systematic approach. Thousand Oaks, CA: Sage.         [ Links ]

Sánchez, E. (2000). Todos con la "esperanza": Continuidad de la participación comunitaria. Caracas: Universidad Central de Venezuela.         [ Links ]

Sánchez, J. A. (1992). Fundamentos del razonamiento estadístico. San Juan, Puerto Rico: Centro Caribeño de Estudios Postgraduados.         [ Links ]

Santiago, M., Serrano-García, I., Nieves, L., Varas-Díaz, N. & Resto-Olivo, J. (2003, julio). Desarrollo de un instrumento de conocimiento básico en evaluación de programas. Ponencia oral presentada en el Congreso Interamericano de Psicología, Lima, Perú.         [ Links ]

Serrano-García, I., López, M. M. & Rivera-Medina, E. (1992). Hacia una psicología social-comunitaria. En I. Serrano-García & W. Rosario Collazo (Eds.), Contribuciones puertorriqueñas a la psicología social comunitaria (pp. 75-106). Río Piedras, Puerto Rico: Ed. Universitaria.         [ Links ]

Serrano-García, I., Resto-Olivo, J. & Varas-Díaz, N. (2002, Noviembre). Consultoría partícipe con organizaciones sin fines de lucro: Una experiencia desde la psicología social-comunitaria. Presentación oral en la Convención Anual de la Asociación de Psicología de Puerto Rico, Ponce, Puerto Rico.         [ Links ]

Wandersman, A., Keener, D., Snell-Johns, J., Miller, R., Flaspohler, P., Livet-Dye, M. et al. (2004). Empowerment evaluation: Principles and action. En L. Jason, C. Keys, Y. Suárez-Balcazar, R. Taylor & M. Davis (Eds.), Participatory community research: Theories and methods in action (pp.139-156). Washington, DC: American Psychological Association.         [ Links ]

W. K. Kellogg Foundation (1998). Manual de evaluación. Battle Creek, MI: Autor.         [ Links ]


Correspondencia a: La correspondencia relativa a este artículo deberá ser dirigida a Irma Serrano-García, P.O. Box 23174 San Juan, Puerto Rico. E-mail: irmaserrano@sanjuanstar.net

Irma Serrano-García, Departamento de Psicología. Josephine Resto-Olivo, consultora independiente. Nelson Varas-Díaz, Escuela Graduada de Trabajo Social.

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons