Papeles del Psicólogo, 2002. Vol. 22(83).

Julio Sánchez Meca^*, Robert F. Boruch^**, Anthony Petrosino^*** y Ana Isabel Rosa Alcázar^*

^*Universidad de Murcia. ^**University of Pennsylvania (USA). ^***American Academy of Arts & Sciences (USA)

Hoy día en cualquier ámbito de las ciencias de la salud, sociales, educativas y del comportamiento, la evaluación de programas de intervención ha generado tal cantidad de estudios evaluativos que resulta imposible su análisis por parte de los investigadores, gestores, políticos y profesionales si no es mediante la aplicación de una metodología científica como el meta-análisis. Al mismo tiempo, ha surgido una corriente científica denominada práctica basada en la evidencia, que propugna la necesidad de que los tratamientos y programas que se aplican en la práctica, sea cual sea el ámbito, deben estar fundamentados en los resultados de eficacia de los estudios evaluativos, es decir, en la evidencia científica. Con objeto de promover e impulsar las revisiones sistemáticas de los estudios evaluativos, se ha creado recientemente una organización internacional denominada la Colaboración Campbell. En este trabajo se presentan los objetivos y la estructura de la Colaboración Campbell, sus orígenes y sus planes futuros.

La puesta en acción de programas, acciones, servicios, proyectos, etc., desde las políticas públicas tiene como fin último atender a los problemas y las necesidades de la sociedad, y para ello se precisa dar respuesta a preguntas tales como ¿qué programas son más efectivos para rehabilitar a los delincuentes?, ¿y para prevenir la drogadicción?, ¿y para luchar contra el maltrato infantil y el abuso sexual?, ¿y para combatir el desempleo?, ... Encontrar respuesta a estas interrogantes interesa no sólo a los políticos, gestores, directivos y altos cargos de las entidades públicas y privadas, sino también a los técnicos y profesionales que implementan los programas y servicios, a los propios receptores o beneficiarios de los mismos, así como al ciudadano de a pie, que estará interesado en conocer cómo se están gastando los fondos públicos.

Para determinar la eficacia de los programas se ha desarrollado una metodología de investigación conocida como evaluación de programas o investigación evaluativa y que se basa en los métodos de investigación social para abordar estos problemas aplicando el máximo rigor científico (Fernández-Ballesteros, 1995). El resultado es la publicación de estudios empíricos que presentan resultados sobre la eficacia o efectividad de uno o varios programas alternativos para atender un determinado problema social. Estos estudios evaluativos se convierten en un elemento fundamental de la base de conocimiento que puede utilizar un gestor, un político, un directivo, un profesional para tomar decisiones sobre qué políticas desarrollar, qué tratamiento aplicar a un paciente o qué servicios implantar en una comunidad.

Pero hoy día en muchos de los ámbitos de las ciencias sociales es tal el cúmulo de estudios de evaluación realizados sobre un determinado problema social, psicológico, educativo, de salud, etc., que se hace muy difícil extraer el sentido de todos ellos si no es con la ayuda de procedimientos sistemáticos y rigurosos de revisión de la investigación. Las revisiones sistemáticas surgen, pues, como una alternativa a las revisiones tradicionales o subjetivas, y se fundamentan en la aplicación de las mismas normas de rigor científico que se exigen en la realización de estudios evaluativos empíricos al proceso de revisión de dichos estudios.

En la década de los 90 ha surgido una corriente de pensamiento en el ámbito de las ciencias sociales y de la salud que preconiza la necesidad de que los programas, tratamientos, intervenciones, servicios y acciones en general que se apliquen en cualquier contexto deberían estar avalados por la mejor evidencia científica disponible. Esta corriente denominada "práctica basada en la evidencia", o también "política basada en la evidencia" ha nacido en las ciencias de la salud (Navarro, Giribet y Aguinaga, 1999; Sackett, Richardson, Rosenberg y Haynes, 1997), donde se conoce como medicina basada en la evidencia, y se está extendiendo rápidamente a las ciencias sociales generando corrientes tales como "educación, psicología, trabajo social, criminología, economía, etc., basados en la evidencia" (Davies, 1999; Granero, Doménech, Bonillo y Ezpeleta, 2001, Septiembre; Hunsley y Johnston, 2000; Lindqvist y Skipworth, 2000; Stoiber y Kratochwill, 2001). Prueba del auge que está teniendo esta corriente es la reciente creación de revistas en el ámbito médico centradas en la medicina basada en la evidencia, tales como las que figuran en la Tabla 1.1

El enfoque de la política o práctica basada en la evidencia se sustenta sobre dos principios fundamentales. En primer lugar, en el convencimiento de que las mejores evidencias científicas sobre la eficacia de los programas, servicios, acciones, proceden de las revisiones sistemáticas de los estudios evaluativos. En segundo lugar, que se hace preciso articular canales de comunicación que permitan llevar tales evidencias de una forma rápida a los políticos, los gestores, los profesionales que atienden a los pacientes y receptores de los programas, así como al público en general.

Una revisión sistemática, o meta-análisis, es un proceso de investigación por el que se revisan de forma sistemática, objetiva y exhaustiva los estudios empíricos que se han realizado sobre un determinado problema (psicológico, social, médico, educativo, etc.). Dicho proceso se somete a las mismas normas de rigor científico que se exigen en la realización de investigaciones primarias (Cooper, 1998; Lipsey y Wilson, 2001; Sánchez-Meca, 1999; Sánchez-Meca y Ato, 1989). Para su aplicación, las revisiones sistemáticas requieren del desarrollo de una serie de etapas similares, aunque con ciertas diferencias, a las de cualquier investigación empírica: (1) Formulación del problema objeto de estudio; (2) definición de los criterios de inclusión de los estudios; (3) búsqueda y localización de los estudios; (4) selección de los estudios que cumplen con los criterios; (5) valoración de la calidad metodológica de los estudios seleccionados; (6) obtención de un índice homogéneo de los resultados de los estudios; (7) análisis estadístico e interpretación de los resultados de los estudios; y (8) publicación de la revisión sistemática.

La validez de las conclusiones de los estudios meta-analíticos sobre la eficacia de intervenciones sociales, psicológicas, educativas, etc., descansa en la calidad de los estudios primarios integrados (Mulrow y Cook, 1998). Es por ello que se hace preciso valorar tales conclusiones teniendo en cuenta el rigor científico de los estudios primarios en lo que respecta a la validez interna y externa que garantizan sus diseños (Shadish, Cook y Campbell, 2001). Cabe mencionar como los factores que contribuyen a un mayor rigor científico: la asignación aleatoria de los sujetos a los diferentes grupos de intervención, la existencia de un grupo de control activo (placebo de atención, tratamiento alternativo), el enmascaramiento de los sujetos e investigadores, allá donde sea posible, de la condición experimental aplicada, el uso de un tamaño muestral suficientemente grande, ausencia de mortalidad experimental (o mínima), una buena adherencia al tratamiento por parte de los sujetos que lo reciben y una administración homogénea de la intervención a todos los sujetos. Así pues, la mejores evidencias científicas que pueden utilizarse en la práctica clínica son las que proporcionan los meta-análisis basados en estudios con una buena calidad metodológica. En la medida en que los estudios meta-analizados pierdan calidad, la evidencia aportada por el meta-análisis también pierde calidad (Jovell y Navarro-Rubio, 1995).

En el contexto de las ciencias sociales, educativas y del comportamiento, y con el objetivo de alcanzar los principios de la práctica basada en la evidencia, se ha fundado recientemente la Colaboración Campbell, una organización internacional creada a imagen y semejanza de la Colaboración Cochrane, ésta última en el ámbito de la medicina y las ciencias de la salud. En este trabajo se exponen los objetivos, estructura y planes futuros de la Colaboración Campbell.

Fundada en febrero de 2000 en Filadelfia (Pennsylvania, USA), la Colaboración Campbell2 surge como una respuesta a las necesidades de implantar la práctica y la política basada en la evidencia en el ámbito de las ciencias sociales, educativas, criminológicas y del comportamiento (Petrosino, Boruch, Soydan, Duggan y Sánchez-Meca, 2001). Se creó a imagen y semejanza de su homóloga en las ciencias de la salud, la Colaboración Cochrane, fundada en 19933. La Colaboración Campbell es una organización internacional que aglutina a investigadores, profesionales y gestores de muy diversos ámbitos de las ciencias sociales (educación, servicios sociales, psicología, criminología, economía, etc.) interesados en ayudar a los políticos, gestores y profesionales a tomar decisiones bien informadas acerca de qué programas, servicios, acciones aplicar en un determinado contexto o situación.

La Colaboración Campbell se propone como objetivos fundamentales preparar (desarrollar), hacer accesible (diseminar) y mantener (actualizar) revisiones sistemáticas de las investigaciones sobre los efectos de las políticas y las prácticas sociales, psicológicas y educativas. Estos objetivos se fundamentan en el cumplimiento de nueve principios básicos: (1) Colaboración, promoviendo una buena comunicación tanto externa como interna, toma de decisiones abierta y trabajo en equipo. (2) Basar su desarrollo en el entusiasmo individual, involucrando y dando apoyo a personas con formaciones diferentes, con experiencias diversas y diferentes procedencias. (3) Evitar la duplicación innecesaria de revisiones sistemáticas, mediante una buena gestión y coordinación para llegar a la máxima economía de esfuerzos. (4) Minimizar los sesgos en los resultados, utilizando para ello estrategias tales como el rigor científico, una participación de profesionales lo más amplia y diversa posible y la identificación de posibles conflictos de intereses partidistas. (5) Actualización permanente de las revisiones Campbell asumiendo el compromiso de actualizarlas identificando e incorporando las nuevas evidencias. (6) Esforzarse por producir material relevante promoviendo la evaluación de las intervenciones a partir de resultados que sean claves para quienes deben tomar decisiones. (7) Promover el acceso a la Colaboración mediante una amplia diseminación de sus productos, aprovechando las alianzas estratégicas y asegurando una política de precios, un contenido y unos medios adecuados para cubrir las necesidades de los usuarios en todo el mundo. (8) Asegurar la calidad, invitando a la crítica constructiva, aplicando los últimos avances en metodología y desarrollando sistemas para la mejora de la calidad de las revisiones. (9) Continuidad, asegurando que la responsabilidad relacionada con los revisores, los procesos editoriales y otras funciones clave se mantienen y renuevan.

La estructura organizativa de la Colaboración Campbell está encabezada por un Equipo Directivo y la Secretaría Ejecutiva, formado por diez científicos de reconocido prestigio mundial en la ciencia de la evaluación y la revisión sistemática en los contextos social, psicológico, criminológico y educativo, al frente del cual se encuentra el prof. Robert Boruch de la Universidad de Pennsylvania (Filadelfia, PA, USA). En un segundo nivel organizativo se encuentran actualmente tres Grupos Coordinadores de Revisión: (a) El Grupo Coordinador en Educación, que se ocupa de organizar y promover las revisiones sistemáticas relacionadas con el ámbito educativo. (b) El Grupo Coordinador en Criminología, que promueve las revisiones en el campo de la delincuencia y la justicia4. (c) El Grupo Coordinador en Servicios Sociales, que se centra en la organización de revisiones sistemáticas en los ámbitos de los servicios sociales, el trabajo social y el bienestar social. Al mismo nivel que los tres Grupos Coordinadores de Revisión se sitúan otros dos Grupos que colaboran y ayudan a los otros tres: (d) El Grupo de Métodos, que tiene como objetivo asesorar a los Grupos de Revisión previos en cómo aplicar la mejor metodología del meta-análisis en las revisiones sistemáticas Campbell, así como promover la realización de estudios para la mejora de los métodos estadísticos aplicables en este tipo de revisiones. Es también tarea de este Grupo desarrollar protocolos rigurosos y sistemáticos que deberán seguir cuidadosamente todas las revisiones que se lleven a cabo en el seno de la Colaboración Campbell5. (e) El Grupo de Diseminación y Tecnología, tiene como objetivo hacer accesibles las revisiones sistemáticas a la comunidad científica, a los políticos, a los profesionales y al público en general. Para ello desarrollará sistemas de transmisión electrónica de la información, revistas impresas y bases electrónicas que contendrán todas las revisiones sistemáticas para su fácil acceso por el público interesado en basar sus decisiones y sus intervenciones en las mejores evidencias. Se trata de crear, en definitiva, un sistema de comunicación que conecte de forma rápida y continua a la Colaboración Campbell con los potenciales consumidores de los productos que ofertará dicha Colaboración que, fundamentalmente, serán revisiones sistemáticas de alta calidad sobre los efectos de las intervenciones sociales, psicológicas, educativas y criminológicas.

La realización de las revisiones sistemáticas se lleva a cabo por Grupos de Revisión formados por investigadores interesados en el tema y que pueden proceder de diferentes partes del mundo. El Grupo tendrá un Coordinador que actuará como enlace con el Grupo Coordinador correspondiente y el proceso de revisión seguirá un estricto control y seguimiento en la aplicación de un protocolo detallado para la realización de revisiones sistemáticas.

Para dar apoyo logístico y dotar de infraestructura a los Grupos de Revisión, se irán creando progresivamente Centros Campbell Regionales por todo el mundo. Actualmente, está prevista la próxima inauguración del Centro Campbell Nórdico, en Copenhague (Dinamarca) y recientemente se ha creado en la Universidad de Murcia una Unidad de Meta-análisis6 como germen para la creación de un futuro Centro Campbell Mediterráneo.

El objeto de la Colaboración Campbell es ofrecer productos útiles a los diferentes agentes sociales implicados en la práctica y la política social para que sus decisiones estén basadas en las mejores evidencias científicas. La Colaboración Campbell ofrecerá diferentes productos, todos ellos elaborados en soporte electrónico para facilitar su rapidez de acceso, y será actualizado cuatrimestralmente:

La Colaboración Campbell tiene dos años escasos de vida. Para alcanzar un pleno desarrollo y poder ofrecer sus productos a los consumidores potenciales es preciso avanzar en diferentes frentes. En primer lugar, se están desarrollando los diferentes productos que pretende ofertar la Colaboración, ya que actualmente sólo se han iniciado el archivo electrónico C2-SPECTR de estudios evaluativos y los protocolos y guías para la realización de revisiones sistemáticas. Las primeras revisiones sistemáticas de la Colaboración se propusieron en la reunión celebrada en Filadelfia en 2001. En segundo lugar, se van a organizar seminarios y cursos formativos para enseñar a los investigadores interesados en la realización de revisiones sistemáticas. En tercer lugar, se pretende lograr alianzas estratégicas con entidades públicas y privadas que aporten fondos para el desarrollo de las actividades y los productos de la Colaboración, en Estados Unidos y en otros países. En cuarto lugar, es un etapa en la que es fundamental difundir la Colaboración Campbell por todo el mundo para obtener adeptos que estén interesados en estar informados en los progresos de la Colaboración, así como participar activamente en la misma.

El pesimismo que durante décadas ha reinado entre los estudiosos de las ciencias sociales y los políticos acerca del valor de la evidencia empírica obtenida en los estudios evaluativos ha sido provocado, en gran parte, por las deficiencias metodológicas de que han adolecido las investigaciones sociales en general y la pobre acumulación del conocimiento científico en este campo. Pero después de décadas de olvido, muchos científicos sociales están ahora de acuerdo en que una solución razonable a estos problemas puede encontrarse no sólo mejorando cómo se hacen los estudios individuales, sino también cómo puede integrarse la evidencia de esos estudios. El uso de métodos sistemáticos para la acumulación de los resultados de múltiples estudios sobre la eficacia de un programa puede contribuir de una forma más exacta y objetiva que una sola investigación para la toma de decisiones en materia de política social.

Dado el valor potencial que ofrecen las revisiones sistemáticas en la arena política, tanto los productores como los consumidores de tales revisiones deben reflexionar acerca de qué distingue una buena de una mala revisión, y un buen estudio evaluativo de uno malo. En los países desarrollados existe cada vez mayor acuerdo en considerar que sin revisiones de alta calidad, los políticos y los profesionales pondrán en tela de juicio el valor de la investigación para ayudar en el desarrollo de políticas efectivas. Los retos a los que se enfrentan hoy día los científicos sociales, los políticos y otros agentes interesados son cómo definir revisiones de alta calidad, cómo formar a los revisores y cómo comunicar los resultados de las revisiones a quienes tienen que implementar políticas y prácticas profesionales. La Colaboración Campbell se nos presenta como una respuesta, todavía en germen, a estos retos y el tiempo se ocupará de valorarla en su justa medida.

Cooper, H. (1998). Synthesizing research: A guide for literature reviews (3ª ed.). Thousand Oaks, CA: Sage.

Davies, P. (1999). What is evidence-based education? British Journal of Educational Studies, 47, 108-121.

Fernández-Ballesteros, R. (Ed.) (1995). Evaluación de programas: Una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis.

Granero, R., Doménech, J.M., Bonillo, A. y Ezpeleta, L. (2001, Septiembre). Psicología basada en la evidencia: Un nuevo enfoque para mejorar la toma de decisiones. VII Congreso de Metodología de las Ciencias Sociales y de la Salud, Madrid.

Hunsley, J. y Johnston, C. (2000). The role of empirically supported treatments in evidence-based psychological practice: A Canadian perspective. Clinical Psychology: Science & Practice, 7, 269-272.

Jovell, A.J. y Navarro-Rubio, M.D. (1995). Evaluación de la evidencia científica. Medicina Clínica, 105, 740-743.

Lindqvist, P. y Skipworth, J. (2000). Evidence-based rehabilitation in forensic psychiatry. British Journal of Psychiatry, 176, 320-323.

Lipsey, M.W. y Wilson, D.B. (2001). Practical meta-analysis. Nueva York: Sage.

Mulrow, C. y Cook, D. (Eds.) (1998). Systematic reviews: Synthesis of best evidence for health care decisions. Filadelfia, PA: American College of Physicians.

Navarro, F., Giribet, C. y Aguinaga, E. (1999). Psiquiatría basada en la evidencia: Ventajas y limitaciones. Psiquiatría Biológica, 6, 77-85.

Petrosino, A., Boruch, R., Soydan, H., Duggan, L., y Sánchez-Meca, J. (2001). Meeting the challenges of Evidence-Based Policy: The Campbell Collaboration. Annals of the American Academy of Political & Social Science, 578, 14-34.

Sackett, D.L., Richardson, W.S., Rosenberg, W. y Haynes, R.B. (1997). Medicina basada en la evidencia: Cómo ejercer y enseñar la MBE. Churchill Livingston (orig. En inglés, 1997).

Sánchez-Meca, J. (1999). Meta-análisis para la investigación científica. En F.J. Sarabia (Coord.), Metodología para la investigación en marketing y dirección de empresa (pp. 173-201). Madrid: Pirámide.

Sánchez-Meca, J. y Ato, M. (1989). Meta-análisis: Una alternativa metodológica a las revisiones tradicionales de la investigación. En J. Arnau y H. Carpintero (Coords.), Tratado de psicología general. I: Historia, teoría y método (pp. 617-669). Madrid: Alhambra.

Shadish, W.R., Cook, T.D. y Campbell, D.T. (2001). Experimental and quasi-experimental designs for generalized causal inference. Boston, MA: Houghton Mifflin Co.

Stoiber, K.C. y Kratochwill, T.R. (2001). Evidence-based intervention programs: Rethinking, refining, and renaming the new standing Section of School Psychology Quarterly. School Psychology Quarterly, 16, 1-8.

Material adicional / Suplementary material

Tabla 1. Relacion de revistas sobre practica basada en la evidencia.