LA INVESTIGACIÓN DE RESULTADOS Y EL FUTURO DE LA PSICOTERAPIA: ALTERNATIVAS A LOS TRATAMIENTOS EMPÍRICAMENTE VALIDADOS

Alberto Rodríguez Morejón

Universidad de Málaga

La realidad de partida es que un mismo problema psicológico puede ser tratado, más o menos exitosamente, con diferentes alternativas de tratamiento, y que la elección de la alternativa va a depender más de la historia de aprendizaje del terapeuta que la aplica, que de lo que establecen los estudios científicos al respecto. El buen funcionamiento de nuestros Servicios de Salud Mental exige que se establezcan criterios de eficacia para seleccionar los tratamientos psicológicos que en ellos se practican. A nuestro país ha llegado en los últimos años la filosofía estadounidense de los Tratamientos Empíricamente Validados, con sus criterios y su metodología para determinar qué tratamientos podemos considerar exitosos. En este artículo se discute dicha filosofía y se proponen alternativas que entendemos más ajustadas al contexto de salud mental español.

The point of departure is the reality that the same psychological problem can be treated, more or less successfully, with different treatment alternatives, and that the choice of alternative will depend more on the learning history of the therapist who applies it, than on what is established by the scientific studies on the topic. The proper functioning of our Mental Health Services demands the establishment of efficacy criteria for the selection of the psychological treatments practiced within these Services. In recent years, our country has witnessed the arrival of the North American philosophy of Empirically Validated Treatments, with its criteria and its methodology for the determination of which treatments can be considered successful. This article discusses the aforementioned philosophy, and proposes alternatives that we consider to be better suited to the Spanish mental health context.

En la última década en Estados Unidos los servicios de salud mental, tanto públicos como privados, han estado solicitando criterios para seleccionar tratamientos psicológicos eficaces. Este anhelo coincide con una corriente general de la investigación en psicoterapia, los grandes estudios de los 80 habían dejado bien establecido que la psicoterapia es más eficaz que la no psicoterapia o los tratamientos placebo (APA, 1982; Lambert, Shapiro y Bergin, 1986; Smith, Glass y Miller, 1980), así que parecía haber llegado el momento de dar un paso más y plantearse preguntas más específicas. El reto se propone, y es importante saberlo desde el principio, desde la psiquiatría biológica y en un contexto en el que priman claramente los intereses políticos y económicos de los servicios de salud norteamericanos (Lampropoulos, 2000). Las nuevas preguntas que los investigadores se hacen sobre la psicoterapia son: qué tratamientos, llevados a cabo por quién, son más efectivos para un individuo concreto, con un problema específico que está en unas determinadas circunstancias.

Como casi todos los profesionales saben ya, una división de la American Psychological Association (APA) es encargada de establecer los criterios para determinar qué tratamientos serán considerados eficaces en el futuro. Resumidamente, se considerará que una intervención ha demostrado su eficacia cuando: a) el tratamiento ofrece mejores resultados que un placebo u otro tratamiento, o bien, b) el tratamiento demuestra una eficacia similar a otro ya probado. Estos son lo criterios básicos, aunque en realidad el planteamiento es mucho más complejo porque se diferencia entre los tratamientos "bien establecidos" y "los probablemente eficaces" (véase Chambless y Ollendick, 2001, para una más extensa descripción de criterios y metodología). Para alcanzar los criterios mencionados se propone también usar una metodología concreta (Nathan y Gorman, 1998): diseños con un grupo control y asignación de clientes al azar, grupos de al menos 30 personas, los tratamientos deben estar manualizados (descritos operacionalmente) y ser aplicados en una población específica y con un problema concreto (haciendo referencia a las clasificaciones DSM).

Nacen así los tratamientos empíricamente validados, y con ellos una etiqueta, un nombre que, como todos, empieza a construir una realidad. Tratamiento empíricamente validado (en adelante TEV) se convierte en sinónimo de "ciencia" y pasa a ser una aspiración para cualquier modelo de psicoterapia. A nadie se le escapan las enormes repercusiones de este proyecto para profesionales de la psicología, servicios de salud mental o centros de formación en psicoterapia. En Estados Unidos, más que en cualquier otro sitio, empieza también una carrera, todos quieren conseguir el anhelado aval, la APA se ha comprometido a crear y difundir las listas de los tratamientos que cumplan criterios entre programas de doctorado y formación en psicología clínica, y usarlas como guía para avalar futuros programas de especialización. ¿Quién puede dudar que las listas tengan también efectos sobre la práctica clínica y los servicios de salud mental?

A España llega también la nueva filosofía (Labrador, Echeburúa y Becoña, 2000) y comienzan a publicarse los primeros libros con "la psicología clínica que por fin es ciencia". La carrera parece lanzada y ya no hay quien la pare. Sin embargo, nuestra opinión, y la razón por la que escribimos este artículo, es que nos hemos apresurado a asumir lo que nos viene dado desde fuera, sin ninguna reflexión. Más aún cuando son muchos los críticos que desde el mismo país que propone criterios llaman a la calma y el análisis (ver Elliot, 1998; Henry, 1998; Rosen y Davidson, 2003, para una primera discusión), e incluso los más acérrimos partidarios de la nueva filosofía piden tranquilidad, un proceso de deliberación y, en todo caso, un tiempo razonable para la aplicación de los criterios que se acuerden (Lampropoulos, 2000). Pues bien, mucho nos tememos que en nuestro país no ha habido ningún tipo de debate, aquí ya comienzan a aparecer listas, incluso en esta misma revista órgano de difusión del colegio oficial de psicólogos, sin explicar nada de la filosofía de la que provienen, ni los criterios desde los que deciden (ver Labrador y cols., 2003). El objetivo de este artículo es llamar a la reflexión necesaria sobre esta cuestión y plantear algunos de los argumentos que deberán considerarse a la hora de tomar decisiones al respecto.

Para ello, después de defender la necesidad de realizar estudios de eficacia, presentaremos un modelo desde el que entender lo que ha de ser la investigación en psicoterapia. A continuación, y a la luz del modelo presentado, revisaremos los puntos flojos de la propuesta de los TEV y los riesgos que conlleva. Por último ofreceremos alternativas que a nuestro juicio podrían servir para una mejor investigación de la eficacia de los tratamientos.

La necesidad de demostrar la eficacia de los tratamientos

A pesar de todas las dudas y sombras que comentaremos, no cabe duda de que estamos viviendo un momento clave para la psicología clínica, una época en la que predominan las voces de los que piden que el campo se clarifique y se establezcan criterios empíricos que permitan determinar qué tratamientos son eficaces y, dando un paso más, qué tratamientos son eficaces a un menor costo (económico, personal, social). Cada vez quedan más en el pasado las voces de los que, considerando la psicoterapia un arte más que una ciencia, se negaban a someter a sus modelos de intervención al rasero de la demostración empírica. Ha llegado el momento de decidir sobre criterios, de imponer la ética a la estética y elegir aquellos tratamientos que demuestren ser más eficaces, en el menor tiempo y con el menor coste posible, para resolver los problemas de nuestros clientes.

Este empeño por validar los tratamientos psicoterapéuticos es un empeño de todos (o casi todos), es difícil argumentar en contra ¿quién no quiere confirmar la utilidad de su trabajo? En este artículo en ningún momento, quede bien claro desde el principio, se va cuestionar la necesidad de demostrar la eficacia de los tratamientos, insistimos en que este es un objetivo común. No discutimos el qué, si no el cómo hacerlo, el para qué y el por quién. Queremos, concretamente, avisar sobre los riesgos de la manera en la que parece querer realizarse en nuestro país este propósito, a juzgar por algunas publicaciones de los últimos años. Y, por supuesto, queremos proponer también argumentos para alcanzar el mismo objetivo de manera diferente. Argumentos para una discusión que ha de tener lugar en nuestro país, tal vez debiéramos decir ya en Europa, porque no pensamos que se nos deba dar ya el proceso por decidido y terminado.

La psicoterapia como objeto de investigación

La naturaleza última de la psicoterapia radica en que un terapeuta, entrenado para trabajar desde un modelo, entra en relación con un cliente (o clientes), con el objetivo de conseguir un cambio en las vidas de estos. Este proceso sucede en el contexto de un sistema de salud mental de un país con los condicionantes sociales, económicos y políticos que ello conlleva. A todos los anteriores elementos deberíamos añadirle un elemento más: la metodología de investigación. Investigar implica una filosofía que está profundamente influida por todas las variables que hemos descrito. Las metodologías a usar están condicionadas ante todo por la visión de "la ciencia" que impera en una determinada cultura, pero también por la visión que cada modelo concreto tiene sobre los protagonistas del proceso (terapeutas, clientes, cambio), y por el contexto socio-político-económico al que antes hacíamos referencia. A continuación analizaremos más despacio cada uno de los elementos descritos.

Un terapeuta es una persona que, además de un bagaje idiosincrásico producto de su formación y sus experiencias, es experto en manejar un modelo. La maestría en un enfoque se alcanza a través del entrenamiento en las técnicas, de la reflexión profunda sobre los presupuestos teóricos, y la supervisión por un terapeuta experimentado de los procesos de toma de decisión del terapeuta en formación al menos durante un periodo al inicio de su carrera.

Un modelo de psicoterapia implica un conjunto de presupuestos teóricos sobre: la realidad, las personas (en general y en particular sobre aquellas que acuden a terapia), los problemas (cómo se forman y cómo se resuelven), en qué consiste la terapia (qué hace el terapeuta y cuáles son los mecanismos de cambio de las técnicas que usa). Además de los presupuestos teóricos hay, por supuesto, unas prácticas a las que solemos llamar técnicas terapéuticas. Y, por último, estarían los procedimientos, que vuelven a ser un conocimiento básicamente teórico que nos permite tomar decisiones sobre qué técnicas usamos, en qué momentos y en función de qué aspectos observados en las personas con las que trabajamos o en la interacción que estamos llevando a cabo. Dicho de otro modo, el procedimiento lo componen los criterios para tomar decisiones, la parte más complicada de especificar de cualquier modelo de psicoterapia. El objetivo de los presupuestos teóricos, técnicas y procedimientos es ayudar al terapeuta a resolver los problemas de sus clientes.

La visión del papel de los clientes depende mucho de enfoques terapéuticos, para algunos son una más entre las variable inespecíficas (Lohr, DeMaio, McGlynn, 2003), para otros son el centro, los verdaderos protagonistas del proceso (Duncan y Miller, 2000).

Lo que antes denominábamos cambio, el objetivo final de los tratamientos, es entendido de manera muy diversa por los distintos enfoques, puede implicar: desaparición de los síntomas, "curación de la patología", crecimiento personal, corrección de las desviaciones o simplemente la consecución de los objetivos negociados entre cliente y terapeuta. Tenemos entonces que las ideas sobre cuáles son los mecanismos que favorecen el cambio variarán de un modelo a otro, cada enfoque tiene sus propias hipótesis sobre qué cambia con la psicoterapia y cómo se produce tal cambio (O’Donohue y Yater, 2003).

El contexto en el que se realiza la psicoterapia varía según territorios geográficos. Hay países, como el nuestro, en los que se supone que la psicoterapia es gratuita y financiada por el estado, pero en los que al final un gran porcentaje de los casos acaba siendo tratado en contextos privados, de manera que muchos usuarios pueden acceder a un tratamiento únicamente si ellos mismo se lo financian. En otros países la salud mental está en manos de aseguradoras privadas y en otros sencillamente no existe. El que se produzca en contextos públicos o privados, sea gratuita o conlleve un costo para el usuario, mal que nos pese, termina por influir en el propio proceso.

La metodología de investigación que usan los investigadores está influida también por el objeto de estudio, es decir, por el enfoque terapéutico que se asume y todo lo que este conlleva (visión de los clientes, del problema, de los mecanismos de cambio, etc). Por ejemplo, los modelos que se basan en diagnósticos usarán pruebas que les permitan diagnosticar y evaluar aspectos de una patología concreta (depresión, ansiedad o aspectos de personalidad). Los investigadores de esos modelos podrán definir "cambio terapéutico" como desaparición de síntomas y/o cambios en puntuaciones de tests. Otros modelos, que no usan clasificaciones diagnósticas y el tratamiento se dirige a facilitar que los clientes alcancen los objetivos negociados, evalúan preferentemente cumplimiento de objetivos a través de informes de los clientes.

La conclusión es que no tenemos una psicoterapia sino muchas psicoterapias, todas ellas probablemente útiles a su manera, pero seguramente con diferentes grados de eficacia. Convendrá, sin lugar a dudas, estudiar los diferentes grados de utilidad porque de ello se derivan importantes decisiones económicas. Así que podemos preguntarnos: ¿de qué depende el grado de eficacia de un tratamiento concreto? Pues de la interacción de todos los elementos que hemos descrito: de la validez del enfoque para adecuarse a las diferencias entre clientes (lo que va a depender de sus presupuestos teóricos, técnicas y procedimientos), de la habilidad del terapeuta para ajustarse (el mismo y su técnica) a las necesidades de los distintos clientes, del contexto socio-económico-político en el que se realice el trabajo. Sin olvidar que, los resultados obtenidos en cualquier investigación, van a estar necesariamente determinados por las decisiones metodológicas tomadas de antemano: ¿qué entendemos por cambio?, ¿Cómo se evalúa este?, etc.

Si el proceso es de por sí complejo y las diferencias entre las psicoterapias son grandes, los criterios para investigar resultados no pueden ser unitarios y restringidos. Veamos ahora cuáles son las decisiones que subyacen a los TEV y por qué, en nuestra opinión, no respetan la riqueza y diversidad del objeto de estudio que acabamos de describir.

Las limitaciones impuestas por la filosofía TEV

Decíamos al principio que la iniciativa de los TEV nace en un contexto muy concreto: los modelos de terapia biológica retan a los modelos de psicoterapia a demostrar su eficacia (Lampropoulos, 2000). Hasta ese punto completamente de acuerdo, repetimos que es justo y necesario que así sea. Las condiciones del desafío son las cuestionables: ¿hay que llevar a cabo las demostraciones asumiendo todos los presupuestos teóricos de los tratamientos biológicos? Esto supondría asumir su visión sobre a) los problemas psicológicos y sobre su tratamiento, b) la técnica como aspecto central para entender el cambio y c) la metodología a usar para investigar el proceso; y, además, d) aceptar que el contexto norteamericano en el que surgen los TEV es directamente transferible a nuestro país. Revisemos ahora cada uno de estos aspectos por separado.

La visión de los TEV sobre los problemas psicológicos

Los TEV asumen una filosofía centrada en el trastorno, en la patología, en los síntomas más que en las personas que los sufren (Henry, 1998). Esto conlleva, además, el uso de sistemas de clasificación. Por una parte se categorizan los síntomas usando el DSM para llegar a diagnósticos, además se sugiere profundizar en la clasificación de las personas para tratar de localizar otras variables que puedan servir para determinar la adecuación de las personas a tratamientos (los latinos de edad avanzada con personalidades límites y diagnóstico de depresión se benefician más del tratamiento X). Es lo que se conoce como investigación ATI (aptitude-treatment interaction) y la idea, como decimos, consiste en buscar qué características de los clientes les convertirían en "buenos candidatos" para un tratamiento concreto (Stiles, Honos-Webb y Knobloch, 1999). La clasificación conlleva necesariamente sistemas de evaluación "objetivos". Entrecomillamos "objetivos" porque cualquier sistema de evaluación se construye sesgado por la visión de mundo del modelo desde el que diseña. Con lo cuál, los sistemas de evaluación usados para clasificar (y en definitiva para investigar) están enfocados para describir síntomas, establecer trastornos y evaluar desviaciones.

Esta visión sobre los problemas, su evaluación y clasificación no es, evidentemente, compartida por todos los modelos de psicoterapia. Hay modelos que no clasifican, trabajan ajustados a las personas y no a sus síntomas, se preocupan porque sus clientes alcancen sus objetivos de vida y no de corregir las desviaciones que éstos experimentan sobre la supuesta normalidad. Tenemos entonces que, ya de entrada, aceptar la filosofía de los TEV supondría traicionar algunos aspectos considerados esenciales para algunos modelos de tratamiento. De ahí el rechazo tan radical que algunos sienten ante los TEV, ¡no se trata solo de aceptar un paradigma de investigación, implica asumir toda una visión de la psicoterapia! Si no: ¿Cómo se puede demostrar que un tratamiento específico funciona para una patología específica sin establecer clasificaciones?

La técnica como objeto de estudio

La nueva "psicoterapia basada en la evidencia" hace de la técnica el objeto fundamental de análisis, las variables terapeuta y cliente quedan en un segundo plano. Es cierto, como decíamos antes, que se sugiere investigar características de los clientes que les harían mejores candidatos para un determinado tratamiento; pero las características que parecen interesar tienen de nuevo que ver con aspectos más estáticos (como la personalidad) y no con aspectos más interaccionales (como los estilos relacionales, de afrontamiento de problema, o colaboración con el terapeuta) que, a nuestro juicio, proporcionan informaciones más útiles para ayudar al terapeuta a tomar decisiones en la práctica clínica.

En nuestra opinión, y atendiendo al modelo para entender la psicoterapia que antes proponíamos, esta compartimentalización no hace justicia a la propia naturaleza de la tarea. Al menos desde el punto de vista de estudiosos del fenómeno, nos convendrá reconocer que la eficacia de una técnica concreta está en función de la habilidad del terapeuta para ponerla en práctica, y no sólo de características inherentes a la propia técnica. Establecer en qué consiste lo que llamamos habilidad del terapeuta es más complicado, pero probablemente tiene que ver precisamente con todo lo que este hace para convertir al cliente en el protagonista del proceso. La capacidad del terapeuta para establecer relación terapéutica y para ajustar los tratamientos a las características positivas de sus clientes (en función de sus recursos y no tanto de otras posibles clasificaciones psicológicas).

Esta idea parece confirmada por la potente línea de investigación que conocemos como de "factores comunes" y que tiene su origen en los estudios metaanalíticos de Lambert (1992). Según este autor, son efectivamente las variables relacionadas con el cliente las que explican hasta un 40% de la mejoría experimentada en psicoterapia (Lambert y Anderson, 1996; Lambert y Asay, 1984). La relación terapéutica y las variables más contextuales explicarían otro 30% de la varianza de los resultados; otro 15% de la varianza del cambio tiene que ver con las expectativas que se generan en torno al tratamiento y, el 15% restante sí se atribuiría directamente a la técnica utilizada (ver Hubble, Duncan y Miller, 1999, para una extensa discusión sobre el tema). La conclusión a extraer de los datos parece obvia: la técnica, al menos como variable aislada, no parece ser el elemento esencial del proceso terapéutico. El héroe de este proceso, como dicen Duncan y Miller (2000), es el cliente; mientras que los aspectos que parecen depender más de los terapeutas son: su habilidad para establecer una buena relación terapéutica, su capacidad para generar expectativas de cambio y, también, su acierto al elegir una buena técnica e implementarla de forma competente.

Nuestra idea es, además, que todos estos aspectos tienen efectos sumativos (interaccionales). Es probable que haya terapeutas muy hábiles manejando relación terapéutica y generando expectativas de cambio que, a pesar de carecer de una buena técnica de tratamiento son altamente eficaces. Y, al contrario, es posible que terapeutas con un alto grado de maestría aplicando una técnica no consigan buenos resultados por que no consiguen establecer una buena relación terapéutica y, en consecuencia, no ayudan a que los clientes pongan en marcha sus recursos. Esto nos lleva a poner muy en duda la iniciativa de los TEV. De acuerdo con lo que venimos relatando, la técnica, como elemento aislado, tal y como es considerada en la propuesta que analizamos, puede ser uno de los elementos menos representativos del fenómeno que se quiere estudiar. Lo que se pretende desde el planteamiento de los TEV, haciendo un paralelismo con la investigación química o biológica, sería algo así como concentrar toda la investigación en las propiedades del hidrógeno para tratar de establecer la auténtica naturaleza del agua.

La metodología

Desde un punto de vista metodológico la APA propone tanto criterios de éxito como diseños experimentales. Veamos ambos aspectos por separado. Al inicio de nuestra exposición resumíamos lo esencial de los criterios para entrar en la lista de los TEV. Hay que reconocer que los umbrales que se establecen no son demasiado difíciles de alcanzar para cualquier tratamiento, por ello nuestra discusión se centra más en el cómo (la metodología), en el para qué (los riesgos de la propuesta), en el por quién (quién controla el proceso) y en toda la filosofía que conllevan, Larner (2004) expresa lo que queremos decir con precisión:

"Hay una controversia en marcha sobre la política económica de las evidencias; controversia que afecta al cómo se definen y al quién debe definirlas. La cuestión no es evidencias sí o no, sino quién controla su definición y qué clase de evidencias son aceptables para quién.

Las políticas sobre la cuestión hacen referencia a si las evidencias clínicamente relevantes y las más cualitativas basadas en la práctica son permitidas. La elección no es entre ciencia y no ciencia, sino entre un positivismo estrecho que únicamente valida los diseños con asignación de sujetos al azar y la base de evidencias que son aplicables al mundo real de la psicoterapia" (p. 20-21).

Los criterios de la APA

Los criterios de la APA vienen acompañados de toda una parafernalia lingüística: se habla de la "psicoterapia basada en la evidencia" o de "Tratamientos Empíricamente Validados" (etiqueta con un valor tal para representar la realidad que se puede permitir el lujo de convertirse ya en simples siglas: TEV). Estamos ante otro ejemplo de uso deliberado del lenguaje al que ya nos tienen acostumbrados los representantes de algunos modelos que pretenden tener "un contrato en exclusiva" de lo científico para el modelo que ellos practican, olvidando que científico es cualquier modelo que use el método científico. Ahora, parecen imponernos que "empíricamente validados" sólo son aquellos modelos que cumplen los criterios establecidos por la APA. Devolvamos a las palabras su significado original. Empírico quiere decir, según el diccionario de la Real Academia Española, "relativo a la experiencia o fundado en ella". Por eso proponemos establecer una diferencia clara desde el principio: una cosa son las listas y los criterios APA y otras las evidencias empíricas. Las listas de tratamientos que cumplen criterios APA son muy recientes y escasas; las evidencias empíricas («fundadas en la experiencia») sobre la eficacia de algunas psicoterapias son abundantes y vienen de mucho más lejos (Henry, 1998). Dicho de otro modo, la psicoterapia (como la psicología) siempre ha tratado de basarse en la evidencia, aunque ahora parezcan hacernos creer lo contrario.

Muchos son los tratamientos que tienen un gran apoyo empírico (cumplan o no los criterios de la APA). Por dar un ejemplo, el lector podrá encontrar recopilaciones de estudios recientes de resultados de la terapia familiar y los modelos sistémicos en: Carr, 2000a, 200b; Friedlander, 2001; Shadish y cols., 1993, 1995 Sprenkle, 2003a, 2003b.

Los diseños y su aplicabilidad

Un segundo aspecto a considerar en relación con la metodología son los diseños sugeridos para verificar los TEV y la aplicabilidad de los resultados obtenidos a través de ellos (Goodman, 2003). Empezaremos considerando la adecuación entre diseños y tratamientos, después haremos referencia a la metodología por excelencia con asignación al azar de clientes a grupos terapéuticos y, por último, hablaremos de la exigencia de manualizar las intervenciones.

Ya hemos dicho que los diferentes modelos deben usar arreglos experimentales acordes con los presupuestos teóricos de los que parten. Eso hace que haya cuestiones difíciles de resolver en la práctica:

- ¿Qué se entiende por éxito terapéutico?: ¿desaparición de síntomas?, ¿consecución de objetivos?

- ¿En qué aspectos se reflejan los cambios?: en ¿emociones?, ¿pensamientos?, conductas?

- ¿Cómo medir los cambios?: ¿informes del paciente?, ¿pruebas estandarizadas?

Pongamos como ejemplo un estudio cualquiera en que se trate de comparar un tratamiento cognitivo para la depresión con uno humanista. Si se usa una prueba estandarizada basada en creencias ello beneficiará al tratamiento cognitivo, en cambio un informe verbal directo del cliente en el que se le permitan expresar cambios en pensamientos, emociones y formas de actuar, tendría más posibilidades de beneficiar a la intervención humanista. ¿Cuál escogemos? El test estandarizado es supuestamente más objetivo, el informe verbal recoge mejor la riqueza de la experiencia del cliente. El movimiento TEV apuesta sin embargo por las pruebas "más objetivas" y ello rompe la imparcialidad y beneficia a algunos modelos perjudicando a otros.

El diseño ideal para validar un tratamiento según la APA consistiría en comparar dos grupos: un grupo al que se aplicaría el tratamiento a validar; y otro, que actuaría como grupo control, que recibiría una intervención ya validada (un tratamiento que ya haya demostrado su eficacia previamente) o un placebo. La asignación de clientes a grupos se realiza al azar y doble-ciego. Desde un punto de vista experimental el diseño es impecable, las dudas comienzan cuando se trata de establecer la validez de los resultados para su generalización en la práctica clínica. Muchos son los que señalan que este tipo de investigaciones están demasiado alejadas de la práctica clínica cotidiana, y que continúa siendo una duda sin resolver en qué medida los resultados obtenidos en ellos pueden ser transferibles a ésta (Kazdin, 2003). En la misma línea de razonamiento Essock, Drake, Frank y McGuire (2003) plantean así la cuestión: en su opinión, el que un tratamiento demuestre ser superior a otro, a través de un diseño como el que describíamos arriba, no implica necesariamente que luego en la práctica real vaya a ser de ayuda para las personas a las que se aplica. Según ellos, con este diseño se demuestra que un tratamiento es mejor que otro, no que sea útil. Otra limitación de estos diseños es que no ofrecen ninguna información sobre los mecanismos de cambio que subyacen a las intervenciones, sobre por qué y cómo funciona la terapia (Kazdin, 2003). Por todo ello, desde varios contextos se reclama el uso de diseños más flexibles y realistas para establecer el éxito de los tratamientos (Harrington,, Cartwright-Hatton y Stein, 2002; Larner, 2004; Schneider, 2003).

La "manualización" es una de las condiciones más debatidas entre las que establece la APA para validar tratamientos. Hay algunos aspectos que sí son "manualizables", las prácticas, lo que en el modelo que exponíamos anteriormente, llamábamos técnicas. Es más difícil, aunque pudiera ser factible, hacer operativos los procedimientos: los criterios que usamos para tomar decisiones. Mucho más complicado es establecer al detalle las repercusiones prácticas de todas y cada una de las asunciones teóricas de un modelo. Entendemos la utilidad y hasta la conveniencia de "manualizar", se trata de tener tratamientos repetibles y enseñables; y hasta estamos de acuerdo en que desde todos los modelos debería aspirarse a un cierto grado de esta práctica (Pote, Stratton, Cottrell, Shapiro y Boston, 2003). Pero los manuales tienen tres debilidades que conviene señalar: ¿es posible reflejar en un manual los aspectos esenciales de lo que significa hacer psicoterapia?; ¿quién determina el resultado: el manual o el terapeuta?; y, por último, ¿seguir el manual afecta al éxito final del tratamiento?

La primera cuestión es a nuestro entender la más trascendente. ¿Consigue un manual "fotografiar" los aspectos más relevantes del proceso psicoterapéutico? Decimos que hacer terapia supone tomar decisiones en vivo y en directo, pero ¿qué informaciones nos ayudan a tomar esas decisiones? De nuevo Larner (2004) nos ofrece una interesante diferenciación que puede arrojar luz sobre este punto: entiende que hay tratamientos más "impulsados por el modelo" y tratamientos "más dirigidos al cliente". En los primeros todos los clientes deben seguir un proceso bastante estandarizado para conseguir un cambio (una desensibilización sistemática, por ejemplo); mientras que en los segundos las decisiones que el terapeuta va tomado se basan en aspectos más relacionales: qué decir, a quién, cómo y en qué momento (la terapia narrativa, por ejemplo). Evidentemente, el primer tipo de tratamientos, con mayor dependencia del modelo son más fácilmente "manualizables". Mayor complicación encontraremos para hacer lo propio en los "dirigidos a los clientes", no se puede escribir una guía precisa sobre cómo establecer relación terapéutica o cómo reaccionar ante las mil y una reacciones que ellos puedan tener, se pueden establecer principios de actuación, pero guías meticulosas… probablemente no. De la misma manera que en una academia de conducir enseñan a manejar los diferentes aspectos implicados en la conducción (normas de tráfico, cambiar marchas, girar, frenar), pero no explican lo que hay que hacer si al adelantar un camión te encuentras otro de frente: ¿acelerar? o ¿frenar?; dependerá del contexto, y este no puede describirse porque las posibilidades son infinitas. Podemos concluir, entonces, que la "manualización", por ser más fácil en unos modelos que en otros, crea sesgos en la investigación de resultados. ¿Cómo se pueden validar los tratamientos que tienen dificultades para ser "manualizados"?

La segunda duda sobre los manuales podría enunciarse así: la conducta final exhibida por el terapeuta, ¿a qué responde más?, ¿a las cualidades de éste o a los dictámenes del manual? Algunos estudios parecen demostrar que el efecto de la variable terapeuta, su entrenamiento o sus características personales no se puede despreciar, y que la persona que lo aplica determina el resultado más que el tratamiento en sí mismo (Siqueland, Crits-Christoph, Barber, Butler y cols., 2000). Incluso podría ser una variable que influya poderosamente en los resultados de los diseños comparativos entre tratamientos: un tratamiento A demuestra ser más eficaz que otro B, y atribuimos dicha diferencia a la técnica, cuando bien podría deberse simplemente a que el terapeuta A sea mucho más hábil que el B a la hora de aplicarla (Crits-Christoph y Mintz, 1991).

Hay un tercer inconveniente que se les achaca a los manuales, se dice, usando los mismos argumentos que hemos venido exponiendo, que pueden perjudicar al terapeuta y, por ende, al resultado terapéutico. Algunos estudios parecerían indicar que los terapeutas impulsados a seguir un manual, en su intento por ser fieles a la técnica, podrían perder contacto con los clientes lo que podría disminuir el efecto de la intervención aplicada (Henry, Schacht, Strupp, Butler y Biender, 1993). Es efectivamente una posibilidad, pero, como señala Lampropoulos (2000), la crítica es fácilmente superable si se entrena adecuadamente a los terapeutas hasta conseguir buenas dosis de confianza con la técnica.

Criterios USA para contextos europeos

Las listas y todo el fenómeno de los "Tratamientos Empíricamente Validados" nace en USA y respondiendo además a las necesidades y querencias de su sistema de salud (Henry, 1998; Sanderson, 2003). La duda que aquí nos planteamos tiene que ver con las diferencias entre USA y Europa (o al menos la parte de Europa en la que nos encontramos que aspira a exportar su modelo sanitario al resto de países de la nueva Europa en construcción). ¿Por qué tienen que ser aplicables directamente a la psicoterapia española (digamos mejor ya la europea) los criterios diseñados para la realidad norteamericana? Estamos hablando de dos modelos de política social y sanitaria claramente diferentes; de hecho, a los españoles nos gusta presumir de esas diferencias, de la gratuidad y del alcance de nuestro sistema sanitario. El modelo USA es mucho más comercial. El campo está controlado por aseguradoras muy preocupadas por la rentabilidad económica, lo que no siempre es compatible con satisfacer las necesidades de los clientes, o con dar un buen trato a los terapeutas que contratan (piénsese en las condiciones que dan a los psicoterapeutas en nuestro país las aseguradoras privadas).

Hemos pasado de una Europa de lo económico a una Europa para lo político y lo social, estamos construyendo una nueva Europa del conocimiento y muy pronto un contexto sanitario europeo (en estos días se anuncia la futura tarjeta sanitaria europea). Nuestros sistemas sanitarios deberán regirse, sin ninguna duda, por criterios de eficacia, pero estos no tienen porque ser los mismos que los que aplican los norteamericanos. Es nuestro trabajo decidir cuáles queremos que sean, acordémoslos entonces siendo coherentes con nuestra realidad actual y con nuestros deseos de mejora para el futuro.

Los riesgos para el futuro

Los riesgos de equivocarse son graves. No queremos ser agoreros pero nos preocupan las desviaciones que pudiéramos introducir ahora y que el tiempo se encargaría de ampliar. ¿Qué pasaría si, beneficiados por los actuales criterios, un grupo de tratamientos se hiciera inmerecidamente con el control de la psicoterapia? Esto tendría efectos perniciosos en las personas y contextos relacionados con la clínica. En los sistemas de salud mental las instituciones obligarían a utilizar esa gama de tratamientos y los profesionales tendrían que asumir que, si quieren trabajar, sólo podrían emplear estos. En los ámbitos formativos, las especialidades en psicología clínica que quisieran tener aceptación deberían estar relacionadas con modelos "empíricamente validados", los estudiantes elegirían ese tipo de formaciones y los profesores que asuman los modelos favorecidos verían beneficiada su carrera. Por último, aunque no menos preocupante, el estado y las instituciones financiadoras de investigación tenderían a favorecer económicamente a los TEV con lo cuál el sesgo no haría más que mantenerse y ampliarse. Si a alguien le parece un poco dramático el escenario que dibujamos en Norcross, Hedges y Prochaska (2002) puede encontrar las "premoniciones" que tan relevantes autores hacen sobre el futuro de los modelos de psicoterapia a la vista del panorama actual: las psicoterapia más conceptuales como el psicoanálisis, la terapia humanista, las existencial, la centrada en soluciones, la gestáltica o la Jungiana disminuyen su influencia; los que la aumentan (¿lo adivinaron ya?) los modelos cognitivo-conductuales e integraciones en torno a ellos.

Las restricciones en la investigación serían sin duda preocupantes, porque limitan el futuro de todos. En un momento en que la investigación cualitativa afronta nuevos retos tratando de establecer cuáles son los mecanismos de cambio, los factores comunes que subyacen a los modelos de psicoterapia (Hubble, Duncan y Miller, 1999), en una época en que la integración entre modelos parece poner a nuestro alcance terapias cada vez más flexibles y eficaces (Alford y Beck, 1997), cambiar flexibilidad por restricción y uniformidad no parece lo más adecuado. Más aún cuando, de acuerdo con los estudios que citábamos al principio de este artículo, seguimos sin ser capaces de ayudar a entre el 25 y el 30% de las personas que acuden a nuestras consultas (Lambert, Shapiro y Bergin, 1986).

Otra interacción que nos preocupa hace referencia a la actualidad más candente de la psicología clínica española: la "ley de punto final" de la homologación de los "especialistas en psicología clínica" que estamos sufriendo. En el proceso de convalidación se da prioridad a criterios de antigüedad (tiempo con licencia fiscal o alta en colegio de psicólogos), sobre criterios de formación (especialidades en clínica realizadas, títulos avalados por asociaciones profesionales que desde tiempo antes filtraban a los psicoterapeutas). No dudamos que en la calle hay muy buenos profesionales que, a pesar de no haber tenido una formación de postgrado en psicoterapia, han conseguido instruirse gracias a su esfuerzo constante de perfeccionamiento y el contacto directo con la práctica. Pero, coincidirán con nosotros, que la práctica sin una formación coherente no garantiza nada (con el agravante de que el tener una licencia fiscal o haber pagado una colegiación ni siquiera garantiza que haya habido práctica). Pues bien, si una de las perversas consecuencias de la aplicación radical de los TEV es la validación exclusiva de la técnicas, si a ello se añade que tampoco podemos garantizar la formación de todos nuestros terapeutas, ¿qué futuro le espera a la psicoterapia española? Tendremos en la calle al menos a un grupo (nos tememos que importante) de psicoterapeutas con poco entrenamiento, empeñados en aplicar al pie de la letra tratamientos guiados por un manual.

Un comentario más sobre las listas de Tratamientos Empíricamente Validados, las listas que la APA se compromete a difundir para guiar la futura elección de intervenciones. En esta misma publicación, Labrador y cols. (2003) adelantaban ya algunos tratamientos con supuesto aval empírico, listas que por cierto no coinciden con las que Chambless y Ollendick –dos abanderados clave del movimiento TEV- ofrecen en su artículo del 2001; en las listas españolas sólo los tratamientos conductuales y cognitivo-conductuales parecen haber superado el umbral. ¿Qué esta ocurriendo?, ¿cómo se pueden sacar a la luz pública listas sesgadas sin explicar los criterios y la filosofía con que se confeccionaron? El debate está abierto en nuestro país. Si hay que confeccionar listas de tratamientos con apoyo empírico, particular sobre el que no todo el mundo está de acuerdo (hay quién propone listar únicamente los tratamientos no empíricamente validados (Henry, 1998)), deberemos responder previamente a una serie de preguntas clave: ¿Quién establece las listas?, ¿con qué criterios?, ¿quién se ocupa de controlar su aplicación?, ¿quién vigila su actualización? Cuestión esta ultima de la máxima importancia, ¿qué ocurriría si tuviésemos varios tratamientos que entraran en la lista?, ¿se establecerían prioridades?, ¿habrá que retirar algunos en beneficio de otros a medida que el tiempo pasa y la investigación avanza? (Follete y Beitz, 2003).

Las alternativas

Las reacciones viscerales ante lo que los TEV significan tienen que ver con que se percibe una cierta "trampa" detrás de todo el planteamiento. Parece que el ofrecimiento que se nos hace es: "asume mi visión del hombre, de sus problemas (‘psicopatologías’), del terapeuta, de la ciencia y, razonando con mis propios argumentos, demuestra la eficacia de tu modelo de tratamiento". Así no es extraño que cunda la sensación de que en este juego hay participantes que salen con ventaja y que se proponen sacar el mayor beneficio posible de una jugada que esta planteada como: "yo inicio el juego, y además pongo las reglas que me interesan, la primera es que nadie puede abstenerse de jugar". Pues bien, no hay porque aceptar una partida en esas condiciones. Establezcamos un contexto en el que quepan todas las psicoterapias para que aprovechemos, al menos de entrada, las posibilidades de enriquecimiento que puede ofrecer cada una. Partamos de reglas consensuadas para asegurarnos de que las conclusiones sobre diferentes grados de eficacia no se limiten a reflejar los sesgos de los criterios establecidos a priori.

Esta es la primera gran solicitud, ante la imposición interesada: el debate. En nuestro país se impone una discusión similar a la que Strauss y Kaechele (1998) lanzan al revisar los TEV y discutir su compatibilidad con la tradición de la psicoterapia en Alemania. En el contexto español (o europeo) deberemos decidir qué criterios para evaluar tratamientos establecemos y qué metodología se considera aceptable de manera que no se pierda la riqueza que tantos terapeutas de diferentes modelos han construido durante años. Tendremos que decidir también qué institución se encargará de velar por los criterios, hacer que se respeten y encargarse de que se actualicen.

Necesitaremos construir criterios de éxito más flexibles que los propuestos por la APA, criterios que:

a) Permitan la investigación de resultados en los diferentes modelos sin que estos tengan que renunciar a sus peculiaridades: su visión del hombre, de los problemas, de los mecanismos de cambio. Sin imponer clasificaciones diagnósticas o herramientas de evaluación.

b) Acerquen la investigación a los contextos de la práctica clínica y la formación. La validación de los tratamientos debe hacerse en sus contextos naturales, no en la universidad en condiciones alejadas de la realidad cotidiana de la psicoterapia.

Adaptar los criterios a la diversidad de enfoques y a la práctica clínica supondrá favorecer también el uso más flexible de los diseños de investigación. Ya hablamos de las críticas de los "doble-ciego con asignación al azar". El grupo control es un lujo difícil de asumir en los contextos naturales en que se hace psicoterapia y la asignación a grupos placebo muy cuestionable desde un punto de vista ético. Se deberán estudiar los diseños metodológicos usados preferentemente por los distintos enfoques, y si es necesario hacer un "listado de diseños aceptables"; permitiendo diferentes ideas con respecto a aspectos a medir para determinar el cambio (actuaciones, emociones y procesos) y las herramientas de medición que se consideren adecuadas para cada uno de estos aspectos. La pretensión es así de simple: pongamos los diseños al servicio de los clínicos y no viceversa (Gendlin, 1986).

La afirmación de Henry (1998), por aplastante, obliga a la reflexión: "Estoy convencido de que el movimiento de los TEV tiende únicamente a promover la ilusión de ciencia empírica, al tiempo que funciona en contra de la investigación que podría realmente llevar a nuevos descubrimientos". (p.134). Efectivamente, la investigación de resultados no puede detener ni comprometer en manera alguna el futuro de la investigación de proceso. No estamos de acuerdo con los que sugieren que se debe hacer investigación de proceso sólo con aquellos tratamientos que cumplan los criterios establecidos por la APA (Lampropoulos, 2000). Necesitamos seguir ampliando nuestro conocimiento sobre cómo y por qué se producen los cambios y esto nos lleva a potenciar especialmente la investigación cualitativa. ¿Qué diferencia hay entre buenas y malas sesiones?, ¿por qué hay clientes que abandonan los tratamientos?, ¿qué diferencias hay entre tratamientos exitosos y fracasados?, ¿por qué un cliente que no colaboraba de pronto empieza a hacerlo? Esas son las preguntas clave en psicoterapia. El objeto de estudio es un terapeuta, usando una técnica, en interacción con unos clientes. Ya se han estudiado por separado las variables cliente, terapeuta o técnica (Hubble y cols., 1999); ahora necesitamos diseños que estudien estas variables en la interacción: ¿qué aspectos de la técnicas, usados por un terapeuta con determinadas habilidades, ayudan a promover cambios en un cliente o clientes con unos recursos concretos? La investigación de proceso nos lleva a mirar directamente a la cara a nuestros clientes. Si ellos son los protagonistas del proceso terapéutico también son informadores privilegiados para ayudarnos a comprenderlo. Escuchemos lo que tienen que decir, aprendamos de los procesos de cambio que siguen, dejémosles que nos enseñen lo que debemos seguir haciendo para ser cada vez más exitosos.

Si se nos permite el juego de palabras, más que una psicoterapia empíricamente basada queremos una psicoterapia empíricamente fundamentada (Larner, 2004). Y el fundamento empírico –recordemos la noción de empírico como fundado en la experiencia- proviene de investigar procesos exitosos que ocurren durante las sesiones, no sólo de establecer si los tratamientos alcanzan o no unos determinados umbrales de resultado. Probemos tratamientos si hay que establecer criterios de rentabilidad, pero no se nos olvide estudiar los pequeños microcambios que ocurren en cada sesión de terapia y aprendamos de ellos. Lo que realmente ayuda a un clínico que lee resultados de investigación es esa pequeña cosa que ha aprendido y que puede empezar a hacer la próxima vez que se siente delante de sus clientes.

Por último, y en nuestro afán de estudiar interacciones entre los elementos del proceso, recogemos una nueva idea de Henry (1998). Él propone cambiar los TEV por "Entrenamientos Empíricamente validados". La gran apuesta es la formación y es precisamente a través de ella como podemos garantizar que los/las nuevos/nuevas terapeutas saben manejar técnicas de cambio, relación terapéutica, expectativas de solución y todas las demás habilidades que sirven para potenciar los recursos del los clientes. Si nos aseguramos que la formación que se imparte en nuestros centros es buena y que cada uno de los terapeutas que sale de ellos está en condiciones de alcanzar un buen nivel de resultados, habremos resuelto el problema de la eficacia de los tratamientos. Insistamos también en la formación continua de nuestros psicólogos clínicos, lo que en otros países es una obligación aquí depende únicamente de la buena disposición de nuestros profesionales ¿cuántos de ellos jamás se han sometido a supervisión?

Hay que llevar a cabo este proceso de "reconversión de la psicoterapia", pero con calma. Establezcamos tiempos para tomar decisiones, preferimos no recorrer el camino que queda por delante como si de una competición o una carrera se tratara. Si esto fuera una carrera el vencedor debería ser siempre el público, los usuarios de psicoterapia, nunca los modelos terapéuticos.

Conclusiones

Estamos viviendo un momento importante en psicoterapia, se impone la necesidad de que los diferentes modelos de tratamiento demuestren su eficacia. El importar criterios provenientes de otros países y que reflejan visiones demasiado estrechas e interesadas de lo empírico puede perjudicar enormemente al que, en sí mismo, es un objetivo deseable.

En este artículo llamamos al debate y a la reflexión sobre los criterios de la APA, negándonos a aceptar imposiciones. Proponemos que los criterios sean consensuados de antemano para que los estudios de resultados puedan ser llevados a cabo en todos los enfoques en las mismas condiciones de partida. Esta es la única forma de garantizar que los diferentes grados de eficacia que encontremos (si es que los encontramos) respondan a diferencias en la técnica y no a sesgos apriorísticos. Nos negamos a que bajo la etiqueta de "empírico" se nos vendan criterios y procedimientos de investigación que, al centrarse únicamente en la variable técnica, pierdan los que consideramos aspectos esenciales de la terapia: clientes y terapeutas en interacción. ¿Cómo puede ser empírico un método que no incluye en su objeto de estudio las variables esenciales?

Proponemos que se tengan en cuenta nuevos diseños experimentales más flexibles que permitan combinar la investigación de resultados con la investigación de proceso. Arreglos experimentales cada vez más creativos que nos permitan acercar la investigación a sus contextos naturales (la práctica clínica, los centros de formación en psicoterapia), nuevas estrategias para resolver nuevos problemas. Diseños que respeten las diferentes visiones que los modelos de tratamientos tienen sobre el terapeuta, los clientes y los mecanismos que facilitan el cambio. Proponemos potenciar la investigación cualitativa, no sólo como precedente de la cuantitativa, sino como herramienta en sí misma que nos acercará al entendimiento de nuestros clientes y sus recursos, de los aspectos de los terapeutas y de las técnicas que ayudan a promocionar a las personas con que trabajamos, para acercarnos al secreto último de los mecanismos de cambio terapéutico.

De los criterios y métodos que decidamos dependerá lo útil que sea la "fotografía" de la psicoterapia que al final consigamos hacer. Ojalá que la sabiduría, la reflexión y el entendimiento entre profesionales nos guíe en este proceso; para que no nos pase como a José Arcadio Buendía, el personaje de García Márquez en Cien Años de Soledad, que desperdició su talento tratando de obtener una imagen de Dios con un viejo daguerrotipo.

Alford, B. A. y Beck, A. T. (1997) The Integrative Power of Cognitive Therapy. London: Guilford Press.

American Psychiatric Association (1982). Psychotherapy Research: Methodological and efficacy issues. Washinton. DC.: Autor.

Carr, A. (2000a) Evidence-based practice in family therapy and systemic consultation. I: Child-focused problems. Journal of Family Therapy, 22: 29–60.

Carr, A. (2000b) Evidence-based practice in family therapy and systemic consultation. II: Adult-focused problems. Journal of Family Therapy, 22: 273–295.

Crits-Christoph, P. y Mintz, J. (1991). Implications of therapist effects for the design and analysis of comparative studies of psychotherapies. Journal of Consulting & Clinical Psychology, 59: 20-26).

Chambless, D. L. y Ollendick, T. H. (2001). Empirically supported psychological interventions: Controversies and evidence. Annual Review of Psychology, 52, 685.

Duncan, y Miller, S. (2000). The heroic client. San Francisco, CA: Jossey Bass.

Essock, S.M., Drake, R.E., Frank, R.G. y McGuire T.G. (2003). Randomized controlled trials in evidence-based mental health care: Getting the right ansewer to the right question. Schizophrenia Bulletin, 29: 115-123.

Elliot, R. (1998). Editors’s introdution: A guide to the empirically supported treatment controversy. Psychotherapy Research, 8: 115-125..

Follete, W.C. y Beitz, K. (2003).Adding a more rigorous scientific agenda to the empirically supported treatment movement. Behavior Modification, 27: 369-386.

Friedlander, M.L. (2001). The scientific basis of couples and family therapy research. En M.P.Nichols y R.C.Schartz, The essentials in family therapy. Boston, MA: Allyn and Bacon.

Gendlin, E. T. (1986). What Comes After Traditional Psychotherapy Research? American Psychologist, 41: 131-136.

Goodman, K. W. (2003) Ethics and Evidence-Based Medicine: Fallibility and Responsibility in Clinical Science. Cambridge: Cambridge University Press.

Harrington, R. C., Cartwright-Hatton, S. and Stein, A. (2002) Annotation: randomized trials. Journal of Child Psychology and Psychiatry, 43: 695–704.

Henry, W. P. (1998). Science, politics, and the politics of science: The use and misuse of empirically validated treatment research. Psychotherapy Research, 8: 126-136.

Henry, W.P., Schacht, T.E., Strupp, H.H., Butler, S.F. y Biender, J.L. (1993). Effects on training in time-limited dynamic psychotherapy: Mediators of therapist’s responses to training. Journal of Consulting & Clinical Psychology, 61: 440-447.

Hubble, M. L., Duncan, B. L. y Miller, S. D. (1999). The heart & soul of change : what works in therapy (1st ed.). Washington, DC: American Psychological Association.

Kazdin, A. E. (2003). Psychotherapy for children and adolescents. Annual Review of Psychology, 54, 253.

Labrador, F., Echeburúa, E. y Becoña, E. (2000). Guía para la elección de tratamientos psicológicos efectivos. Hacia una nueva psicología clínica. Madrid: Dyckinson.

Labrador, F., Vallejo, M., Matellanes, M., Echeburúa, E., Bados, A. y Fernández Montalvo, J. (2000). La eficacia de los tratamientos psicológicos. Infocop, 17: 25-30

Lambert, M. J. (1992). Implications of psychotherapy outcome research for eclectic and integrative psychotherapies. In J. C. Norcross & M. V. Goldfried (Eds.), Handbook of Psychotherapy Integration. New York: Basic Books.

Lambert, M.J. y Anderson, E.M. (1996). Assesment for the time-limited psychoterapies. Annual Review of Psychiatry, 15, 23-47.

Lambert, M.J. y Asay, T.P. (1984). Patient characteristics and their relationship to psychotherapy outcome. En M. Herson, L. Michelson y A.S. Bellack (Eds.), Issues in psychotherapy research, (pp 313-359). New York: Plenum Press.

Lambert, M.J., Shapiro, D.A., & Bergin, A.E. (1986). The effectiveness of psychotherapy. In S.L. Garfield & A.E. Bergin (Eds.), Handbook of psychotherapy and behavior change. (pp. 157-212). New York: Wiley.

Larner, G. (2004). Family therapy and the politics of evidence. Journal of Family Therapy,26, 17–39.

Lampropoulos, G.K. (2000). A reexamination of the empirically supported treatments critiques. Psychotherapy Research, 10: 474-487.

Lohr, J.M., DeMaio, Ch. y McGlynn, F.D. (2003). Specific and nonspecific treatment factors in the experimental analysis of behavioral treatement efficacy. Behavior Modification, 27: 322-368.

Nathan, P.E. y Gorman, J.E. (1998). A guide to treatments that work. New York: Oxford University Press.

Norcross, J. C., Hedges, M. y Prochaska, J. O. (2002). The Face of 2010. Professional Psychology: Research and Practice, 33: 316-322.

O’Donohue, W. y Yater, E.A. (2003). Individuating psychotherapies. Behavior Modification, 27: 313-321.

Pote, H., Stratton, P., Cottrell, D., Shapiro, D. y Boston, P. (2003). Systemic family therapy can be manualized: Research process and findings., Journal of Family Therapy, 25: 236-262.

Rosen, G.M. y Davidson, G.C. (2003). Psychology should list empirically supported principles of change (esps) and not credential trademarked therapies or other treatment packages. Behavior Modification, 27: 300-312.

Sanderson, W. C. (2003). Why empirically supported psychological treatments are important. Behavior Modification, 27: 290-299.

Schneider, K. J. (2003). A Welcome Step: Let’s Climb to the Next Tier. Clinical Psychology: Science and Practice, 10: 316-317.

Shadish, W. R., Montgomery, L. M., Wilson, P., Bright, I. y Okwumabua, T. (1993) Effects of family and marital psychotherapies. Journal of Consulting and Clinical Psychology, 6: 992–1002.

Shadish, W. R., Ragsdale, K., Glass, R. R. y Montgomery, L. M. (1995) The efficacy and effectiveness of marital and family therapy: a perspective from meta-analysis. Journal of Marital and Family Therapy, 21: 345–360.

Siqueland, L., Crits-Christoph, P., Barber, J. P., Butler, S. F. y al., e. (2000). The role of therapist characteristics in training effects in cognitive, supportive-expressive, and drug counseling therapies for cocaine dependence., Journal of Psychotherapy Practice & Research, 9: 123-130.

Smith, M.L., Glass, G.V. & Miller, T. (1980). The benefits of psychotherapy. Baltimore: John Hopkins University Press.

Sprenkle, D. H. (2003a) Effectiveness research in marriage and family therapy: Introduction. Journal of Marital and Family Therapy, 29: 85-95.

Sprenkle, D. H. (2003b) Effectiveness research in marriage and family therapy. American Association for Marriage and Family Therapy.

Stiles, W.B., Honos-Webb, L. y Knobloch, L.M. (1999). Treatment process research methods. En P. Kendall y cols. (Eds.). Handbook of research methods in clinical psychology (p.364-402). New York: Wiley.

Strauss, B. M. y Kaechele, H. (1998). The writing on the wall-comments on the current discussion about empirically validated treatments in Germany. Psychotherapy Research, 8 : 158-170.