Sie sind auf Seite 1von 26

Estudios de Psicologa

Studies in Psychology

ISSN: 0210-9395 (Print) 1579-3699 (Online) Journal homepage: http://www.tandfonline.com/loi/redp20

Introduction: current developments in


psychotherapy process research / Introduccin:
desarrollos actuales en la investigacin del
proceso psicoteraputico

Mariane Krause & Carolina Altimir

To cite this article: Mariane Krause & Carolina Altimir (2016) Introduction: current
developments in psychotherapy process research / Introduccin: desarrollos actuales en la
investigacin del proceso psicoteraputico, Estudios de Psicologa, 37:2-3, 201-225, DOI:
10.1080/02109395.2016.1227574

To link to this article: http://dx.doi.org/10.1080/02109395.2016.1227574

Published online: 14 Oct 2016.

Submit your article to this journal

Article views: 270

View related articles

View Crossmark data

Full Terms & Conditions of access and use can be found at


http://www.tandfonline.com/action/journalInformation?journalCode=redp20

Download by: [Universidad de Chile] Date: 13 March 2017, At: 11:50


Estudios de Psicologa / Studies in Psychology, 2016
Vol. 37, Nos. 23, 201225, http://dx.doi.org/10.1080/02109395.2016.1227574

Introduction: current developments in psychotherapy process


research / Introduccin: desarrollos actuales en la investigacin
del proceso psicoteraputico
Mariane Krause and Carolina Altimir

Pontificia Universidad Catlica de Chile

Abstract: The questions that guide psychotherapy process research are: what
changes in psychotherapy? And, how does that change occur? These ques-
tions have been present in clinical settings and psychotherapy research for
decades, generating a substantial amount of knowledge for the discipline.
Based on a questioning of the limitations of traditional psychotherapy
research, whose primary focus has been the study of final outcomes of
treatment, this area of research has exposed important conceptual and meth-
odological proposals for the study of the process. Despite its long and
productive tradition, research into the psychotherapeutic process is currently
gathering a new momentum from the growing conviction of the need to focus
efforts on studies that can account for the elements, mechanisms and pro-
cesses associated with change. In this introduction we organize the field of
psychotherapy process research, according to its units of analysis macro-
or micro-processes and the foci on which they are based: content, factors
and mechanisms of change. The different ways in which these components
are organized are exemplified with the articles included in this monograph.
We then give an overview of the most used methods in this field of study, also
referring to the studies that report on the application of these methods in this
special issue of Studies in Psychology.
Keywords: psychotherapy process research; psychotherapeutic change;
psychotherapy microanalysis

Resumen: Las preguntas que guan la investigacin del proceso


psicoteraputico son: qu es lo que cambia en psicoterapia? y cmo se
produce dicho cambio? Estas preguntas han estado presentes hace dcadas en
el mbito clnico y en el de la investigacin en psicoterapia, generando una
gran cantidad de conocimientos de relevancia para la disciplina. A partir del
cuestionamiento de las limitaciones de la investigacin tradicional en psico-
terapia, centrada en estudiar los resultados finales del tratamiento, esta lnea
de investigacin ha desarrollado importantes propuestas conceptuales y
metodolgicas para el estudio del proceso. No obstante su larga y ya

English version: pp. 201211 / Versin en espaol: pp. 212222


References / Referencias: pp. 222225
Translated from Spanish / Traduccin del espaol: Liza DArcy
Authors Address / Correspondencia con las autoras: Mariane Krause, Escuela de
Psicologa, Pontificia Universidad Catlica de Chile, Avda. Vicua Mackenna 4860,
Macul, Cdigo Postal: 7820436, Santiago, Chile. E-mail: mkrause@uc.cl

2016 Fundacion Infancia y Aprendizaje


202 M. Krause and C. Altimir

productiva tradicin, la investigacin del proceso psicoteraputico est reci-


biendo un nuevo impulso en la actualidad, debido a la creciente conviccin de
la necesidad de centrar los esfuerzos en estudios que puedan dar cuenta de
elementos, mecanismos y procesos asociados con el cambio. En esta
introduccin organizamos el campo de la investigacin del proceso
psicoteraputico, segn sus unidades de anlisis macro-proceso o micro-
proceso y segn los focos en los que se centra: contenidos, factores y
mecanismos de cambio. Las distintas maneras en que se organizan estos
componentes son ejemplificados con los artculos de este monogrfico.
Luego exponemos una visin general de los mtodos ms utilizados por
este campo de estudio, haciendo tambin referencia a los estudios que dan
cuenta de la aplicacin de dichos mtodos en este nmero especial de
Estudios de Psicologa.
Palabras clave: investigacin del proceso psicoteraputico; cambio
psicoteraputico; microanlisis en psicoterapia

Psychotherapy process research is guided by two fundamental questions: what


changes in psychotherapy? And, how does that change occur? These questions are
of great importance both for those who work as psychotherapists and for research-
ers, but they are difficult to isolate in order to gather clear and concise answers.
These questions have been present in the clinical setting since psychotherapeutic
practice began, exposing answers in the different theories that underpin those
psychotherapeutic approaches. However, the explanations contained in such the-
ories are often insufficient to guide clinical practice accordingly. Thus, clinicians
themselves often question the different elements that come together to create the
therapeutic stage which results in those exceptional and innovative moments that
allow both the patient and the therapist to state that something has changed. A
long and active tradition of knowledge production has evolved from researching
the psychotherapeutic process and looking for answers to these questions, one that
has spanned more than four decades. This field of research had a strong momen-
tum in the eighties, largely in response to evidence from various meta-analyses
into psychotherapeutic outcome studies which despite validating the effective-
ness of psychotherapy concluded that a significant proportion of these results
could be explained by factors common to the various therapeutic schools (Smith
& Glass, 1977). Even though this momentum in psychotherapy process research is
associated with the eighties, the movements predecessors date back to the fifties.
For example, Carl Rogers was a pioneer in fostering scientific research into the
psychotherapeutic process, by comprehensively recording, transcribing and pub-
lishing psychotherapy cases. He had a particular interest in elucidating specific
conditions that resulted in psychological change for the patient and in turn for the
effectiveness of psychotherapy. He believed that change was associated with
factors such as the therapists unconditional acceptance, empathic understanding
and congruence, as well as the clients acceptance of these attitudes. In addition,
he was convinced that these conditions would operate regardless of the particular
therapeutic approach taken by the therapist. This interest certainly influenced the
Psychotherapy process research / Investigacin del proceso psicoteraputico 203

initial drive into researching the psychotherapeutic process (Kirschenbaum &


Jourdan, 2005).
However, it was actually during the eighties that there was a significant growth
in process research, which continues today. Since then, conceptual and methodo-
logical proposals have been developed that focus on clarifying the processes that
take place within therapy and that are associated with change. At the time, this
movement questioned the constraints faced by traditional psychotherapy research,
which primarily focused on studying its final outcomes (Elliott, 2010; Knobloch-
Fedders, Elkin, & Kiesler, 2015). It was argued that although this tradition had
irrefutably proven the effectiveness of psychotherapy, its conclusion that the
therapeutic approach taken did not influence the effects did not contribute to
understanding the phenomenon of change. In response to the above, process
research proposed analysing specific moments in therapy that were relevant to
change, and the components and mechanisms that would facilitate their occur-
rence (Greenberg, 1986; Safran, 2003). This approach to research considered that
these moments and their components could vary throughout the course of therapy
and in relation to the different contexts in which they take place (Greenberg,
1986). According to this view, the psychotherapeutic process could be understood
as a sequence of recurring states and the transitions between them, disclosed in
identifiable patterns and expressions (Safran, 2003).
While research into the psychotherapeutic process has already generated a
substantial body of knowledge, it is currently receiving an additional expansion,
responding to the growing conviction that research which solely focuses on
psychotherapy outcome seems to have been exhausted. This conviction is
reflected in arguments from the United States National Institute of Mental
Health (NIMH) (2008) and its reluctance to continue investing resources in
comparative studies of psychotherapy that only emphasize the final results of
treatments. This argument is based on three reasons: (a) the effectiveness of
psychotherapy is accredited (Smith & Glass, 1977); (b) four decades of research
have shown that the various therapeutic approaches do not differ in their effec-
tiveness; and (c) studies focusing solely on results do not add anything new to
understanding why the therapy is effective. That is why investing investigative
resources into more studies that analyse the process is crucial.
In this first part of the introduction of this special issue we have addressed
certain defining aspects and have outlined contextual issues in the birth of
psychotherapy process research. While we have mentioned some important mile-
stones in the context of its development, it is the first article in this special issue,
by the author Adam Horvath (2016), which offers detailed information about its
evolution. An inspiring narrative takes the reader through a historical overview of
the research process, placing it in the context of the global history of psychother-
apy research, explaining its development that stems from the limitations of the
previous dominant paradigm, mainly centred on results. Furthermore, the article
also rescues current trends in therapeutic process research programmes that are
included in this line of investigation.
204 M. Krause and C. Altimir

Following this, a conceptual organization of the field researching the psy-


chotherapeutic process is offered, according to the study objects that it empha-
sizes, and which structures this special issue. Each component of this organization
will be exemplified based on the articles included in this special issue.
Subsequently, an overview of the most common methodologies in this field of
study is exposed, while also referring to the studies presented in this issue that
explain the application of these methods.

Study objects of psychotherapy process research


In order to organize the different emphasis of research into the psychotherapeutic
process, we can distinguish between units of analysis and foci of study.
According to the unit of analysis, studies can be differentiated into two
categories: macro-process psychotherapy studies, where the unit is the complete
therapy, and micro-process studies, which focus on therapy sessions or on seg-
ments or specific events, which we call episodes. The latter case studies what
has occurred within these previously defined and circumscribed episodes, which
is usually therapeutic interaction in verbal or nonverbal dimensions.
The study focus of process research refers to the particular phenomena asso-
ciated with the change that is to be explored within the unit of analysis. In this
case we can distinguish between: (a) the content of the change, i.e., what changes;
(b) change factors, that is, the elements through which the change is driven,
including what is often called active ingredients, whether individual, contextual,
relational such as the therapeutic alliance; and (c) the mechanism of change,
understood as movements that constitute the machinery of the process which
combines and articulates the above factors in order for the change to take place.
This machinery can be understood as occurring in the patient (who is where the
changes occur), that is, as an intrapsychic phenomenon; or in the intersubjective
space between patient and therapist. These mechanisms also involve the machin-
erys evolution or trajectory within the unit of analysis. It is common for the study
of change mechanisms to be based on therapeutic micro-process designs.
The tradition of macro-process study focuses on the evolution of change
throughout therapy and has generated various models of progression that include
different stages of change. Among these models we can find: Stiles (2002)
Assimilation of Problematic Experiences (APES) model; Prochaska and
Norcross (2002) Transtheoretical model; Gennaro, Al-Radaideh, Gelo, Manzo,
Nitti, Auletta, & Salvatores (2010) Two Stage Semiotic Model (TSSM); and the
Model of Generic Change Indicators in psychotherapy (Krause, Altimir, Perez, &
de la Parra, 2015). These models assume that psychotherapeutic change is built
gradually, implying early stages of change that evolve towards more complex
transformations.
The article by Prez-Ruiz and Caro-Gabalda (2016), in this special issue,
explores an alternative application of the APES model to a case treated with
Brief Strategic Therapy. From a macro-process perspective of psychotherapy, the
authors describe the change process in a patient (Olivia) as she progressively
Psychotherapy process research / Investigacin del proceso psicoteraputico 205

assimilates her fear of dying. Using a primarily qualitative approach, the authors
describe Olivias trajectory of change throughout the therapy sessions as a process
they define as fluctuating and irregular. The focus of this study is the patients
change in her problematic experiences that result from her fear of dying and its
progressive assimilation and integration to the self. The study unit is the therapy
as a whole, with special emphasis on the trajectory followed by this process,
including its progress and setbacks. It could be said that one of the benefits of this
study is its attempt to characterize the change trajectory in the context of a
particular therapeutic approach, in this case, Brief Strategic Therapy.
For their part, guila et al. (2016), exponents of an emerging line of investiga-
tion within the study of the process, place child clinical psychology as an object of
study of the therapeutic process. The authors seek to adapt models of process
research to therapy with child population, whose characteristics differ from the
traditionally studied adult therapy. Through their analysis of the therapists narra-
tives, they discuss the applicability of Krause et al.s (2006, 2007) Generic
Change Indicators model to therapy with children and adolescents who are
victims of sexual abuse. While, like the previous study, this research focuses on
the complete therapy as the unit of analysis, it does so from the therapists
perspective of their patients change. Basing itself on the therapists subjective
experience, the study proposes a model for the evolution of change, which
distinguishes three separate stages in which the alliance plays a fundamental
role and is configured in different ways. Thus, the focus of study refers to the
factors associated with change, in this case the alliance, and the contents of that
change, associated with each identified phase: connection with the therapeutic
space, redefinition of the abusive experience and consolidation of changes.
Complementing the above, but from an observers perspective, Ramos et al.
(2016) describe the change process in the case of a group psychoanalytic psy-
chotherapy for a six-year-old girl. Using an observational method developed by
the authors, they identify change indicators observed in the patient and the
therapist interventions that facilitate those changes. Their results suggest that the
changes are linked to progress in the process of symbolization and mentalization.
The patients perspective regarding the change process is also represented in
this special issue by the authors Schrmann and Mhlmeyer-Mentzel (2016).
Taking the therapy as the unit of analysis, the authors conducted a meta-
analysis with qualitative data from patients reports. Based on this they propose
a model that gradually develops clients resources during psychotherapy. The
model distinguishes between early stages of change, whose content and mechan-
isms include, first, the activation of behaviour and the beginning of the internal
change process, and second, the subsequent stages, which include self-
actualization, and behavioural changes. Like the authors mentioned above,
Schrmann and Mhlmeyer-Mentzel (2016) report a characterization of the ther-
apeutic process according to stages of its progression.
In a similar vein, the qualitative analysis of interviews with patients conducted
by Abarza, Silva, Navarro, and Krause (2016) focuses on the change process in
people diagnosed with schizophrenia, placing this particular population as the
206 M. Krause and C. Altimir

object of interest. From a macro-process perspective, they describe factors that


facilitate and hinder change, including the therapeutic relationship. They also
examine what patients report as the main contents of perceived change: the
capacity to mentalize, normalization of the experience associated with schizo-
phrenia, reconstruction of a life project and the restoration of a sense of autobio-
graphical continuity. Their results constitute a first look at a specific field of study
that has not been much explored, but that has the potential to contribute to a better
understanding of the psychological change processes in a clinical population often
neglected by current models of therapeutic change.
Constantino, Vsl, Ogrodniczuk, Coyne, and Schting (2016), taking patients
with depression as their study population, examine the expectations of lasting
improvement following treatment as well as the correlation with their symptoms
and factors involved in the processes, such as the therapeutic alliance. In this
study, the authors emphasize the role that these expectations play in the change
process and its subsequent maintenance after therapy termination, extending the
unit of study the therapy beyond its completion. This is a novel study
because it assesses expectations not only at the beginning of treatment, but also
after it is completed, and establishes associations with variables of the therapeutic
process.
Also focusing on patients with depression, but in the context of a case of
couple therapy, Montesano and Izu (2016) seek to establish the evolution of the
therapeutic alliance and its relationship with symptomatic change and marital
satisfaction. The innovative aspect of this study is examining the change process
in the context of a therapeutic modality that is more complex than a dyadic
modality. It also clearly illustrates the relationship between depression and cou-
ples dynamics.
Thus, this special issue gives us a varied sample of different approaches to the
study of the therapeutic macro-process. As discussed below, this monograph also
reports on different and interesting approaches to the study of micro-process,
examining elements of the therapeutic interaction within relevant episodes of
therapy.
The study by Morn et al. (2016) represents an innovative and sophisticated
approach to the micro-process study, based on a thorough analysis of patients and
therapists verbal and nonverbal behaviour within episodes of change and rupture
of their alliance, in five therapies. The research combines participants discourse
analysis with their vocal quality and emotional facial expression, to report on what
the authors understand as the mutual regulation process between patient and
therapist. Thus, they present a characterization of these two interactional scenar-
ios episodes of change and rupture based on mechanisms associated with
participants specific interactions. In addition, they reflect an attempt to integrate
both explicit and implicit elements of the therapeutic interaction in order to better
understand the mechanisms of change.
In the same vein, and from a similar design, Barros, Altimir, and Prez (2016)
focus more specifically on the patients mechanisms of affective regulation,
expressed through facial behaviour during episodes of rupture of the alliance.
Psychotherapy process research / Investigacin del proceso psicoteraputico 207

The contribution of this study is to determine certain patients psychological


mechanisms associated with their experience of agency and affiliation during
times of relational tension. Likewise, it contributes to establishing certain char-
acteristics of the different types of rupture confrontation and withdrawal
that can contribute to a better clinical management of these events.
Valds, Arriagada, and Alamo (2016) approach the therapeutic micro-process
study by identifying relational demands and offers that are verbally expressed by
patients with depression, and establish their relationship with anaclitic and intro-
jective personality styles. As in the aforementioned studies, the authors examine
elements of the therapeutic interaction manifested by patients, in order to clearly
detect the mechanisms that are relevant to the therapeutic process. The originality
of this study can be found in its attempt to build a bridge between these interac-
tional elements and characteristics of the general psychological functioning of
patients with depression. This is a substantial contribution to the understanding
and the therapeutic management of patients with particular psychopathological
characteristics, such as depression in combination with certain personality styles.
Also with a focus on verbal therapeutic communication, the study by Krause
et al. (2016) identifies the Basic Linguistic Forms present in speaking turns
uttered by participants during change episodes in 24 psychotherapeutic processes.
The authors establish relevant relationships between the use of certain basic
linguistic forms and the roles each participant plays, at which stage in the therapy
they take place and the change content experienced by patients. This micro-
analytical study is a significant contribution to the growing characterization of
the mechanisms through which change is constructed in psychotherapy.
Finally, the article by von Mengden-Campezatto, Barcelos-Serralta and
Habigzang (2016) also examines the interaction between patient and therapist
through a single case study and establishes their relationship with therapeutic
cycles. This research addresses the factors associated with change including
the therapists interventions and patients activities and responses and the
change content. This, in turn, implies describing the evolution of therapy in two
stages, one with change cycles and one without change cycles. From this detailed
description of the process, the study attempts to provide an understanding of the
patients reasons for deciding to discontinue therapy, which can contribute to the
understanding of the therapy completion processes with borderline patients.
The empirical research articles studying the psychotherapy process presented
in this special issue explain the different approaches to both the study unit and the
focus of analysis of the psychotherapy process. Through a review of these studies,
it is possible to have a general perspective of how new trends in process research
are reflected in the designs and specific studies that are of great research and
clinical value. This issue outlines how the study of the psychotherapeutic process
is itself a bridge between psychotherapy research and clinical practice, which can
generate valuable knowledge and contribute to understand and improve psy-
chotherapy (Rice & Saperia, 1984).
208 M. Krause and C. Altimir

The psychotherapy process research methods


Psychotherapy process research is characterized by using a variety of methods and
by being innovative in the creation of new methodologies that seek to capture
change contents, its mechanisms or factors that can foster them.
Given the complexity of its object of analysis which includes variables of
different nature, it is usual, when conducting psychotherapy process research, to
combine various methodologies in the same study. Thus, applying both qualitative
and quantitative methods at different stages of these types of studies is common,
as is including various perspectives: the patient, the therapist and observers of the
process.
In psychotherapy process research primary data are often obtained in natural
settings, that is, through observing real therapies. For this reasons, access to these
data carries ethical challenges, such as the guarantee of confidentiality for parti-
cipants, as well as technical difficulties, as the therapies are usually video or audio
recorded, and have to meet certain standards of excellence for further analysis.
This emphasis on capturing raw data in natural situations, that is, directly from
clinical practice, has involved developing a number of devices and manuals for
both visual data (data that are directly observed in therapy) and for work with
verbal data (data that are gathered through the transcripts of the sessions).
Several studies from this special issue use direct observation methods, based
on certain manuals. For example, Montesano and Izu (2016) apply the System for
Observing Family Therapy Alliance in Family Intervention (Friedlander et al.,
2006) to evaluate therapeutic alliance in the context of couple therapy; and Krause
et al. (2016) apply the Generic Change Indicators (Krause et al., 2007), based on
observations from video recordings of therapies to determine stages of psy-
chotherapeutic change.
Some studies combine different observation systems to relate patients char-
acteristics with psychotherapeutic interaction. This is done in the study by Valds
et al. (2016), which applies the Observation Guideline for the Diagnosis of
Depressive Symptoms (Salvo, Cordes, & Valds, 2012), in order to then relate
these characteristics with verbalizations, captured by the CCRT-LU-S Category
System (Albani et al., 2002). This study, like others in this special issue, combines
observational systems with procedures that are also manualized to capture
aspects of verbal communication. By way of example, in the study by Morn et al.
(2016) an observational system for determining relevant episodes was combined
with the coding of the therapist and patients discourse, voice and facial expres-
sion. In regard to facial expression, the Facial Action Coding System (FACS) was
applied, originally developed by Ekman and Friesen (1978). This same method
was also applied by Barros et al. (2016) to their study of implicit affective
regulation during episodes of rupture of the alliance.
Other works in this special issue focus on the analysis of verbalizations using
transcripts from psychotherapy sessions, also by means of manualized procedures
created for this purpose. This procedure was followed, for example, in the study
conducted by Prez-Ruiz and Caro-Gabalda (2016), through the application of the
Assimilation of Problematic Experiences Scale (APES) by Stiles (2001) in a case
Psychotherapy process research / Investigacin del proceso psicoteraputico 209

study, and by Krause et al. (2016), where the Therapeutic Activity Coding System
(TACS) was applied to transcripts of significant events, in order to capture
therapists and patients verbalizations associated to change.
As can be seen in this traversal look at the data collection methods used by the
studies in this special issue, psychotherapy process research has been prolific to
the point of generating its own methods, whose ultimate goal is to capture the
detail of relevant variables of change within psychotherapy. Some of these
methodologies respond to the conceptual framework of certain psychotherapeutic
schools, such as the method used in the article by Maldavsky (2016), which
studies wishes, defences and their state in patients narratives, while others, such
as APES or SCAT, are intended to be generic in the sense of being independent
from different psychotherapeutic schools.
However, process research does not only create new methodologies, but also
applies more conventional procedures to its data collection, combining them with
the previously mentioned innovative alternatives. Among these, the interview (to
patients or therapists) is a widely used method, applied in a standardized format
the clinical interview in the study by Montesano and Izu (2016), or in a semi-
structured format in the work by Abarza et al. (2016) and by guila et al. (2016).
These semi-structured interviews widely used in psychotherapy research are
the tool of choice because they capture participants recollections on the change
process. As demonstrated by Schrmann and Mhlmeyer-Mentzels (2016) qua-
litative meta-analysis, by using qualitative data from interviews the progression of
change can be reconstructed both in its content and mechanisms, as and in
terms of the elements that facilitated that change.
The complexity of the data derived from psychotherapeutic processes
captured by sophisticated observational systems and coding of verbal and non-
verbal activity are often also supplemented with information gathered from
self-report instruments, answered by patients or therapists themselves. Such
instruments were included in the designs of most studies in this special issue,
but played a greater role in certain ones, such as in the work by Constantino et al.
(2016). This study, which serves to illustrate how to integrate self-report instru-
ments in study designs of the psychotherapeutic process, assesses the impact that
expectations of post-treatment results have on psychotherapy in depressed
patients. It applies instruments that are widely used around the world to assess
symptoms of depression and anxiety, such as the Beck Depression Inventory
(BDI-II, Beck, Steer, & Brown, 1996), the Beck Anxiety Inventory (BAI; Beck,
Epstein, Brown, & Steer, 1988) and the Patient Health Questionnaire-9 (PHQ-9;
Kroenke, Spitzer, & Williams, 2001), along with others widely used in
therapeutic process research such as the Working Alliance Inventory (WAI;
Horvath & Greenberg, 1986) and the Therapeutic Factors Inventory (TFI-S;
MacNair-Semands, Ogrodniczuk, & Joyce, 2010). In this study, in addition to
the measures directed towards the symptoms (and their potential decrease),
instruments are applied to capture other changes that are the result of psychother-
apy: Quality of Life Inventory (QOLI; Frisch, Cornell, Villanueva, & Retzlaff,
1992), Inventory of Interpersonal Problems-28 (IIP-28; Pilkonis, Kim, Proietti, &
210 M. Krause and C. Altimir

Barkham, 1996), together with the specific instrument that evaluates the research
study object, the Outcome Expectations Scale (OES; Ogrodniczuk & Sochting,
2010). In psychotherapy process studies, patients usually take questionnaires at
different stages of their psychotherapy, including at the beginning, certain middle
points and on completion. In the case of the Constantino et al. (2016) study,
instruments are applied during the initial phase of therapy, specifically in sessions
1 to 5, and during post-treatment. These different evaluation points facilitate
identifying the relationship the different input variables have with both the initial
evolution of the process and the final results. These types of studies are also
valuable for clinical practice, as their results provide markers that can potentially
allow a monitoring of the evolution of the psychotherapeutic process.
The quantitative instruments applied to the study of the psychotherapeutic
process are used in different cultural contexts and therefore require validation for
each. In this special issue we have included two studies whose contribution is
precisely the adaptation of an instrument to a new cultural context. Thus, Daz-
Oropeza and Pea-Leyva (2016) have provided the psychotherapy research com-
munity with a Spanish version of the Therapeutic Alliance Negotiating Scale, and
Gmez-Penedo, Barrientos, Martnez, and Roussos (2016) have validated the
Spanish version of the Comparative Psychotherapy Process Scale (CPPS).
In terms of research designs, process studies are diverse. However, since in-
depth analysis through the inclusion of a multiplicity of variables, which are
measured at different times during the evolution of psychotherapy and in natural
contexts, is favoured, it is usual for sample sizes to be relatively small, being also
abundant case studies. Following this trend, this special issue includes several
case studies, including one by Ramos et al. (2016), which analyses the change
process in a psychoanalytic group psychotherapy for children; one by Montesano
and Izu (2016), who studied couple therapy; and one by von Mengden-
Campezatto et al. (2016), who analysed the conditions associated with the inter-
ruption of a therapeutic process in a patient with borderline personality disorder.
These case studies present a complex methodological design, which aims to
understand the interrelationship between the different variables that influence
the effect (or no effect) of therapy, combining qualitative and quantitative meth-
ods, and assessments at different times during the process.
Regarding the analysis of data, integrating qualitative and quantitative meth-
ods is common, as is quantifying information through coding manuals from
an initial qualitative analysis carried out by observers or judges. When studies
include a set of therapies, they use methods of analysis that consider the quality of
nested data of the information gathered. This is the case of the study by Krause
et al. (2016), which considered that the primary data speaking turn was nested in
episodes of therapy, which in turn belonged to a particular therapy. This analysis,
carried out by Hierarchical Modeling, considers the complex interplay of variables
in these different levels of analysis.
It is important to note that current process studies not only analyse what
happens within the therapy, that is, the progression of change, its mechanisms
and determinants, but and increasingly frequently they also consider final
Psychotherapy process research / Investigacin del proceso psicoteraputico 211

results, thus becoming process-outcome studies. The end result can be included
in the study design as a dependent variable, and can thus relate events from the
process with the final effect or can be considered for classification and subsequent
comparison of therapies. In any case, not being blind to the final results is relevant
to the investigation of the process. However, this inclusion may involve a con-
ceptual challenge, as sometimes the notions of change involved in certain process
evaluations do not coincide with those implicit in the instruments that assess final
results.
Finally, this special issue contains a review of a book that is relevant to current
research in psychotherapy, entitled Psychotherapy Research: Foundations,
Process and Outcome, edited by Gelo, Pritz, and Rieken (2015). The review by
Espinosa (2016) presents the book as a roadmap that is essential for any reader
who would like to learn about the field of psychotherapy research or deepen and
update their knowledge. Psychotherapy process research has a leading place in
this book, which includes both its history and current developments.
Our intention when putting together this special issue in psychotherapy pro-
cess studies was to expose the diversity and complexity of different foci and units
of study, methodological approaches and the wealth of its results. We hope,
through these works, to give even more visibility to this area of research,
contribute to the discussion that surrounds it, encourage psychotherapeutic pro-
cess researchers to continue developing studies in this area and encourage clin-
icians to consider their results in their practices.
212 M. Krause and C. Altimir

Introduccin: desarrollos actuales en la investigacin del proceso


psicoteraputico

La investigacin del proceso psicoteraputico se gua por dos preguntas funda-


mentales: qu es lo que cambia en psicoterapia? y cmo se produce dicho
cambio? Estas preguntas son de gran relevancia tanto para quienes se desempean
como psicoterapeutas, como para los investigadores, pero son difciles de acotar
para poder obtener una respuesta clara y concisa. En el mbito clnico, estas
preguntas han acompaado la prctica de la psicoterapia desde sus inicios,
encontrando sus respuestas en las diferentes teoras que sustentan los enfoques
psicoteraputicos. No obstante, las explicaciones contenidas en dichas teoras con
frecuencia son insuficientes para guiar la prctica clnica. As, los mismos clnicos
se cuestionan a menudo cmo se conjugan los distintos elementos que componen
el escenario de la terapia para producir por ejemplo esos momentos
excepcionales y novedosos que permiten tanto al paciente como al terapeuta
afirmar que algo ha cambiado. La investigacin del proceso psicoteraputico,
buscando respuesta a estas preguntas, se ha consolidado en una larga y activa
tradicin de produccin de conocimiento que abarca ms de cuatro dcadas. Este
campo de investigacin tuvo un fuerte impulso en la dcada del ochenta, en gran
parte como respuesta a la evidencia de diversos meta-anlisis sobre estudios de
resultados psicoteraputicos que si bien validaban la efectividad de la psico-
terapia concluan que una proporcin importante de sta se explicara por
factores comunes a las distintas escuelas teraputicas (Smith & Glass, 1977). No
obstante se asocia el impulso a la investigacin del proceso psicoteraputico con
los aos ochenta, sus precursores se remontan a los aos 50. Por ejemplo, Carl
Rogers fue pionero en fomentar la investigacin cientfica del proceso
psicoteraputico, a travs del registro, transcripcin y publicacin de casos com-
pletos de psicoterapia. Tena un inters particular en dilucidar las condiciones
centrales para el cambio psicolgico del paciente y por tanto para la efectividad de
la psicoterapia. l crea que el cambio se asociaba a factores como la aceptacin
incondicional, la comprensin emptica y la congruencia del terapeuta, as como a
la recepcin por parte del cliente de estas actitudes. Asimismo, estaba convencido
de que estas condiciones operaran de manera independiente del enfoque
teraputico particular del clnico. Este inters sin duda signific un impulso inicial
para la investigacin del proceso psicoteraputico (Kirschenbaum & Jourdan,
2005).
Pero fue efectivamente en la dcada de los 80 cuando se produjo un impor-
tante crecimiento en la investigacin de proceso, que sigue vigente hasta el da de
hoy. A partir de entonces se desarrollaron propuestas conceptuales y
Psychotherapy process research / Investigacin del proceso psicoteraputico 213

metodolgicas cuyo foco esencial es esclarecer los procesos que tienen lugar al
interior de la terapia y que se relacionan con el cambio. En su momento, este
movimiento cuestion las limitaciones que enfrentaba la investigacin tradicional
en psicoterapia, centrada primordialmente en estudiar los resultados finales de sta
(Elliott, 2010; Knobloch-Fedders, Elkin, & Kiesler, 2015). Se argumentaba que, si
bien esta tradicin haba dado pruebas irrefutables de la efectividad de la psico-
terapia, su conclusin de que no existan diferencias en el efecto de distintos
enfoques teraputicos no aportaba a entender el fenmeno del cambio. En
respuesta a lo anterior, la investigacin de proceso propuso examinar los momen-
tos especficos de la terapia que fueran relevantes para el cambio, as como sus
componentes y los mecanismos que facilitaran su ocurrencia (Greenberg, 1986;
Safran, 2003). Esta aproximacin a la investigacin consider que estos momen-
tos, as como sus componentes, podran varan a lo largo del curso de la terapia y
en relacin a los distintos contextos en que tendran lugar (Greenberg, 1986). De
acuerdo a esta visin, el proceso psicoteraputico se entendera como una secuen-
cia de estados recurrentes y de transiciones entre ellos, revelados en patrones y
expresiones identificables (Safran, 2003).
Si bien la investigacin del proceso psicoteraputico ya ha generado un
importante corpus de conocimiento, en la actualidad est recibiendo un impulso
adicional, que responde a la creciente conviccin de que aqulla investigacin que
se centra exclusivamente en los resultados de la psicoterapia parece haber agotado
su vida til. Esta conviccin se refleja en los argumentos esgrimidos desde el
National Institute of Mental Health (NIMH) [Instituto Nacional de Salud Mental]
de Estados Unidos (2008), en que se aprecia reticencia a seguir invirtiendo
recursos en estudios comparativos de psicoterapia que solo enfatizan los resulta-
dos finales de los tratamientos psicoteraputicos. Este argumento se sostiene en
tres razones: (a) la eficacia de la psicoterapia est acreditada (Smith & Glass,
1977), (b) 40 dcadas de investigacin han comprobado que los diversos enfoques
teraputicos no se diferencian en cuanto a su efectividad, y (c) los estudios
centrados nicamente en los resultados no aportan nada nuevo a la comprensin
de por qu la terapia es efectiva. Es por ello que actualmente resultara crucial
invertir los recursos investigativos en aumentar los estudios de proceso.
En esta primera parte de la introduccin del nmero especial hemos abordado
algunos aspectos definitorios y hemos delineado aspectos contextuales involucra-
dos en el nacimiento de la investigacin de proceso en psicoterapia. Si bien hemos
mencionado algunos hitos importantes del contexto de su desarrollo, es el primer
artculo de este nmero especial, del autor Adam Horvath (2016), el que nos
ofrece informacin detallada sobre su evolucin. A travs de un inspirador relato,
el autor hace un recorrido histrico de la investigacin de proceso y la sita en el
contexto de la historia ms global de la investigacin en psicoterapia, explicando
su desarrollo a partir de las limitaciones del paradigma predominante previo,
mayoritariamente centrado en los resultados. Por otro lado, el artculo tambin
rescata las tendencias actuales en los programas de investigacin del proceso
teraputico que constituyen esta lnea de indagacin.
214 M. Krause and C. Altimir

A continuacin ofreceremos una organizacin conceptual del campo de la


investigacin de proceso psicoteraputico, segn los objetos de estudio que
enfatiza, y que es la que permiti la estructuracin del presente nmero especial.
Cada componente de esta organizacin ser ejemplificado en base a los artculos
de este monogrfico. Posteriormente, expondremos una visin general de
los mtodos ms utilizados por este campo de estudio, haciendo tambin refe-
rencia a los estudios expuestos en este nmero que dan cuenta de la aplicacin de
dichos mtodos.

Objetos de estudio de la investigacin del proceso psicoteraputico


Con el propsito de organizar los distintos nfasis de la investigacin de proceso
psicoteraputico, podemos distinguir entre unidades de anlisis y focos de estudio.
De acuerdo a la unidad de anlisis, se puede diferenciar entre estudios del
macro-proceso psicoteraputico, en los que dicha unidad es la terapia completa, y
estudios del micro-proceso, en que la mirada est puesta en las sesiones de la
terapia o bien en segmentos o eventos especficos, que llamaremos episodios. En
este ltimo caso, se estudia lo que sucede al interior de estos episodios previa-
mente definidos y delimitados, lo que generalmente es la interaccin teraputica
en sus dimensiones verbales o no verbales.
El foco de estudio de la investigacin de proceso se refiere a los fenmenos
particulares asociados al cambio que se desea examinar al interior de la unidad de
anlisis. En este caso podemos distinguir entre: (a) contenido del cambio, es decir,
qu es lo que cambia; (b) factores de cambio, vale decir, los elementos a travs de
los cuales es impulsado el cambio, incluyendo lo que se suele llamar ingredientes
activos, ya sea individuales, contextuales, o relacionales como la alianza
teraputica; y (c) mecanismos de cambio, entendidos como los movimientos que
constituyen el engranaje del proceso que conjuga y articula los factores antes
mencionados para que se produzca el cambio. Este engranaje puede entenderse
como aconteciendo en el paciente (que es quien cambia), es decir, como un
fenmeno de carcter intrapsquico, o como propio del espacio intersubjetivo
de paciente y terapeuta. Los mecanismos tambin involucran el proceso de
evolucin o trayectoria del engranaje al interior de la unidad de anlisis. Es
comn que el estudio de los mecanismos de cambio se realice a partir de
diseos de micro-proceso teraputico.
Por otra parte, la tradicin de estudio del macro-proceso centra su foco en la
evolucin del cambio a lo largo de la terapia y ha generado diversos modelos de
progresin que incluyen distintas etapas del cambio. Entre estos modelos encon-
tramos, por ejemplo, el modelo Assimilation of Problematic Experiences (APES)
[Asimilacin de Experiencias Problemticas] de Stiles (2002), el Modelo Trans-
terico de Prochaska y Norcross (2002), el Two Stage Semiotic Model (TSSM)
[Modelo Semitico de Dos Etapas] de Gennaro, Al-Radaideh, Gelo, Manzo, Nitti,
Auletta, & Salvatore (2010), y el Modelo de Indicadores de Cambio Genricos en
psicoterapia (Krause, Altimir, Perez, & de la Parra, 2015). Estos modelos asumen
que el cambio psicoteraputico se construye progresivamente, implicando estadios
Psychotherapy process research / Investigacin del proceso psicoteraputico 215

iniciales de cambio que van evolucionando hacia trasformaciones de mayor


complejidad y profundidad.
El artculo de Prez-Ruiz y Caro-Gabalda (2016), en este nmero especial,
muestra una novedosa aplicacin del modelo APES a un caso tratado con Terapia
Breve Estratgica. Desde una aproximacin al macro-proceso teraputico, los
autores describen el proceso de cambio de una paciente (Olivia) a medida que
va asimilando progresivamente su miedo a morir. Utilizando un enfoque princi-
palmente cualitativo, los autores describen la trayectoria del cambio de Olivia a lo
largo de las sesiones de la terapia, como un proceso que definen como dentado e
irregular. El foco de estudio de esta investigacin es el cambio de la experiencia
problemtica del miedo a morir de la paciente, y su progresiva asimilacin e
integracin al s mismo. La unidad de estudio es la terapia en su totalidad,
poniendo especial nfasis en la trayectoria que sigue este proceso, incluyendo
sus avances y retrocesos. Se puede decir que uno de los valores de este estudio es
su intento por caracterizar el tipo de trayectoria del cambio en el contexto de un
enfoque teraputico particular, en este caso, la Terapia Breve Estratgica.
Por su parte, guila et al. (2016), exponentes de una naciente lnea de
indagacin dentro de la investigacin de proceso, sitan la clnica infantil como
objeto de estudio del proceso teraputico. Los autores buscan adecuar los modelos
de investigacin del proceso a la terapia con poblacin infantil, cuyas
caractersticas difieren de la terapia de adultos tradicionalmente estudiada. Por
medio del anlisis de las narrativas de terapeutas, discuten la aplicabilidad del
modelo de Indicadores de Cambio Genricos de Krause et al. (2006, 2007) a la
terapia con nios y adolescentes vctimas de abuso sexual. Si bien, al igual que el
estudio anterior, esta investigacin se centra en la terapia completa como unidad
de anlisis, lo hace desde la perspectiva de los terapeutas acerca del proceso de
cambio de sus pacientes. A partir de la experiencia subjetiva de los terapeutas, el
estudio propone un modelo de evolucin del cambio que distingue tres grandes
fases en las que la alianza tiene un rol fundamental y se configura de distintas
maneras. As, el foco de estudio se refiere a los factores asociados al cambio, en
este caso la alianza, y a los contenidos de dicho cambio, los que se asocian a cada
fase identificada: vinculacin con el espacio teraputico, resignificacin de la
experiencia abusiva y consolidacin de los cambios.
Complementando lo anterior, pero desde una perspectiva del observador,
Ramos et al. (2016) describen el proceso de cambio en el caso de la psicoterapia
psicoanaltica grupal de una nia de seis aos. Utilizando un dispositivo de
observacin desarrollado por los autores, identifican indicadores de los cambios
observados en la paciente, as como intervenciones del terapeuta facilitadoras de
esos cambios. Sus resultados apuntan a que los cambios se relacionan con el
desarrollo de la capacidad de simbolizacin y mentalizacin.
Ahora bien, la perspectiva de los pacientes acerca del proceso de cambio
tambin se ve representada en este nmero especial por el estudio de
Schrmann y Mhlmeyer-Mentzel (2016). Tomando la terapia como unidad de
anlisis, las autoras llevan a cabo un meta-anlisis cualitativo con datos prove-
nientes de reportes de pacientes, a partir del cual proponen un modelo de
216 M. Krause and C. Altimir

desarrollo gradual de los recursos de los clientes durante la psicoterapia. El


modelo distingue entre etapas iniciales del cambio, cuyo contenido y mecanismos
incluyen en primer lugar la activacin de conductas, y el comienzo del proceso de
cambio interior, y etapas posteriores, que incluyen la auto-actualizacin, y cam-
bios comportamentales. Al igual que los autores mencionados anteriormente,
Schrmann y Mhlmeyer-Mentzel (2016) dan cuenta de una caracterizacin del
proceso teraputico segn las fases de progresin del mismo.
En una lnea similar de anlisis cualitativo de entrevistas a pacientes, Abarza,
Silva, Navarro, y Krause (2016) centran la mirada en el proceso de cambio de
personas con diagnstico de esquizofrenia, situando a esta poblacin particular
como objeto de inters. Desde una perspectiva de macro-proceso, describen los
factores facilitadores y obstaculizadores del cambio, incluida la relacin
teraputica. Al mismo tiempo, examinan lo que los pacientes reportan como
contenidos principales del cambio percibido: la capacidad de mentalizacin, la
normalizacin de la propia experiencia asociada a la esquizofrenia, la
reconstruccin de un proyecto vital y el restablecimiento de un sentido de con-
tinuidad autobiogrfica. Sus resultados constituyen una primera mirada a un
campo de estudio poco explorado, pero con grandes posibilidades de contribuir
a una mejor comprensin de los procesos de cambio psicolgico de una poblacin
clnica a menudo desatendida por los modelos de cambio teraputico vigentes.
Por su parte, Constantino, Vsl, Ogrodniczuk, Coyne, y Schting (2016),
tomando a pacientes con depresin como poblacin de estudio, examinan las
expectativas de mejora duradera posterior al tratamiento y su correlacin con su
sintomatologa y factores de proceso, como la alianza teraputica. En este estudio,
los autores enfatizan el rol que tienen dichas expectativas en el proceso de cambio
y en su mantencin posterior a la terapia, extendiendo la unidad de estudio que
es la terapia ms all de su trmino. Este es un estudio novedoso en la medida
en que evala las expectativas no solo al comienzo del tratamiento, sino que
tambin al trmino de este, y establece asociaciones con variables del proceso
teraputico.
Focalizndose tambin en pacientes con depresin, pero en el marco de un
caso de terapia de pareja, Montesano e Izu (2016) buscan establecer la evolucin
de la alianza teraputica y su relacin con el cambio sintomatolgico, y la
satisfaccin marital. Lo innovador de este estudio radica en que examina el
proceso de cambio en el contexto de una modalidad teraputica ms compleja
que la didica. Adems, muestra de manera muy ilustrativa la relacin existente
entre la depresin y las dinmicas de pareja.
De esta manera, el presente nmero especial nos entrega una variada muestra
de distintas aproximaciones al estudio del macro-proceso teraputico. Como
veremos a continuacin, este monogrfico tambin da cuenta de distintas e
interesantes aproximaciones al estudio del micro-proceso, examinando elementos
de la interaccin teraputica al interior de episodios relevantes de la terapia.
El estudio de Morn et al. (2016) representa una aproximacin innovadora y
sofisticada al estudio de micro-proceso, basada en el anlisis exhaustivo de la
conducta verbal y no verbal de paciente y terapeuta al interior de episodios de
Psychotherapy process research / Investigacin del proceso psicoteraputico 217

cambio y de ruptura de la alianza, a lo largo de cinco terapias. La investigacin


combina el anlisis del discurso de los participantes, con el de su cualidad vocal y
de la expresin facial emocional, para dar cuenta de lo que los autores entienden
como el proceso de regulacin mutua entre paciente y terapeuta. De esta manera,
nos presentan una caracterizacin de estos dos escenarios interaccionales
episodios de cambio y de ruptura basada en mecanismos asociados a inte-
racciones especficas de los participantes. Adems, reflejan un intento por integrar
los elementos tanto explcitos como implcitos de la interaccin teraputica para la
comprensin de los mecanismos de cambio.
En esta misma lnea, y a partir de un diseo similar, Barros, Altimir, y Prez
(2016), se centran de manera ms especfica en los mecanismos de regulacin
afectiva de los pacientes, expresados a travs de la conducta facial, durante
episodios de ruptura de la alianza. El aporte de este estudio radica en determinar
algunos mecanismos psicolgicos de los pacientes asociados a su experiencia de
agencia y afiliacin durante momentos de tensin relacional. Asimismo, permite
establecer algunas caractersticas propias de los distintos tipos de ruptura de
confrontacin y de retirada que pueden contribuir a un mejor manejo clnico de
estos eventos.
Valds, Arriagada, y Alamo (2016), por su parte, se aproximan al estudio de
micro-proceso teraputico identificando las demandas y ofertas relacionales
expresadas verbalmente por pacientes con depresin, y estableciendo su relacin
con los estilos de personalidad anacltico e introyectivo. Al igual que en los
estudios anteriores, estos autores examinan elementos de la interaccin
teraputica manifestados por los pacientes, con el fin de esclarecer mecanismos
relevantes del proceso teraputico. Lo original de este estudio es su intento por
establecer un puente entre dichos elementos interaccionales y las caractersticas
del funcionamiento psicolgico general de pacientes con depresin. Esto consti-
tuye un aporte sustancial para la comprensin y el manejo teraputico de pacientes
con caractersticas psicopatolgicas particulares, como lo es la depresin en
combinacin con el estilo de personalidad.
Tambin a partir de un foco en la comunicacin teraputica verbal, el estudio
de Krause et al. (2016) identifica las Formas Lingsticas Bsicas presentes en los
turnos de palabra enunciados por los participantes durante episodios de cambio,
en 24 procesos psicoteraputicos. Resulta interesante la manera en que los autores
establecen relaciones entre el uso de determinadas Formas Lingsticas Bsicas y
los roles de los participantes, las fases de la terapia en que tienen lugar, y el
contenido de los cambios experimentados por los pacientes. Este estudio micro-
analtico constituye una contribucin significativa en la creciente caracterizacin
de los mecanismos a travs de los cuales se construye el cambio en psicoterapia.
Por ltimo, el artculo de von Mengden-Campezatto, Barcelos-Serralta, y
Habigzang (2016), por medio de un estudio de caso nico, tambin examina la
interaccin de paciente y terapeuta, estableciendo su relacin con los ciclos
teraputicos de cambio del paciente. Esta investigacin aborda los factores aso-
ciados al cambio incluidas las intervenciones de la terapeuta y las actividades y
respuestas de la paciente as como el contenido del cambio. Esto, a su vez,
218 M. Krause and C. Altimir

implica una descripcin de la evolucin de la terapia al distinguir dos etapas, una


con ciclos de cambio y una sin ciclos de cambio. A partir de esta detallada
descripcin del proceso, el estudio intenta ofrecer una comprensin de la
interrupcin de la terapia por parte de la paciente, contribuyendo a la
comprensin de los procesos de trmino de la terapia con pacientes borderline.
Los artculos de investigacin emprica de proceso presentados en este nmero
especial dan cuenta de las distintas aproximaciones, tanto a la unidad de estudio,
como al foco de anlisis del proceso en psicoterapia. Por medio de la revisin de
estos estudios, es posible tener una idea cabal de la manera en que las nuevas
tendencias en investigacin de proceso se plasman en diseos y estudios
especficos de gran valor tanto investigativo como clnico. Se puede apreciar
cmo el estudio del proceso psicoteraputico constituye en s mismo un puente
entre la investigacin en psicoterapia y la prctica clnica, generando conoci-
miento valioso para entender y mejorar la psicoterapia (Rice & Saperia, 1984).

Mtodos de la investigacin del proceso psicoteraputico


La investigacin del proceso psicoteraputico se caracteriza por el uso de una
variedad de mtodos y por ser innovadora, en trminos de la creacin de nuevas
metodologas que buscan captar los contenidos del cambio, sus mecanismos, o los
factores favorecedores del mismo.
Dada la complejidad de su objeto de anlisis, que involucra variables de
diversa naturaleza, es habitual en la investigacin del proceso psicoteraputico
la combinacin de diversas metodologas en un mismo estudio. As, es frecuente
que se apliquen dispositivos tanto cualitativos como cuantitativos en las distintas
fases de una investigacin, y es comn que se incluyan diversas perspectivas: del
paciente, del terapeuta y de observadores del proceso.
Los datos primarios de las investigaciones de proceso son obtenidos con
frecuencia en settings naturales, vale decir, a travs de terapias reales. Por lo
mismo, el acceso a estos datos conlleva algunos desafos ticos, como por
ejemplo, la garanta de confidencialidad para los participantes, como tambin
tcnicos, ya que las terapias suelen ser grabadas en video o audio, debindose
cumplir con ciertos estndares de excelencia para su posterior anlisis. Este
nfasis en captar datos primarios en situaciones naturales, vale decir, directamente
del ejercicio clnico, ha implicado el desarrollo de una serie de dispositivos y
manuales, tanto para datos visuales (que son directamente observados en la
terapia) como para el trabajo con datos verbales (que son trabajados a travs de
las transcripciones de las sesiones).
En varios estudios del presente nmero especial se utilizan mtodos de
observacin directa, en base al uso de manuales. Por ejemplo, Montesano e Izu
(2016) aplican el Sistema de Observacin de Alianza Teraputica en Intervencin
Familiar (Friedlander et al., 2006) para evaluar la alianza teraputica en el
contexto de una terapia de pareja; y Krause et al. (2016), aplican los
Indicadores de Cambio Genricos (Krause et al., 2007), basados en observaciones
de video de terapias, para determinar etapas del cambio psicoteraputico.
Psychotherapy process research / Investigacin del proceso psicoteraputico 219

Algunos estudios combinan diferentes sistemas de observacin a fin de rela-


cionar caractersticas de los pacientes con la interaccin psicoteraputica. Este es
el caso del estudio de Valds et al. (2016), que aplica la Pauta de Observacin
para el Diagnstico de Sintomatologa Depresivos [Observation Guideline for the
Diagnosis of Depressive Symptoms] (Salvo, Cordes, & Valds, 2012), con la
finalidad de luego relacionar estas caractersticas con verbalizaciones, captadas
por el CCRT-LU-S Category System (Albani et al., 2002). Este estudio, al igual
que otros del presente nmero especial, combina sistemas observacionales con
procedimientos tambin manualizados para captar aspectos de la
comunicacin verbal. En el caso del estudio de Morn et al. (2016), por ejemplo,
se combin un sistema observacional para la determinacin de episodios rele-
vantes, con la codificacin del discurso, la voz y la expresin facial de terapeuta y
paciente. Para esta ltima dimensin fue aplicado el Facial Action Coding System
(FACS), desarrollado originalmente por Ekman y Friesen (1978). Este
mismo mtodo fue tambin aplicado por Barros et al. (2016) al estudio de la
regulacin afectiva implcita en episodios de ruptura de la alianza.
Otros de los trabajos del presente nmero especial se focalizan en el anlisis de
verbalizaciones utilizando transcripciones de sesiones psicoteraputicas, tambin
empleando procedimientos manualizados creados para este fin. Este procedimiento
fue seguido, por ejemplo, en la investigacin de Prez-Ruiz y Caro-Gabalda (2016),
a travs de la aplicacin del modelo de asimilacin de experiencias problemticas
(APES) de Stiles (2001) en un estudio de caso, o el de Krause et al. (2016), donde
se aplic el Sistema de Codificacin de la Actividad Teraputica (SCAT) a las
transcripciones de episodios significativos, con la finalidad de captar verbaliza-
ciones de terapeutas y pacientes relacionados con el cambio.
Como se puede apreciar en esta mirada transversal a los mtodos de recoleccin
de datos utilizados por los estudios de este nmero especial, la investigacin del
proceso psicoteraputico ha sido prolfica en cuanto a la generacin de mtodos
propios, cuya finalidad ltima es poder captar el detalle de las variables relevantes
para el cambio, al interior de la psicoterapia. Algunas de estas metodologas
responden al marco conceptual de determinadas escuelas psicoteraputicas, como
es el caso del mtodo presentado por el artculo de Maldavsky (2016), cuya
finalidad es el estudio de los deseos, las defensas y su estado, en relatos de
pacientes, en tanto otros, tales como el APES o el SCAT, tienen la intencin de
ser genricos, en el sentido de tener independencia de las escuelas psicoteraputicas.
Sin embargo, la investigacin de proceso no solo es creadora de metodologas
nuevas, sino que tambin aplica procedimientos ms clsicos en su recoleccin de
datos, combinndolos con las alternativas innovadoras previamente mencionadas.
Entre stos, la entrevista (a pacientes o terapeutas) es un mtodo ampliamente
utilizado, aplicada en formato estandarizado de entrevista clnica en el estudio de
Montesano e Izu (2016), o en un formato semi-estructurado en los trabajos de
Abarza et al. (2016) y de guila et al. (2016). Estas entrevistas semi-
estructuradas ampliamente utilizadas en la investigacin del proceso
psicoteraputico se emplean con la intencin de captar la mirada retrospectiva
de los participantes sobre el proceso de cambio. Como lo demuestra el meta-
220 M. Krause and C. Altimir

anlisis cualitativo de Schrmann y Mhlmeyer-Mentzel (2016), a partir de estos


datos cualitativos provenientes de entrevistas es posible reconstruir la progresin
del cambio, tanto en sus contenidos y mecanismos, como en cuanto a los
elementos que lo facilitaron.
La complejidad de los datos provenientes de los procesos psicoteraputicos, y
captada por medio de sofisticados sistemas observacionales y de codificacin de
la actividad verbal y no verbal, con frecuencia tambin se complementa con
informacin proveniente de la aplicacin de instrumentos de auto-reporte, respon-
didos por pacientes o terapeutas. Este tipo de instrumentos fueron incluidos en los
diseos de la mayora de los estudios de este nmero especial, teniendo un mayor
protagonismo en algunos en particular, como en el trabajo de Constantino et al.
(2016). Este estudio, que nos servir para ejemplificar la forma en que se integran
los instrumentos de auto-reporte en los diseos de estudios del proceso
psicoteraputico, evala el impacto que las expectativas de resultados post-
tratamiento tienen sobre la psicoterapia con pacientes deprimidos. Aplica instru-
mentos de amplio uso en el mundo para evaluar la sintomatologa depresiva y
ansiosa, como el Inventario de Depresin de Beck (BDI-II; Beck, Steer, & Brown,
1996), el Inventario de Ansiedad de Beck (BAI; Beck, Epstein, Brown, & Steer,
1988) y el Cuestionario de Salud del Paciente-9 (PHQ-9; Kroenke, Spitzer, &
Williams, 2001), junto a otros de extenso uso en la investigacin del proceso
teraputico como el Working Alliance Inventory (WAI; Horvath & Greenberg,
1986) y el Inventario de Factores Teraputicos (TFI-S; MacNair-Semands,
Ogrodniczuk, & Joyce, 2010). En este estudio, adems de las mediciones orien-
tadas a la sintomatologa (y su potencial disminucin), se aplican instrumentos
para captar otros cambios producto de la psicoterapia: el Inventario de Calidad de
Vida (QOLI; Frisch, Cornell, Villanueva, & Retzlaff, 1992), el Inventario de
Problemas Interpersonales-28 (IIP-28; Pilkonis, Kim, Proietti, & Barkham,
1996), junto al instrumento especfico que evala el objeto de investigacin del
estudio, la Escala de Expectativas de Resultados (OES; Ogrodniczuk & Sochting,
2010). En los estudios del proceso psicoteraputico, los pacientes habitualmente
responden los cuestionarios en distintos momentos de la evolucin de la psicote-
rapia, incluido su inicio, algunos puntos intermedios y su finalizacin. En el caso
del estudio de Constantino et al. (2016), se aplican instrumentos en la fase inicial
de la terapia, especficamente en las sesiones 1 a 5, y en el post-tratamiento. A
travs de estos distintos puntos de evaluacin es posible determinar la relacin
que tienen distintas variables de entrada tanto con la evolucin inicial del proceso
como con los resultados finales. Los estudios con este tipo de diseo son valiosos
tambin para el ejercicio clnico, ya que sus resultados proveen de marcadores
para potencialmente monitorear la evolucin del proceso psicoteraputico.
Los instrumentos cuantitativos que se aplican al estudio del proceso
psicoteraputico son usados en distintos contextos culturales y por ende requieren
de la validacin para cada uno de estos. En el presente nmero especial hemos
incluido dos estudios cuyo aporte es justamente la adaptacin de un instrumento a
un nuevo contexto cultural. As, Daz-Oropeza y Pea-Leyva (2016), proveen a la
comunidad de investigadores en psicoterapia de una versin en espaol de la
Psychotherapy process research / Investigacin del proceso psicoteraputico 221

Escala de Negociacin de la Alianza teraputica, y Gmez-Penedo, Barrientos,


Martnez, y Roussos (2016), validan la versin en espaol de la Escala
Comparativa del Proceso Psicoteraputico (CPPS).
En trminos de los diseos de investigacin, los estudios de proceso son diversos.
Sin embargo, ya que se privilegia el anlisis en profundidad a travs de la inclusin de
una multiplicidad de variables, que son medidas en distintos momentos de la evolucin
de la psicoterapia y en contextos naturales, es habitual que los tamaos muestrales sean
relativamente reducidos, existiendo tambin una abundancia de estudios de caso.
Siguiendo esta tendencia, el presente nmero especial incluye varios estudios de
caso, entre ellos el de Ramos et al. (2016), que analiza el proceso de cambio en una
psicoterapia psicoanaltica grupal en nios; el de Montesano e Izu (2016), que lo estudia
en una terapia de pareja; y el de von Mengden-Campezatto et al. (2016), que analiza las
condiciones asociadas a la interrupcin de un proceso teraputico en una paciente con
trastorno de personalidad borderline. Estos estudios de caso presentan un diseo
metodolgico complejo, que apunta a comprender la interrelacin de distintas variables
asociadas al efecto (o no efecto) de la terapia, combinando mtodos cualitativos y
cuantitativos, y evaluaciones en distintos momentos del proceso.
En cuanto al anlisis de datos, es frecuente la integracin de mtodos cualita-
tivos con cuantitativos, o bien la cuantificacin a travs de manuales de
codificacin de informacin proveniente de un primer anlisis cualitativo
realizado por observadores o jueces. Algunos estudios, cuando involucran un
conjunto de terapias, emplean mtodos de anlisis que consideran la cualidad de
datos anidados de la informacin recolectada. Este es el caso del estudio de
Krause et al. (2016), que tuvo en consideracin que el dato primario turno de
palabra estaba anidado en episodios de la terapia, que a su vez perteneca a una
determinada terapia. Este anlisis, realizado por medio del Hierarchical Modeling,
considera el complejo interjuego de variables en estos distintos niveles de anlisis.
Es importante sealar que los estudios de proceso en la actualidad no solo
analizan lo que acontece al interior de la terapia, vale decir, la progresin del
cambio, sus mecanismos y factores determinantes, sino que cada vez ms
frecuentemente consideran los resultados finales, convirtindose por lo tanto en
estudios de proceso-resultado. El resultado final puede incluirse en el diseo del
estudio como variable dependiente, pudiendo de este modo relacionar sucesos del
proceso con el efecto final, o bien se puede considerar para la clasificacin y
posterior comparacin de terapias. En cualquier caso, es relevante para la
investigacin de proceso no estar ciega a los resultados finales. Sin embargo
esta inclusin puede conllevar un desafo conceptual, ya que en ocasiones las
nociones de cambio implicadas en algunas evaluaciones de proceso no coinciden
con aqullas implcitas en los instrumentos para evaluar resultado final.
Por ltimo, este nmero especial contiene la resea de un libro de gran
actualidad para la investigacin en psicoterapia, titulado Psychotherapy
Research: Foundations, Process and Outcome, de los editores Gelo, Pritz, and
Rieken (2015). La resea de Espinosa (2016) presenta dicho libro como un
mapa imprescindible para todo lector que desee aproximarse al campo de la
investigacin en psicoterapia, o bien busque profundizar y actualizar sus
222 M. Krause and C. Altimir

conocimientos. La investigacin del proceso psicoteraputico tiene un lugar


protagnico en este libro, que recoge tanto su historia como sus desarrollos ms
actuales.
Nuestra intencin al reunir en este nmero especial estudios de proceso
psicoteraputico fue dar cuenta de la diversidad y complejidad de distintos
focos y unidades de estudio, de sus aproximaciones metodolgicas, y de la
riqueza de sus resultados. Esperamos, a travs de estos trabajos, dar an mayor
visibilidad a este mbito de investigacin, contribuir a la discusin que se da en su
interior, estimular a los investigadores del proceso psicoteraputico a continuar
desarrollando estudios en esta rea, y alentar a los clnicos a considerar sus
resultados en sus prcticas.

Acknowledgments / Agradecimientos
The authors gratefully acknowledge the support by the Fund for Innovation and
Competitiveness (FIC) of the Chilean Ministry of Economy, Development and Tourism,
through the Millennium Science Initiative, Grant N IS130005. Las autoras agradecen el
apoyo del Fondo de Innovacin para la Competitividad (FIC) del Ministerio de
Economa, Fomento y Turismo, a travs de la Iniciativa Cientfica Milenio, Proyecto
IS130005.

Disclosure statement
No potential conflict of interest was reported by the authors. / Los autores no han referido
ningn potencial conflicto de inters en relacin con este artculo.

References / Referencias
Abarza, M., Silva, M., Navarro, D., & Krause, M. (2016). Psychotherapy from the
perspective of Chilean patients with schizophrenia / Psicoterapia desde la perspectiva
de pacientes chilenos con esquizofrenia. Estudios de Psicologa, 37, 417430.
guila, D., Lama, X., Capella, C., Rodrguez, L., Dussert, D., Gutirrez, C., & Beiza, G.
(2016). Narratives from therapists regarding the process of psychotherapeutic change
in children and adolescents who have been victims of sexual abuse / Narrativas de
terapeutas sobre el proceso de cambio psicoteraputico en nios, nias y adolescentes
que han sido vctimas de agresiones sexuales. Estudios de Psicologa, 37, 343363.
Albani, C., Pokorny, D., Blaser, G., Grueninger, S., Koenig, S., Marschke, F., Kchele,
H. (2002). Reformulation of the Core Conflictual Relationship Theme (CCRT) cate-
gories: The CCRT-LU category system. Psychotherapy Research, 12, 319338.
doi:10.1093/ptr/12.3.319
Barros, P., Altimir, C., & Prez, J. C. (2016). Patients facial-affective regulation during
episodes of rupture of the therapeutic alliance / Regulacin afectivo-facial de pacientes
durante episodios de ruptura de la alianza teraputica. Estudios de Psicologa, 37,
579602.
Beck, A. T., Epstein, N., Brown, G., & Steer, R. A. (1988). An inventory for measuring
clinical anxiety: Psychometric properties. Journal of Consulting and Clinical
Psychology, 56, 893897. doi:10.1037/0022-006X.56.6.893
Beck, A. T., Steer, R. A., & Brown, G. K. (1996). Manual for the beck depression
inventory-II. San Antonio, TX: Psychological Corporation.
Psychotherapy process research / Investigacin del proceso psicoteraputico 223

Constantino, M. J., Vsl, A., Ogrodniczuk, J. S., Coyne, A. E., & Schting, I. (2016).
Forward thinking: correlates of posttreatment outcome expectation among depressed
outpatients / Pensamiento prospectivo: correlatos de las expectativas de resultados
post-tratamiento de pacientes ambulatorios que sufren depresin. Estudios de
Psicologa, 37, 281309.
Daz-Oropeza, I.-F., & Pea-Leyva, L.-A. (2016). Validation of the Spanish version of the
Therapeutic Alliance Negotiation Scale / Validacin de la versin en espaol de la
Escala de Negociacin de la Alianza Teraputica. Estudios de Psicologa, 37, 603
631.
Ekman, P., & Friesen, W. V. (1978). Facial action coding system: A technique for the
measurement of facial movement. Palo Alto, CA: Consulting Psychologists Press.
Elliott, R. (2010). Psychotherapy change process research: Realizing the promise.
Psychotherapy Research, 20, 123135. doi:10.1080/10503300903470743
Espinosa, H. D. (2016). Book Review: Psychotherapy Research: Foundation, Process and
Outcome / Revisin de Libro: Investigacin en Psicoterapia: Fundamentos, Proceso y
Resultado. O. Gelo, A. Pritz, & B. Rieken (Editores), Estudios de Psicologa, 37,
677683.
Friedlander, M. L., Escudero, V., Horvath, A. O., Heatherington, L., Cabero, A., &
Martens, M. P. (2006). System for observing family therapy alliances: A tool for
research and practice. Journal of Counseling Psychology, 53, 214225. doi:10.1037/
0022-0167.53.2.214
Frisch, M. B., Cornell, J., Villanueva, M., & Retzlaff, P. (1992). Clinical validation of the
Quality of Life Inventory. A measure of life satisfaction for use in treatment planning
and outcome assessment. Psychological Assessment, 4, 92101. doi:10.1037/
10403590.4.1.92
Gelo, O., Pritz, A., & Rieken, B. (Eds.). (2015). Psychotherapy research. Foundations,
process, and outcome. Viena: Springer. 10.1007/978-3-7091-1382-0
Gennaro, A., Al-Radaideh, A., Gelo, O., Manzo, S., Nitti, M., Auletta, A., & Salvatore, S.
(2010). Modelling the psychotherapy process as a meaning making dynamics. The
Two Stage Semiotic Model (TSSM) and the Discourse Flow Analyzer (DFA). In S.
Salvatore, J. Valsiner, J. Travers Simon, & A. Gennaro (Eds.), Yearbook of idio-
graphic science 2009Volume 2 (pp. 131170). Roma: Firera Publishing Group.
Greenberg, L. (1986). Change process research. Journal of Consulting and Clinical
Psychology, 54, 49. doi:10.1037/0022-006X.54.1.4
Gmez-Penedo, J.-M., Barrientos, J.-C., Martnez, A., & Roussos, A. (2016).
Comparative Psychotherapy Process Scale (CPPS): analysis of the validity and relia-
bility of the Spanish adaptation / Escala Comparativa del Proceso Psicoteraputico
(CPPS): anlisis de la validez y confiabilidad de su adaptacin al castellano. Estudios
de Psicologa, 37, 655676.
Horvath, A. O. (2016). Emerging trends in psychotherapy process research / Tendencias
emergentes en la investigacin del proceso psicoteraputico. Estudios de Psicologa, 37,
225258.
Horvath, A. O., & Greenberg, L. S. (1986). The development of the working alliance
inventory. In L. S. Greenberg & W. Pinsoff (Eds.), The psychotherapeutic process: A
research handbook (pp. 529556). New York, NY: Guildford Press.
Kirschenbaum, H., & Jourdan, A. (2005). The current status of Carl Rogers and the
person-centered approach. Psychotherapy: Theory, Research, Practice, Training, 42,
3751. doi:10.1037/0033-3204.42.1.37
Knobloch-Fedders, L. M., Elkin, I., & Kiesler, D. J. (2015). Looking back, looking
forward: A historical reflection on psychotherapy process research. Psychotherapy
Research, 25, 383395. doi:10.1080/10503307.2014.906764
Krause, M., Altimir, C., Prez, J. C., Echvarri, O., Valds, N., & Strasser, K. (2016).
Therapeutic verbal communication in change episodes: a comparative microanalysis
224 M. Krause and C. Altimir

of linguistic basic forms / Comunicacin verbal teraputica en episodios de cambio:


un microanlisis comparativo de las formas lingsticas bsicas. Estudios de
Psicologa, 37, 513546.
Krause, M., Altimir, C., Prez, J. C., & De La Parra, G. (2015). Generic change indicators
in therapeutic processes with different outcomes. Psychotherapy Research, 25,
533545. doi:10.1080/10503307.2014.935516
Krause, M., De La Parra, G., Arstegui, R., Dagnino, P., Tomicic, A., Valds, N.,
Ramirez, I. (2007). The evolution of therapeutic change studied through generic change
indicators. Psychotherapy Research, 17, 673689. doi:10.1080/10503300601158814
Krause, M., De La Parra, G., Aristegui, R., Dagnino, P., Tomicic, A., Valds, N., et al.
(2006). Indicadores genricos de cambio en el proceso psicoteraputico. Revista
Latinoamericana de Psicologa, 38, 299325.
Kroenke, K., Spitzer, R. L., & Williams, J. B. (2001). The PHQ-9: Validity of a brief
depression severity measure. Journal of General Internal Medicine, 16, 606613.
doi:10.1046/j.1525-1497.2001.016009606.x
MacNair-Semands, R. R., Ogrodniczuk, J. S., & Joyce, A. S. (2010). Structure and initial
validation of a short form of the Therapeutic Factors Inventory. International Journal
of Group Psychotherapy, 60, 245281. doi:10.1521/ijgp.2010.60.2.245
Maldavsky, D. (2016). An instrument for the study of wishes, defenses and their state in
patients narratives / Un instrumento para el estudio de los deseos, las defensas y su
estado en los relatos de los pacientes. Estudios de Psicologa, 37, 632654.
Montesano, A., & Izu, S. (2016). Analysis of the therapeutic process in a case of couple
therapy for depression: how to deal with a problematic within-system alliance /
Anlisis del proceso teraputico en un caso de terapia de pareja para la depresin:
Cmo lidiar con una alianza intra-sistema problemtica. Estudios de Psicologa, 37,
392416.
Morn, J., Martnez, C., Tomicic, A., Prez, J. C., Krause, M., Guzmn, M., de la
Cerda, C. (2016). Verbal and nonverbal expressions of mutual regulation in relevant
episodes of psychotherapy / Manifestaciones verbales y no verbales de la regulacin
mutua en episodios relevantes de psicoterapia. Estudios de Psicologa, 37, 547578.
National Institute of Mental Health. (2008). The National Institute of Mental Health
Strategic Plan. Bethesda, MD: National Institute of Mental Health. Retrieved from
http://www.nimh.nih.gov/about/strategic-planning-reports/index.shtml
Ogrodniczuk, J. S., & Sochting, I. (2010). Outcome expectancy scale. Vancouver, BC:
The University of British Columbia.
Prez-Ruiz, S., & Caro-Gabalda, I. (2016). Assimilation of problematic experiences in
Brief Strategic Therapy: Olivia and her fear of dying / La asimilacin de experiencias
problemticas en la Terapia Breve Estratgica: Olivia y su miedo a morir. Estudios de
Psicologa, 37, 310342.
Pilkonis, P. A., Kim, Y., Proietti, J. M., & Barkham, M. (1996). Scales for personality
disorders developed from the Inventory of Interpersonal Problems. Journal of
Personality Disorders, 10, 355369. doi:10.1521/pedi.1996.10.4.355
Prochaska, J. O., & Norcross, J. C. (2002). Stages of change. In J. C. Norcross (Ed.),
Psychotherapy relationships that work: Therapist contributions and responsiveness to
patients (pp. 303313). New York, NY: Oxford University Press.
Ramos, L., Freidin, F., Sacco, V., Aguiriano, V., Padawer, M., Bardi, D., & Luzzi, A.-M.
(2016). Analysis of the therapeutic change process in the context of a child group
psychoanalytic psychotherapy: a single case study / Anlisis del proceso de cambio
teraputico en el contexto de una psicoterapia psicoanaltica grupal de nios: un
estudio de caso nico. Estudios de Psicologa, 37, 364391.
Rice, L. N., & Saperia, E. P. (1984). A task analysis of the resolution of problematic
reactions. In L. N. Rice & L. S. Greenberg (Eds.), Patterns of change: Intensive
analysis of psychotherapy process (pp. 2966). New York, NY: Guilford Press.
Psychotherapy process research / Investigacin del proceso psicoteraputico 225

Safran, J. D. (2003). The relational turn, the therapeutic alliance, and psychotherapy
research. Strange bedfellows or postmodern marriage? Contemporary
Psychoanalysis, 39, 449475. doi:10.1080/00107530.2003.10747215
Salvo, D., Cordes, K., & Valds, N. (2012). Pauta de Observacin para el diagnstico de
Sintomatologa Depresiva [Observation Guideline for the Diagnosis of Depressive
Symptoms]. Unpublished manuscript.
Schrmann, I., & Mhlmeyer-Mentzel, A. (2016). What leads to success in the change
process from a client perspective? / Qu es lo que conduce al xito en el proceso de
cambio desde la perspectiva del cliente? Estudios de Psicologa, 37, 259280.
Smith, M. L., & Glass, G. V. (1977). Meta-analysis of psychotherapy outcome studies.
American Psychologist, 32, 752760. doi:10.1037/0003-066X.32.9.752
Stiles, W. B. (2001). Assimilation of problematic experiences. Psychotherapy: Theory,
Research, Practice, Training, 38, 462465. doi:10.1037/0033-3204.38.4.462
Stiles, W. B. (2002). Assimilation of problematic experiences. In J. C. Norcross (Ed.),
Psychotherapy relationships that work: Therapist contributions and responsiveness to
patients (pp. 357365). New York, NY: Oxford University Press.
Valds, N., Arriagada, L., & Alamo, N. (2016). Relational offers and demands: analyzing
the conflictual interactional components of anaclitic and introjective female depressive
patients / Ofertas y demandas relacionales: anlisis de los componentes interaccionales
conflictivos de pacientes mujeres depresivas anaclticas e introyectivas. Estudios de
Psicologa, 37, 431482.
von Mengden-Campezatto, P., Barcelos-Serralta, F., & Habigzang, L.-F. (2016).
Interrupted therapeutic process of a patient with borderline personality disorder /
Proceso teraputico interrumpido con un paciente con trastorno de personalidad
borderline. Estudios de Psicologa, 37, 483512.

Das könnte Ihnen auch gefallen