Sie sind auf Seite 1von 17

cb

INVENTRIO MULTIFSICO MINNESOTA DE


PERSONALIDADE (MMPI): ANLISES PSICOMTRICAS

Kellyane Madureira Figueiredo1


Liza Fensterseifer2

RESUMO: O Inventrio Multifsico Minnesota de Personalidade (MMPI) um instrumento


originariamente americano, que pode oferecer um importante auxlio na avaliao da persona-
lidade e, que atualmente, encontra-se desfavorvel para uso no Brasil. Tendo isso em vista, a
presente pesquisa teve como objetivo desenvolver um estudo preliminar das propriedades
psicomtricas do MMPI. Para tanto, foi realizada uma pesquisa quantitativa, do tipo transver-
sal, com a participao de 384 estudantes de Psicologia, de diferentes cidades de Minas Ge-
rais, com idade mnima de dezoito anos (M=25,3; DP=7,6), predominantemente mulheres
(82%). Os participantes assinaram um Termo de Consentimento Livre e Esclarecido, respon-
deram a uma Ficha de Dados Sociodemogrficos e ao MMPI, em aplicaes coletivas, nas
prprias universidades. Os resultados relativos investigao de evidncias de validade do
instrumento revelaram, atravs de anlise fatorial exploratria (AFE), que a grande maioria
das escalas que o compem tem mais de um fator, sendo que alguns itens no carregaram
em nenhum fator. Quanto preciso do MMPI, observou-se que para a maioria das escalas
clnicas encontrou-se um coeficiente alfa de Cronbach de moderado a satisfatrio (Esquizo-
frenia 0,888; Psicastenia 0,866; Hipocondria 0,778; Introverso/Extroverso 0,777;
Desvio Psicoptico 0,647; Depresso 0,629). As escalas com maiores problemas quanto
preciso foram a Histeria (0,575), Paranoia (0,586), Hipomania (0,594) e Masculinida-
de/Feminilidade (0,396/ 0,341, respectivamente). Entretanto, alguns itens, assim como apon-
tado pela AFE, no contribuem para a preciso da escala, podendo, inclusive, ser excludos.
Desse modo, a partir dos resultados obtidos neste estudo inicial das propriedades psicomtri-
cas do MMPI, foi constatada a necessidade de realizar estudos mais amplos, principalmente
com uma amostra mais diversificada, como exemplo, participantes com diagnsticos diferen-
ciais para os traos abordados pelo instrumento, como tambm, novas anlises estatsticas,
como anlises fatoriais confirmatrias, a fim de responder de maneira adequada aos requisitos
mnimos indicados na Resoluo n 002/2003, do Conselho Federal de Psicologia (CFP).
PALAVRAS-CHAVE: Inventrio Multifsico Minnesota de Personalidade (MMPI); Valida-
o de instrumento psicolgico; Propriedades psicomtricas.

1 INTRODUO

Instrumentos psicolgicos de medida precisam apresentar determinadas caractersticas


que justifiquem a confiana que depositada nos resultados que produzem. Para que possam
ser considerados e tomados como legtimos e confiveis, precisam apresentar dados
favorveis de preciso e validade. O Conselho Federal de Psicologia - CFP, com a resoluo

1
Psicloga, Mestranda em Psicologia pela Universidade Federal de Minas Gerais, Especialista em Avaliao e
Diagnstico Psicolgico pela PUC Minas, professora do Curso de Psicologia do Centro de Gesto Empreende-
dora FEAD. kemf_int@yahoo.com.br
2
Psicloga, Doutora em Psicologia pela Pontifcia Universidade Catlica do Rio Grande do Sul, professora do
Curso de Psicologia da PUC Minas - Unidade So Gabriel. pxl@terra.com.br

Submetido em: 15/10/2015


Aceito em: 22/01/2016
Kellyane Madureira Figueiredo, Liza Fensterseifer 221

n 002/2003 (CFP, 2003), determinou que so requisitos mnimos e obrigatrios para todos os
instrumentos de avaliao psicolgica, a especificao do construto que o instrumento em
questo pretende avaliar, a caracterizao fundamentada na literatura da rea, evidncias
empricas de validade, preciso e das propriedades psicomtricas dos itens. Assim sendo, todo
instrumento de avaliao psicolgica, objetivo ou projetivo, antes de ser editado,
comercializado e utilizado, deve passar por um exame de suas qualidades psicomtricas (CFP,
2007).
No ano de 2003, por meio da Resoluo n 002/2003, o CFP criou o Sistema de
Avaliao dos Testes Psicolgicos SATEPSI, passando-se a exigir qualidade cientfica dos
instrumentos psicolgicos. Alm de zelar pelo rigor tico e cientfico dos testes, tambm
compete ao referido sistema oferecer acesso, a quem tiver interesse, a documentos sobre a
avaliao dos testes psicolgicos realizada pelo CFP, tais como editais, pareceres
desfavorveis, relatrios e respostas s perguntas mais frequentes (todas estas informaes
encontram-se disponveis no site do Conselho Federal de Psicologia www.pol.org.br no
link SATEPSI). A resoluo tambm instituiu a Comisso Consultiva em Avaliao
Psicolgica, composta por especialistas no assunto pesquisadores e conselheiros com
experincia e produo cientfica na rea , que se tornou responsvel por analisar e emitir
pareceres, (respaldados nos parmetros definidos na resoluo), sobre os testes psicolgicos
recebidos pelo CFP (CFP, 2010). Estas aes e definies marcaram um importante e
imprescindvel avano na prtica e na instrumentalizao adequadas profisso do psiclogo,
principalmente no que diz respeito aos processos de avaliao psicolgica.
Os quesitos apontados na resoluo n 002/2003 so facilmente aplicados aos testes
objetivos, tipo de instrumento de interesse no presente estudo. Fazendo referncia especfica a
eles, destaca-se que os mesmos supem que os traos ou fenmenos psicolgicos que medem
possuem diferentes magnitudes, e essas so representadas por nmeros, baseando-se,
portanto, na psicometria e na teoria da medida psicomtrica. Os testes objetivos so tarefas
estruturadas e padronizadas e, por isso, qualquer aplicador que for realizar sua decodificao e
interpretao deve chegar aos mesmos resultados. Por este motivo, as tarefas propostas neste
tipo de instrumento foram o indivduo que se submete ao teste a assinalar alguma daquelas
respostas presentes como opo. Os resultados sempre so expressos em nmeros e o seu
significado, informao mais importante, definido e analisado a partir de pesquisas prvias
realizadas com o teste, com diferentes grupos de indivduos (PASQUALI, 2001).
Outra diferenciao e diviso importante entre os testes psicolgicos, segundo
Pasquali (2001), aquela que distingue os instrumentos pelo tipo de construto ou processo

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
INVENTRIO MULTIFSICO MINNESOTA DE PERSONALIDADE (MMPI):
222 ANLISES PSICOMTRICAS

psicolgico que eles pretendem medir ou avaliar. De um lado esto os testes que investigam a
capacidade intelectual ou a aptido de um indivduo, e por outro lado, os que buscam avaliar
as preferncias individuais. Neste ltimo grupo esto localizados os testes de personalidade,
que so instrumentos para a mensurao de caractersticas emocionais, de motivao,
interpessoais e de comportamento, diferentes das habilidades (ANASTASI, 1977, p. 523).
Estes apontamentos so importantes no contexto da presente pesquisa, pois ela teve
como principal objetivo o desenvolvimento de um estudo das propriedades psicomtricas de
um instrumento psicolgico objetivo, de personalidade, que h alguns anos pde ser utilizado
em contexto brasileiro, porm, no momento, apresenta-se desfavorvel diante dos critrios do
SATEPSI. Trata-se do Inventrio Multifsico Minnesota de Personalidade (Minnesota
Multiphasic Personality Inventory) MMPI, criado pelo psiclogo Starke Hathaway e o
neuropsiquiatra J.C. McKinley, nos Estados Unidos, em 1942. De acordo com Hathaway
citado por Anastasi (1977) o instrumento foi desenvolvido com o objetivo de verificar os
traos geralmente caractersticos de anormalidades psicolgicas prejudiciais (p. 528), e tem
grande utilidade na avaliao da personalidade dos indivduos.
De acordo com Silva (2011), nos Estados Unidos houve a criao de diversas medidas
de personalidade no decorrer da dcada de 1930. A vasta utilizao destes instrumentos
trouxe tona desconfianas e oposies dos crticos em relao possvel mentira,
falseamento das respostas, por parte do examinando, ao responder as questes do teste, ou
ainda, pela contestvel representatividade dos itens que compem o instrumento, sobre o que
pretendem de fato medir. A mesma autora afirma que com a apresentao do MMPI, esse
descrdito atenuou-se gradativamente, sendo este instrumento considerado nas dcadas
subsequentes o inventrio de personalidade mais utilizado nos EUA.
O status alcanado pelo MMPI, conforme mencionado, fez com que rapidamente ele
fosse difundido e utilizado em outros pases. No Brasil era comum a prtica de importar ins-
trumentos psicolgicos sem a realizao de estudos sobre seus parmetros psicomtricos e de
sua adequao a amostras brasileiras (NORONHA, 2002; ALCHIERI; CRUZ, 2003). O
MMPI, em 1970, passou a ser utilizado no pas, sem que houvesse um processo de adaptao
transcultural adequado. Atualmente, notadamente ocorreu a necessidade dos psiclogos se
implicarem e fomentarem estudos para a adequao das propriedades psicomtricas dos ins-
trumentos psicolgicos para a realidade brasileira. Em consonncia com esta tendncia, Al-
chieri e Cruz (2003) asseveram que cada vez mais deve-se contar com o empenho neste tipo
de pesquisa, a fim de se valer de instrumentos de qualidade, com resultados provenientes de
estudos cientficos significativos e relevantes.

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
Kellyane Madureira Figueiredo, Liza Fensterseifer 223

Para anlise da produo cientfica brasileira envolvendo o MMPI, foi utilizada a base
de dados eletrnicos Biblioteca Virtual da Sade - Psicologia (BVS-Psi). Essa escolha se deu
pelo fato de esta base ser avaliada como uma das mais completas para a visualizao da
produo nacional. Nela puderam ser visualizadas produes de bases como Scielo, PePSIC e
LILACS. Utilizando uma nica palavra-chave MMPI , foram encontradas 31 produes,
sendo consideradas apenas aquelas que utilizaram da forma completa do instrumento. A
primeira data de 1978 e a ltima de 2006. Constatou-se, atravs deste breve panorama da
produo cientfica brasileira envolvendo o MMPI, que o instrumento apresenta estudos
significativos, que indicam sua importncia. Contudo, o problema desta pesquisa
evidenciado pela inexistncia de estudos atuais sobre a validade do instrumento, respeitando
os novos critrios de avaliao dos testes psicolgicos utilizados no Brasil.
De acordo com Noronha (2002, p. 57), melhorar a qualidade do instrumento psicol-
gico uma tarefa rdua, mas indispensvel, tendo em vista que eles so exclusivos do psic-
logo, o que os associa e, de alguma forma, representa o grupo profissional de psiclogos.
Neste contexto, avalia-se que indispensvel a realizao de pesquisas cientficas, a fim de
dispor de instrumentos adaptados e confiveis em relao ao que se quer avaliar, e que o
MMPI pode ser um valioso auxlio para os psiclogos, principalmente em atuao clnica e
em processos seletivos de indivduos adultos. De tal modo, acredita-se ser de suma importn-
cia verificar suas qualidades psicomtricas, adaptando-o realidade brasileira.
Considerando a falta de estudos nacionais sobre as evidncias psicomtricas do MMPI
e a relevncia desse instrumento em pesquisas e na prtica clnica, pretende-se, com o presen-
te estudo, realizar anlises iniciais, a fim de investigar as propriedades psicomtricas e os re-
sultados de preciso e validade do MMPI, para uma amostra de estudantes universitrios de
Minas Gerais. Especificamente, esse estudo teve como objetivo conduzir: anlises dos itens
do instrumento (terica e semntica), por meio de avaliao de juzes, considerados especia-
listas na rea da avaliao psicolgica e com experincia no construto avaliado pelo MMPI;
estudos sobre as evidncias de validade, baseados na estrutura interna do instrumento (anlise
fatorial); e, investigao dos ndices de preciso, pelo coeficiente de consistncia interna.

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
INVENTRIO MULTIFSICO MINNESOTA DE PERSONALIDADE (MMPI):
224 ANLISES PSICOMTRICAS

2 MTODO

2.1 Participantes

A amostra, localizada por convenincia, foi composta por 384 graduandos em Psico-
logia, de universidades particulares, das cidades de Belo Horizonte (53%), Ipatinga (28%) e
Bom Despacho (19%), todas localizadas em Minas Gerais. Houve predominncia do sexo
feminino (82%), j que, em geral, os cursos da rea das Cincias Humanas caracterizam-se
por terem uma quantidade maior de alunas. A escolha da faixa etria contemplando idades
distintas, sendo a mnima de 18 anos, considerou que o instrumento original possibilitava
aplicaes a partir de 16 anos; porm, neste estudo, evitou-se a participao de menores de
idade (menores de 18 anos), em funo de procedimentos ticos complementares que devem
ser acrescentados quando so realizadas pesquisas com esse pblico, e por se tratar de uma
pesquisa com a finalidade de um trabalho de concluso de curso de graduao, so significa-
tivas as limitaes de tempo e recursos para o seu desenvolvimento. A idade mnima encon-
trada entre os participantes do estudo foi a pr-estabelecida e a idade mxima de 57 anos, com
idade mdia de 25,3 anos (DP=7,6). Constatou-se que entre 18 e 27 anos, concentra-se 73%
da amostra total. Em relao ao estado civil, h uma grande predominncia de pessoas que se
declaram solteiras (318), o que pode ser reflexo da grande porcentagem de adultos jovens.

2.2 Instrumentos

Cada participante recebeu um caderno do MMPI e uma folha de respostas, para a au-
toadministrao do material, assim como preencheu uma Ficha de Dados Sociodemogrficos,
elaborada a partir da adaptao do Questionrio socioeconmico e comportamental Verso
Adulto, do Laboratrio de Avaliao das Diferenas Individuais (LADI) UFMG. Com esta
ficha foi pretendida uma breve caracterizao dos participantes do presente estudo.
As pesquisas originais com o MMPI, desenvolvidas por Hathaway e McKinley, utili-
zaram amostras de pacientes psiquitricos, que tinham registros diagnsticos de suas patolo-
gias, e de indivduos normais, que formaram o grupo controle (CUNHA, 2000a). No Brasil, o
Inventrio Multifsico Minnesota de Personalidade foi adaptado pela editora CEPA (Centro
de Psicologia Aplicada), por Benk e Simes, em 1970. O material que compe o teste com-
preende o caderno com as questes/itens, a folha de respostas, a folha de apurao e as cha-
ves-gabarito, alm do manual.

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
Kellyane Madureira Figueiredo, Liza Fensterseifer 225

A aplicao auto-administrada pode ser coletiva ou individual, em um pblico com 16


anos ou mais, que tenha escolaridade mnima equivalente ao Ensino Fundamental. Estima-se
tempo mdio da aplicao de 90 minutos. O instrumento consiste em responder 566 afirma-
es, classificando-as em certo, errado e no sei, a partir de uma avaliao de autodes-
crio. As questes so itens com contedos considerados amplos e abrangem reas como
sade, sintomas psicossomticos, perturbaes neurolgicas e motoras; atitudes sexuais, reli-
giosas, polticas e sociais; questes educacionais, profissionais, familiares e matrimoniais;
como tambm amostras de comportamentos observados em neurticos ou em psicticos, co-
mo exemplos, comportamentos obsessivos e compulsivos, iluses, alucinaes, ideias de
perseguio, fobias, dentre outros (ANASTASI, 1977).
A adaptao brasileira do teste tambm apresentava a possibilidade de aplicao do
MMPI em forma abreviada, mesmo com a recomendao da aplicao do inventrio como um
todo. Esse modelo de aplicao pressupunha que o indivduo deveria responder apenas as
primeiras 366 afirmaes do teste. Existiam ressalvas para essa forma de aplicao, apontan-
do que as escalas K (Correo) e Si (Introverso Social) foram adicionadas posteriormente, o
que implicava que as afirmaes que se referem avaliao das mesmas esto alocadas nos
itens finais do teste, ou seja, no possvel obter resultados para as escalas em questo, na
forma abreviada do instrumento. Outra observao sobre a forma abreviada faz aluso ao cl-
culo da escala ? (Dvida), ao qual deve ser adicionado 50% do resultado total obtido pelo
indivduo, nesta escala. Considerando que no formato abreviado aplicado aproximadamente
um tero do total de itens, as respostas duvidosas, referentes escala ?, estariam em nmero
maior, caso tivesse sido aplicado todo o teste. Para a presente pesquisa considerou-se vlida a
aplicao do instrumento completo, ou seja, todos os 566 itens.
O MMPI organizado em escalas clnicas e de validade, algumas delas j menciona-
das aqui. Dessa forma, a seguir sero apresentadas e descritas estas escalas, demarcando sua
importncia para a composio do instrumento.
Um ponto positivo e que diferencia o MMPI de outros testes de personalidade o fato
de utilizar quatro escalas de validade, que representam verificaes de falta de cuidado, in-
compreenses, simulao e atuao de predisposies especiais de resposta e atitudes diante
do teste (ANASTASI, 1977, p. 529). Essas escalas foram denominadas como: Dvida, Men-
tira, Erro e Correo.
A discusso sobre a possibilidade de simulao ou fraude nas respostas de um indiv-
duo, em testes objetivos de personalidade, de extrema importncia. O MMPI ganha destaque
no momento em que prope quatro escalas que visam identificao e mensurao desta pos-

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
INVENTRIO MULTIFSICO MINNESOTA DE PERSONALIDADE (MMPI):
226 ANLISES PSICOMTRICAS

sibilidade e, consequentemente, apontam para a possvel invalidao do resultado do teste.


Contudo, os psiclogos, principalmente em contexto clnico, apreciam que resultados eleva-
dos nas escalas de validade tambm apontam para manifestaes da personalidade do indiv-
duo. Assim, feita a correo do instrumento, no o considerando invlido, mas com ateno
a esses elevados resultados, a fim de acrescentar importantes informaes, com efeitos para o
diagnstico (HATHAWAY; MCKINLEY, 1970). Desse modo, as escalas de validade apre-
sentam-se como um fator diferencial para o inventrio, o que mais uma vez assinala a utilida-
de do MMPI e a relevncia de estudos destinados sua adaptao para a realidade brasileira.
O MMPI apresenta seus resultados em dez escalas clnicas3 - Hipocondria, Depresso,
Histeria, Desvio Psicoptico, Masculinidade-Feminilidade, Parania, Psicastenia, Esquizofre-
nia, Hipomania, Introverso-Extroverso -, as quais proporcionam elementos para categorias
diagnsticas. As escalas sero descritas de acordo com o manual do teste de Hathaway e
McKinley - adaptado por Benk e Simes (1970), e a partir de dados complementares, refe-
rendados por Cunha (2000c).
Escala 1, (Hs) Hipocondria Trata-se de uma escala de sintomas, que visa mensurar
preocupaes relacionadas funo corporal. Indivduos hipocondracos caracterizam-se por
apresentar queixas consistentes ditas orgnicas, para as quais os mdicos no detectam ne-
nhuma causa aparente (CUNHA, 2000c).
Escala 2, (D) Depresso Tambm trata-se de uma escala de sintomas, que mede sin-
tomas da depresso. Um escore alto nessa escala indica caracteriza-se por falta de confiana
em si mesmo, tendncia preocupao, estreiteza de interesse e introverso (HATHAWAY;
MCKINLEY, 1970, p. 21).
Escala 3, (Hy) Histeria Avalia a presena de sintomas com base psicognica histe-
ria de converso. O indivduo histrico pretende, atravs das queixas e exteriorizao de sin-
tomas somticos, esquivar-se de maiores responsabilidades, conduzir conflitos, agir com vis-
tas manipulao da situao e ao convencimento das pessoas envolvidas (CUNHA, 2000c).
Assim como no caso da escala de Hipocondria, deve ser avaliado se o indivduo no tem
mesmo uma doena orgnica, pois o resultado ser a partir das atitudes histricas, sejam elas
resultantes da presena da doena ou de caractersticas de sua personalidade (HATHAWAY;
MCKINLEY, 1970).
Escala 4, (Pd) Desvio Psicoptico Avalia caractersticas de psicopatia, que segundo
o Manual Diagnstico e Estatstico de Doenas Mentais - DSM-IV-TR (2002), retratam um

3
Para maiores informaes, principalmente, da interpretao dos resultados das dez escalas clnicas, em escores
alto, moderado e baixo, consultar Cunha (2000c).

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
Kellyane Madureira Figueiredo, Liza Fensterseifer 227

transtorno de personalidade, apresentando um padro anti-social invasivo, desrespeitoso e de


violao quanto aos direitos das outras pessoas. Indivduos ditos psicopatas desconsideram as
normas sociais e pouco se importam com os direitos dos outros. Geralmente atuam de modo
velado, o que dificulta sua identificao.
Escala 5, (Mf) Masculinidade-Feminilidade Prope identificar caractersticas que re-
tratam a inverso sexual masculina. Escores para o sexo feminino no podem ser interpreta-
dos assim como para o masculino (HATHAWAY; MCKINLEY, 1970). Essa escala apresenta
dois crivos de correo, um destinado para indivduos do sexo masculino e outro para indiv-
duos do sexo feminino. Especialmente nessa escala, segundo Cunha (2000c), vlido ressal-
tar que na poca em que o MMPI foi construdo, a homossexualidade era considerada um
transtorno mental. Como ainda existem papis e caractersticas sociais determinadas para
cada sexo, essa escala ainda considerada importante para avaliar a identificao de tais as-
pectos, como exemplo, a maneira com que os indivduos lidam com o processo de internaliza-
o desses papis sexuais. De acordo com a mesma autora, outro fator que mantm a impor-
tncia da escala Mf consiste em aps a avaliao das demais escalas clnicas avaliar os efeitos
da Mf, que recaem nos resultados das outras escalas. Um elevado escore de um indivduo do
sexo masculino no evidencia necessariamente homossexualidade, apenas sugere sua identifi-
cao com caractersticas que tradicionalmente so destinadas s pessoas do sexo feminino,
tais como, traos passivos, dependentes, bem como dificuldades de lidar com agresso (p.
470). Um escore elevado para um indivduo do sexo feminino, da mesma forma, pode ser
indicativo no de homossexualidade, mas de certa apropriao de caractersticas ditas mascu-
linas, como agressividade, dominncia, praticidade, etc. De acordo com Hathaway e McKin-
ley (1970), os resultados produzidos pela escala Mf podem ser considerados para avaliao
vocacional, assim como, no Brasil, o MMPI j foi utilizado na avaliao de candidatos para a
polcia.
Escala 6, (Pa) Parania Considera o diagnstico do quadro clnico da parania. Cu-
nha (2000c) aponta a limitao dessa escala, em funo da capacidade de indivduos parani-
cos, com diagnstico, de dissimularem as respostas dadas s afirmaes, resultando em um
escore baixo. Assim, h que se considerar os sintomas mais sutis que podem vir tona. Se-
gundo Cunha (2000c), so indivduos que tm como caractersticas a rigidez, dificuldade para
lidar com aspectos referentes afetividade e que tendem a culpabilizar os outros por suas difi-
culdades.
Escala 7, (Pt) Psicastenia Considerada tambm uma escala de sintomas, ela estru-
turada para avaliao do padro neurtico, com excitaes por fobias ou comportamentos

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
INVENTRIO MULTIFSICO MINNESOTA DE PERSONALIDADE (MMPI):
228 ANLISES PSICOMTRICAS

obsessivo-compulsivos. De acordo com Cunha (2000c), os itens que compem tal escala so
claros quilo que est sendo avaliado, o que torna ainda mais propcio os esforos defensivos
do indivduo que est respondendo ao teste.
Escala 8, (Sc) Esquizofrenia Considerada tambm uma escala de sintomas, contribui
para diferenciar sujeitos esquizofrnicos de normais. De acordo com Cunha (2000c), neces-
sria uma anlise atenta para os resultados produzidos por essa escala, pois apesar dos inves-
timentos em estudos, ela ainda considerada uma escala fraca, percebendo que a sintomato-
logia muito heterognea e complexa para ser avaliada por uma medida escalar (p. 474). A
autora tambm aponta que apesar dessa ressalva, a escala produz elementos para caracterizar
indivduos que apresentam ideias e comportamentos estranhos/peculiares. O escore em eleva-
o diz de uma dificuldade do indivduo em lidar com o que aparece em seu mundo, e de li-
mitaes relacionadas a pensamento e sentimentos. O contato com a realidade vai se tornando
confuso, podendo, o sujeito, emitir comportamento excntricos e ter alucinaes (CUNHA,
2000c).
Escala 9, (Ma) Hipomania Cunha (2000c) pontua que os itens que compem a pre-
sente escala compreendem sentimentos de grandiosidade, grau de excitao e nvel de ativi-
dade, abrangendo sintomas do estado hipomanaco e, tambm, questes morais, interaes
sociais e familiares, bem como temas somticos (p. 476). A avaliao destes itens fornece
hipteses diagnsticas de estado hipomanaco e casos leves de mania, tais como, hiperativida-
de, excitao emocional e fuga de ideias. Para Hathaway e McKinley (1970), o problema
maior enfrentado na diferenciao entre a identificao de um caso clnico de hipomania e
indivduos que apenas so audaciosos, cheios de energias e projetos. Para os autores, quando
se trata de um caso clnico muito grave, provavelmente o indivduo no teria condies de ser
submetido testagem com o MMPI; logo, escores muito elevados na escala Ma sugerem um
caso de mania moderada, com a presena de sintomas como hiperatividade, exagerado sen-
timento de importncia pessoal, fuga de ideias e mau controle dos impulsos (CUNHA,
2000c, p. 447).
Escala 0, (Si) Introverso-Extroverso De acordo com Hathaway e McKinley
(1970), esta escala foi integrada ao instrumento como um todo, em um momento posterior.
Originou-se com estudos de Drake, e ganhou ateno popular, pois se mostrou muito til e
proveitosa. A escala Si objetiva avaliar a disposio do indivduo para o sentimento de des-
conforto nos contatos pessoais e se afastar deles. Cunha (2000c) destaca que a escala 0, co-
mo a escala 5, em sentido estrito, no uma escala clnica (p. 478).

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
Kellyane Madureira Figueiredo, Liza Fensterseifer 229

Discutidos alguns dos elementos de anlise e os resultados produzidos por cada escala
que constitui o MMPI, necessrio salientar a importncia de o profissional que faz uso deste
instrumento, ter claro entendimento sobre os traos a serem analisados pelo inventrio. No
existe a pretenso de que um escore alto em qualquer uma das escalas seja indicativo da pre-
sena de uma patologia ou de um trao dominante da personalidade. Sempre ser necessria
uma anlise mais global dos resultados. Apesar de serem apresentadas escalas independentes,
existe uma correspondncia forte entre elas.

2.3 Procedimentos

No que concerne aos aspectos ticos referentes pesquisa envolvendo seres humanos,
o presente estudo foi submetido avaliao do Comit de tica em Pesquisa da PUC Minas,
obtendo parecer de aprovao pelo rgo, sob o nmero de registro CAAE 0303.0.213.000-
11. Os participantes tiveram esclarecimentos acerca da natureza e dos propsitos da pesquisa,
assim como sobre o sigilo do material coletado. Os indivduos que participaram deste estudo
assinaram um Termo de Consentimento Livre e Esclarecido (TCLE).
Para o desenvolvimento deste estudo foram realizados dois procedimentos distintos.
Para os universitrios residentes em Belo Horizonte, a pesquisadora entrou em contato com o
Diretor Acadmico da unidade So Gabriel, da PUC Minas, e com a coordenadora do curso
de Psicologia da PUC Minas Corao Eucarstico, para autorizao da realizao dos
procedimentos descritos neste projeto, junto aos estudantes dos cursos de graduao. Uma vez
autorizado o contato com os alunos, a pesquisadora os esclareceu sobre o objetivo, a natureza
e a relevncia do trabalho a ser desenvolvido e, por fim, os convidou para participar. Aqueles
que concordaram, preencheram uma ficha de dados e responderam ao MMPI. A aplicao dos
instrumentos foi coletiva, sendo realizada em um encontro, com durao mdia de uma hora e
trinta minutos. Para os universitrios residentes nas cidades de Ipatinga e Bom Despacho, no
houve formalizao de um contato institucional com as universidades. A pesquisadora fez uso
de sua rede de contatos, o que viabilizou sua entrada em cursos de Psicologia, para convidar
os estudantes a participar da pesquisa.

2.4 Anlise de dados

Como anlise preliminar aplicao do instrumento no pblico-alvo e s


investigaes psicomtricas, foi feita a anlise dos itens, que contou com a participao de

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
INVENTRIO MULTIFSICO MINNESOTA DE PERSONALIDADE (MMPI):
230 ANLISES PSICOMTRICAS

dois dos trs juzes convidados para a realizao do procedimento (especialistas na rea da
avaliao psicolgica e com experincia em uso de instrumentos que avaliam a personalidade,
tal como o MMPI), que teve com o objetivo avaliar a pertinncia e adequao dos itens. Foi
enviado para cada um deles: 1) documento esclarecendo a pesquisa e os seus objetivos, com o
convite para a tarefa de anlise e a descrio dos passos que deveriam seguir para a realizao
da atividade; 2) descrio conceitual resumida de cada escala clnica do instrumento; 3)
caderno do MMPI e; 4) tabela com todos os 566 itens e as 10 escalas clnicas, para assinalar a
correspondncia entre cada item e a escala a que o item pertence, na opinio do juiz. As duas
tabelas enviadas pelos juzes foram unidas pelas pesquisadoras, a fim de se verificar o grau de
concordncia entre os avaliadores e a declarada pela verso original, formando uma nica
tabela de identificao item-escala, em que constava a identificao dos itens em suas
respectivas escalas. Alm disso, para anlise semntica, foi realizada uma discusso do
instrumento com um grupo de universitrios pblico-alvo do presente estudo , com vistas
investigao da inteligibilidade dos itens. Foi solicitado que lessem os itens e informassem
queles que no entenderam e o motivo.
Aps concluir a aplicao do instrumento no pblico universitrio, os dados foram
organizados em planilha e programa especficos (Statistical Package for the Social Sciences -
SPSS, verso 16.0), para que posteriormente fossem devidamente processados e analisados.
Os resultados foram submetidos s investigaes psicomtricas (tcnicas de verificao da
preciso e da validade do instrumento). A preciso foi avaliada atravs do estudo da
consistncia interna, pelo coeficiente alfa de Cronbach, que segundo Formiga (2003, p. 134-
135), um dos indicadores psicomtricos mais utilizados para verificar a fidedignidade ou
validade interna do instrumento, o qual dever apresentar um alfa igual a 1. Desta maneira,
quanto mais prximo estiver desse nmero, melhor ser sua preciso. As evidncias de
validade de construto foram investigadas atravs da anlise fatorial exploratria (AFE),
utilizando a tcnica de anlise de componentes com rotao varimax.

3 RESULTADOS

O instrumento, antes de ser aplicado, foi submetido anlise de dois juzes, profissio-
nais da rea, considerados experts no tema em questo. O intuito de enviar o instrumento para
os juzes foi para que, a partir de seu conhecimento terico e prtico, eles pudessem avaliar a
adequao terica dos itens do MMPI, buscando identificar se o construto personalidade, en-
volvido neste instrumento, estava coberto pelos itens. Alm disso, solicitou-se que os juzes

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
Kellyane Madureira Figueiredo, Liza Fensterseifer 231

indicassem a que escala clnica eles achavam que cada item pertencia. Foi cabvel aos juzes
realizar, tambm, comentrios e/ou sugestes que julgassem oportunos. Para verificar se os
itens e as instrues propostas no instrumento eram compreensveis, se eram inteligveis, trs
universitrios foram submetidos ao teste. Ao terminar, foram questionados sobre o teste e os
itens, e indicaram alguns em que ficaram confusos quanto ao termo ou palavra utilizada. O
estudo da anlise terica e semntica dos itens possibilitou observar que cabe uma investiga-
o mais detalhada a respeito da adequao da traduo dos itens do MMPI. A anlise terica,
atravs da avaliao e indicao feita pelos juzes, no serviu para trocar itens de lugar (es-
cala), pois no houve concordncia entre os avaliadores. Os apontamentos feitos pelos juzes
e pelos universitrios, quanto anlise semntica dos itens, acolhidos pelas pesquisadoras,
geraram a alterao e reviso dos itens, visando uma melhor adequao do instrumento rea-
lidade brasileira atual, mas certamente ainda precisam ser melhor explorados.
Para a investigao de evidncias de validade baseadas na estrutura interna do instru-
mento, optou-se por verificar a validade fatorial de cada uma das dez escalas que o compem.
Inicialmente, foram conduzidas provas estatsticas que verificaram a adequao dos dados
fatorizao Coeficiente de Kaiser-Meyer-Olkin (KMO) e Teste de Esfericidade de Bartlet.
A partir das medidas de adequao espera-se que o KMO seja maior do que 0,6 e que o teste
de esfericidade seja significativo (p<0,05). Posteriormente, houve a anlise da validade fatori-
al de cada escala clnica, atravs da tcnica de Scree Plot, que se esperava que indicasse ape-
nas um fator, para comprovar a unidimensionalidade de cada escala. Os resultados podem ser
observados na Tabela 1:

Tabela 1: Resultados da anlise exploratria inicial (KMO e Teste de Bartlet) e anlise


da validade fatorial (Scree Plot), em cada escala clnica
Escala KMO p Scree Plot Varincia
Psicastenia 0,842 0,001 1 fator 16,85%
Esquizofrenia 0,757 0,001 3 fatores 19,60%
Hipocondria 0,749 0,001 2 fatores 19,28%
Parania 0,743 0,001 3 fatores 23,36%
Introverso/ Extroverso 0,731 0,001 4 fatores 22,39%
Histeria 0,724 0,001 2 fatores 14,79%
Depresso 0,711 0,001 3 fatores 17,88%
Desvio Psicoptico 0,682 0,001 3 fatores 19,09%
Hipomania 0,653 0,001 4 fatores 21,13%
Fonte: elaborado pelas autoras.

Considerando que o MMPI composto por 10 escalas clnicas, esperava-se que a an-

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
INVENTRIO MULTIFSICO MINNESOTA DE PERSONALIDADE (MMPI):
232 ANLISES PSICOMTRICAS

lise fatorial de cada escala indicasse a presena de um nico fator. Entretanto, a nica escala
em que foi encontrado este resultado foi a de Psicastenia. As escalas de Hipocondria e Histe-
ria obtiveram 2 fatores. As escalas de Depresso, Desvio Psicoptico, Parania e Esquizofre-
nia apresentaram 3 fatores. Por fim, as escalas de Hipomania e Introverso/Extroverso reve-
laram 4 fatores. Algumas hipteses poderiam explicar os resultados considerados inadequados
para as oito escalas, que apresentaram mais de um fator: 1) H que se considerar o tamanho
da amostra (N=384) e as suas caractersticas; 2) Possvel alterao do construto terico, con-
siderando a poca em que o instrumento foi criado e; 3) A extrao de mais de um fator pode
estar relacionado a fundamentao terica baseada na teoria dos Cinco Grandes Fatores
(CGF) de personalidade. De acordo com Hutz e colaboradores (1998), quando o MMPI
submetido anlise fatorial, mostra-se condizente com o modelo CGF. Sendo assim, pode-se
pensar que estes fatores encontrados em cada escala podem ser subdimenses compatveis
com as facetas dos CGF.
Vale ressaltar que atravs de um processo de adaptao e qualificao das proprieda-
des psicomtricas de um instrumento, assim como o do MMPI, pode, eventualmente, ser con-
siderada a ideia de retirada de itens. A anlise fatorial provou que h itens que no contribuem
para o instrumento, pois apresentam carga fatorial menor que 0,30. Estes dados foram gerados
atravs do mtodo de anlise de componentes principais com rotao varimax e foram avalia-
dos junto correlao item-total. Vale destacar, ainda, de acordo com Cunha (2000b), que os
itens de cada escala foram definidos atravs de dados estatsticos que apontavam diferenas
significantes entre os grupos estudados, envolvendo pacientes psiquitricos e indivduos nor-
mais.
A anlise exploratria inicial identificou uma escala Masculinidade/Feminilidade
que no se mostrou adequada fatorizao, sendo os dados inadequados reduo em fatores
(KMO de M=0,599 e de F=0,599, uma vez que h crivos distintos para avaliao de cada uma
das escalas, h a separao em duas investigaes). Este resultado pode ser reflexo da data de
criao do MMPI (1942), em que concepes e comportamentos ditos como caractersticos de
masculino e feminino diferem dos atuais. Talvez seja possvel pensar que teoricamente esta
distino, como apresentada e representada pelos itens da escala, no se aplica mais aos dias
de hoje. Para as outras nove escalas clnicas, a anlise exploratria inicial evidenciou que elas
eram passveis de fatorizao, para as quais, ento, procedeu-se investigao de anlise fato-
rial, atravs do mtodo de Scree Plot.
Para a verificao da preciso (consistncia interna) de cada uma das 10 escalas clni-
cas que compem o MMPI foi utilizado o coeficiente alfa de Cronbach. A Tabela 2 apresenta

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
Kellyane Madureira Figueiredo, Liza Fensterseifer 233

os resultados da consistncia interna para todas as escalas, do MMPI.

Tabela 2: Resultados de preciso das escalas, atravs do coeficiente de consistncia in-


terna
Escala Valor de alfa
Hipocondria 0,778
Depresso 0,629
Histeria 0,575
Desvio Psicoptico 0,647
Feminino 0,341
Masculino 0,396
Paranoia 0,586
Psicastenia 0,866
Esquizofrenia 0,888
Hipomania 0,594
Introverso/Extroverso 0,777
Fonte: elaborado pelas autoras.

Atravs do alfa de Cronbach, coeficiente de consistncia interna, buscou-se saber se


cada um dos fatores tem, realmente, uma nica dimenso, se so unidimensionais. A literatura
tende a indicar o 0,7 como valor mnimo aceitvel para o valor de alfa (FACHEL; CAMEY,
2000), mas na prpria resoluo do CFP, 02/2003, indica-se o valor 0,6. Os resultados apre-
sentados revelam que as escalas com maiores problemas quanto preciso so a Histeria
(0,575), Paranoia (0,586), Hipomania (0,594) e Masculinidade/Feminilidade (0,396 / 0,341,
respectivamente, - a pior escala neste quesito, o que est em consonncia com os resultados
encontrados para esta escala, nas investigaes de validade fatorial). A investigao da corre-
lao item-total, que indica a correlao de cada item com os demais itens, e o valor alfa, se o
item fosse excludo verificou que apenas para as escalas de Paranoia e Hipomania h itens
que, se retirados, deixariam o alfa acima de 0,6. Para as demais escalas, o aumento do alfa
sempre discreto. Para as outras escalas, os valores encontrados apontam para coeficientes de
consistncia interna de moderados a satisfatrios, como pode ser observado na Tabela 2: Mas
apear disso, vale lembrar que a correlao item-total de alguns itens revela a fragilidade dos
mesmos. Algumas hipteses que poderiam explicar este resultado: na construo original dos
itens do MMPI os autores se valeram de pacientes psiquitricos, isso poderia explicar a ina-
dequao de alguns itens para a populao geral. Tambm devem ser considerados o tamanho
da amostra e suas caractersticas para ter certeza destas duas questes, precisariam ser con-
duzidos novos estudos com amostras maiores, envolvendo tanto a populao geral quanto a
clnica, com grupos de pacientes com diagnsticos diferentes (esquizofrnicos, depressivos,

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
INVENTRIO MULTIFSICO MINNESOTA DE PERSONALIDADE (MMPI):
234 ANLISES PSICOMTRICAS

ansiosos...). Com isso, conclui-se que uma anlise mais ampla dos dados encontrados, no
apenas neste quesito, mas tambm nos de evidncias de validade, revela que novos estudos
precisam ser conduzidos, visando a verificao da preciso do MMPI.
As anlises estatsticas conduzidas com as escalas de validade, Dvida, Mentira, Erro
e Correo, mostraram que isoladas, no geram informaes passveis de anlise. O mtodo
do Scree Plot apontou uma certa inadequao dos dados e, em funo disso, optou-se por no
trabalhar com a anlise das mesmas. Para que uma nova investigao sobre elas possa ser
conduzida, observou-se a necessidade de se utilizar de outros instrumentos ou outros critrios
externos que possam servir de referncia e comparao para a anlise dos resultados das esca-
las de validade.

4 CONCLUSES

Na atualidade tem acontecido grandes movimentos em prol da propagao da


necessidade e relevncia da qualificao dos instrumentos psicolgicos que, em suma, so
ferramentas auxiliares de psiclogos, na avaliao de indivduos. No Brasil, a Comisso
Consultiva em Avaliao Psicolgica, rgo vinculado ao CFP, tem trabalhado a fim de
informar aos profissionais de psicologia e populao em geral, instrumentos que de fato
esto qualificados para uso, o que cada vez mais agrega credibilidade aos trabalhos realizados
com a utilizao destes. O desenvolvimento de pesquisas que visam adaptao de
instrumentos psicolgicos de suma importncia, para que constantemente os psiclogos
possam se valer desse tipo de ferramenta, com mais segurana.
Neste contexto, o presente estudo conduziu investigaes iniciais a respeito das pro-
priedades psicomtricas do Inventrio Multifsico Minnesota de Personalidade MMPI. De
acordo com os estudos de validade, diferente do que era esperado, a anlise fatorial revelou
que os 10 fatores ou dimenses que, em princpio, eram os componentes do MMPI, na verda-
de, so mais do que isso. Descobriu-se que cada fator (cada escala) composto por mais de
um fator. Algumas hipteses poderiam explicar este resultado: novamente, h que se conside-
rar o tamanho e as caractersticas desta amostra, bem como, principalmente, a alterao do
construto terico, considerando a poca em que o instrumento foi criado.
Em relao preciso do MMPI, apesar de para algumas escalas terem sido encontra-
dos valores de alfa satisfatrios (acima de 0,7, algumas acima de 0,8), os valores de correla-
o entre cada item e os demais itens que compem cada escala apontam para uma certa fragi-

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
Kellyane Madureira Figueiredo, Liza Fensterseifer 235

lidade e baixa qualidade dos itens. Isso aponta para a necessidade de melhorias no instrumen-
to, para buscar maiores e melhores ndices de preciso.
Portanto, num estudo preliminar das propriedades psicomtricas do MMPI, identifi-
cou-se a necessidade de propor importantes alteraes no instrumento (como exemplo, rear-
ranjo dos itens, retirada de itens, conferncia da traduo). Mas, evidentemente, no se pode
esquecer que este resultado tem limitaes, frente s caractersticas da amostra deste estudo.
Assim, novos estudos precisam ser conduzidos, a fim de averiguar a melhor adequao do
instrumento, visando o cumprimento das propriedades psicomtricas indicadas pela Resolu-
o n 002/2003, do CFP.

REFERNCIAS

ALCHIERI, Joo Carlos; CRUZ, Roberto Moraes. Avaliao psicolgica: conceito, mtodos
e instrumentos. So Paulo: Casa do Psiclogo, 2003. 127p.

ANASTASI, Anne. Testes psicolgicos. Traduo de Dante Moreira Leite. 2. ed. So Paulo:
EPU, 1977. p. 523-558.

BIBLIOTECA VIRTUAL DA SADE PSICOLOGIA (BVS-PSI). Disponvel em:


<http://www.bvs-psi.org.br/metaiah/search.php>. Acesso em: 17 jan. 2012.

CONSELHO FEDERAL DE PSICOLOGIA (CFP). Avaliao psicolgica: diretrizes na re-


gulamentao da profisso. Braslia: CFP, 2010. 193p.

CONSELHO FEDERAL DE PSICOLOGIA (CFP). Cartilha sobre Avaliao Psicolgica.


Braslia, ago. 2007.

CONSELHO FEDERAL DE PSICOLOGIA (CFP). Resoluo N 002/2003.


Regulamentao do uso, elaborao e comercializao de testes psicolgicos. Braslia, 2003.
Disponvel em:
<http://www.pol.org.br/pol/export/sites/default/pol/legislacao/legislacaoDocumentos/resoluca
o2003_02.pdf>. Acesso em: 11 mar.2011.

CUNHA, Jurema Alcides. Catlogo de tcnicas teis. In: CUNHA, Jurema Alcides e cols.
Psicodiagnstico-V. 5ed. Porto Alegre: Artmed, 2000a, p. 245-246.

CUNHA, Jurema Alcides. Administrao e orientao geral para o manejo do MMPI. In:
CUNHA, Jurema Alcides e cols. Psicodiagnstico-V. 5ed. Porto Alegre: Artmed, 2000b, p.
439-450.

CUNHA, Jurema Alcides. MMPI: Escalas de validade e escalas clnicas. In: CUNHA, Jurema
Alcides e cols. Psicodiagnstico-V. 5ed. Porto Alegre: Artmed, 2000c, p. 451-463.

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738
INVENTRIO MULTIFSICO MINNESOTA DE PERSONALIDADE (MMPI):
236 ANLISES PSICOMTRICAS

FACHEL, Jandyra M. G.; CAMEY, Suzi. Avaliao psicomtrica: a qualidade das medidas e
o entendimento dos dados. In: CUNHA, Jurema Alcides. Psicodiagnstico-V. 5ed. Porto
Alegre: Artmed, 2000, p. 158-170.

FORMIGA, Nilton Soares. Fidedignidade da escala de condutas anti-sociais e delitivas ao


contexto brasileiro. Psicologia em Estudo, Maring, v.8, n.2, p. 133-138, jul./dez. 2003.
Disponvel em: <http://www.scielo.br/pdf/pe/v8n2/v8n2a13.pdf>. Acesso em: 24 jun. 2010.

HATHAWAY, Starke R., MCKINLEY, J. Charnley (1970). Inventrio Multifsico Minne-


sota de Personalidade (MMPI). (Manual Tcnico). Traduo e adaptao de BENK, An-
tonius; SIMES, Roberto J.P., Rio de Janeiro: CEPA, (1970). 64p.

HUTZ, Cludio S. et al. O desenvolvimento de marcadores para a avaliao da personalidade


no modelo dos cinco grandes fatores. Psicologia: reflexo e crtica, Porto Alegre, v.11, n.2, p.
1-14, 1998. Disponvel em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0102-
79721998000200015&lng=en&nrm=iso>. Acesso em: 01 mai. 2011.

NORONHA, Ana Paula Porto. Anlise de testes de personalidade: qualidade do material, das
instrues, da documentao e dos itens qualidade de testes de personalidade. Estudos de
psicologia (Campinas), Campinas, v.19, n.3, p. 55-65, set./dez.2002. Disponvel em:
<http://www.scielo.br/pdf/estpsi/v19n3/a06v19n3.pdf>. Acesso em: 16 abr. 2011.

PASQUALI, Luiz. Parmetros psicomtricos dos testes psicolgicos. In: PASQUALI, Luiz
(Org.). Tcnicas de Exame Psicolgico TEP. So Paulo: Casa do Psiclogo, 2001. Cap. 3,
p. 111-136.

SILVA, Maria Ceclia de Vilhena Moraes. Histria dos testes psicolgicos: origens e trans-
formaes. So Paulo: Vetor, 2011. 152p.

Pretextos - Revista da Graduao em Psicologia da PUC Minas


v. 1, n. 1, jan./jun. 2016 ISSN 2448-0738

Das könnte Ihnen auch gefallen