O que um Experimento?

Tipos e Exemplos Limitaes

Noes de Desenho de Pesquisa
Experimentos, Quase-Experimentos e Estudos
Observacionais
Cesar Zucco
Rutgers University
CEFOR, maro de 2013
O que um Experimento? Tipos e Exemplos Limitaes
Por que estudar experimentos?
1. Extremamente til do ponto de vista conceitual
2. Tm se tornado mais comum na Cincia Poltica
O que um Experimento? Tipos e Exemplos Limitaes
Experimentos: A essncia da cincia
Elementos de um experimento
Manipulao intencional do(s) tratamento(s)
Determinao aleatria do(s) tratamento(s) e/ou controle
estrito
Presena de grupo(s) de controle
Observao e anlise sistemtica dos resultados
O que um Experimento? Tipos e Exemplos Limitaes
Experimentos permitem identicar efeitos causais
Nas exatas
Barreiras fsicas isolam o experimento
Outros fatores esto literalmente xos
Algum erro de mensurao permanece
Nas cincias sociais
mais difcil isolar sicamente o experimento
Uso de randomizao garante a eliminao de outros
fatores
Algum erro de mensurao permanece
O que um Experimento? Tipos e Exemplos Limitaes
Experimentos permitem identicar efeitos causais
Nas exatas
Barreiras fsicas isolam o experimento
Outros fatores esto literalmente xos
Algum erro de mensurao permanece
Nas cincias sociais
mais difcil isolar sicamente o experimento
Uso de randomizao garante a eliminao de outros
fatores
Algum erro de mensurao permanece
O que um Experimento? Tipos e Exemplos Limitaes
Alguns protocolos experimentais
Protocolos simples para tratamentos simples
O que um Experimento? Tipos e Exemplos Limitaes
Alguns protocolos experimentais
Efeitos no tempo e sequncia de trat.
O que um Experimento? Tipos e Exemplos Limitaes
Alguns protocolos experimentais
Efeitos dos testes
O que um Experimento? Tipos e Exemplos Limitaes
Alguns protocolos experimentais
Combinaes de trat.
O que um Experimento? Tipos e Exemplos Limitaes
Experimentos na prtica
Que cara tm experimentos em cincias sociais?
Experimentos de laboratrio
Experimentos de campo
Experimentos em survey
O que um Experimento? Tipos e Exemplos Limitaes
Experimentos na prtica
Que cara tm experimentos em cincias sociais?
Experimentos de laboratrio
Manipulao de estado emocional
Informao
Incentivos
Regras do jogo
Experimentos de campo
Experimentos em survey
O que um Experimento? Tipos e Exemplos Limitaes
Experimentos na prtica
Que cara tm experimentos em cincias sociais?
Experimentos de laboratrio
Experimentos de campo
Mandar cartas para pessoas. . .
Distribuir panetos
Veicular comerciais
Comprar votos
Mudar regras
Mudar informaes
Experimentos em survey
O que um Experimento? Tipos e Exemplos Limitaes
Experimentos na prtica
Que cara tm experimentos em cincias sociais?
Experimentos de laboratrio
Experimentos de campo
Experimentos em survey
Alterar a pergunta
Alterar o estmulo inicial
Experimentos de lista
O que um Experimento? Tipos e Exemplos Limitaes
BF e Condicionalidades
Um experimento simples em survey
Pergunta Controle
O Bolsa Famlia um programa social que paga benefcios
mensais a famlias de baixa renda. O Sr./Sra. aprova ou
desaprova o programa Bolsa Famlia?
O que um Experimento? Tipos e Exemplos Limitaes
BF e Condicionalidades
Um experimento simples em survey
Pergunta Tratamento
O Bolsa Famlia um programa social que paga benefcios
mensais a famlias de baixa renda, e exige, entre outras cosas,
que estas famlias mantenham as crianas na escola e as
levem ao medico regularmente. O Sr./Sra. aprova ou
desaprova o programa Bolsa Famlia?
O que um Experimento? Tipos e Exemplos Limitaes
BF e Condicionalidades
Checando o balano entre grupos
Treated Control SD Control Mean Diff
Income
00-01 SM 0.20 0.21 0.41 -0.02
01-02 SM 0.32 0.27 0.44 0.05
02-03 SM 0.17 0.22 0.42 -0.05
03-05 SM 0.16 0.16 0.37 -0.01
05+ SM 0.15 0.13 0.34 0.02
Education
primario 0.42 0.46 0.50 -0.04
secundario 0.41 0.43 0.49 -0.01
universidade 0.14 0.08 0.28 0.06
Region
nordeste 0.23 0.24 0.43 -0.01
centro-oeste 0.14 0.14 0.35 -0.01
sudeste 0.26 0.29 0.45 -0.03
sul 0.24 0.20 0.40 0.04
O que um Experimento? Tipos e Exemplos Limitaes
BF e Condicionalidades
Checando o balano entre grupos
Treated Control SD Control Mean Diff
Gender
Female 0.52 0.52 0.50 -0.00
Age 40.75 40.45 15.14 0.30
Municipality
grande 0.29 0.28 0.45 0.02
media 0.12 0.12 0.32 0.00
pequena 0.24 0.28 0.45 -0.04
Vote
dilma rousseff 0.54 0.58 0.49 -0.04
jos serra 0.34 0.31 0.46 0.03
no votou 0.09 0.06 0.25 0.03
Crisis 0.30 0.30 0.46 -0.00
Pro-Abortion 0.18 0.19 0.39 -0.00
O que um Experimento? Tipos e Exemplos Limitaes
BF e Condicionalidades
Reportando Resultados

0
.
3

0
.
2

0
.
1
0
.
0
0
.
1
0
.
2
0
.
3
0001 SM 0102 SM 0203 SM 0305 SM 05+ SM
T
r
e
a
t
m
e
n
t

E
f
f
e
c
t
s

o
n

A
p
p
r
o
v
a
l

o
f

t
h
e

P
r
o
g
r
a
m
G
G
G
G
G
O que um Experimento? Tipos e Exemplos Limitaes
Corrupo e Voto (De Figueiredo et al)
Um Experimento de Campo
Tipo de Experimento: de campo
Recrutamento: toda a populacao esta participando
Resultado de interesse: voto, turnout, agregado
Pr teste: nenhum, mas ha votacao em eleicoes anteriores
Tratamento e controle: receber informacao, dois
tratmentos e um controle
Randomizao: no nivel da urna
O que um Experimento? Tipos e Exemplos Limitaes
Corrupo e Voto
Um experimento de campo
O que um Experimento? Tipos e Exemplos Limitaes
Corrupo
Resultados do experimento de campo
Checando equilbrio por diferenas de mdias
O que um Experimento? Tipos e Exemplos Limitaes
Corrupo
Resultados do experimento de campo
Resultados para Marta
Resultados para Kassab
O que um Experimento? Tipos e Exemplos Limitaes
Clientelismo (Nickerson et al)
Um Experimento de Lista
Tipo de Experimento: survey com lista
Recrutamento: amostra representativa
Resultado de interesse: observacao de clientelismo
Pr teste: nenhum, mas ha perguntas diretas
Tratamento e controle: lista com elementos diferentes,
duas condicoes
Randomizao: a priori
O que um Experimento? Tipos e Exemplos Limitaes
A lgica do experimento de lista
Lista Controle
Item 1
Item 2
Item 3
Item 4
Lista Tratamento
Item 1
Item 2
Tratamento
Item 3
Item 4
Perguntar somente quantos, no quais itens
Diferena na mdia de itens reportados revela incidncia
do item de controle
O que um Experimento? Tipos e Exemplos Limitaes
Clientelismo
Resultados do experimento de lista
Equilbrio por diferenas de mdias
O que um Experimento? Tipos e Exemplos Limitaes
Clientelismo
Resultados do experimento de lista
Resultados
O que um Experimento? Tipos e Exemplos Limitaes
Limitaes de experimentos
Validade interna
Validade externa
Relevncia
O que um Experimento? Tipos e Exemplos Limitaes
Problemas de Validade Interna
O tratamento efetivo? (Inteno de tratar)
O signicado do tratamento o mesmo para todos os
participantes?
O experimento reete a teoria?
O que um Experimento? Tipos e Exemplos Limitaes
Problemas de Validade Interna
O tratamento efetivo? (Inteno de tratar)
O signicado do tratamento o mesmo para todos os
participantes?
O experimento reete a teoria?
O que um Experimento? Tipos e Exemplos Limitaes
Validade Externa
O problema de generalizao
Participantes raramente so selecionados aleatoriamente
Sujeitos no so representativos da populao
O locus dos experimentos geralmente articial
Efeitos dentro de um laboratrio podem no ocorrer na
vida real
O que um Experimento? Tipos e Exemplos Limitaes
Validade Externa
O problema de generalizao
Participantes raramente so selecionados aleatoriamente
Sujeitos no so representativos da populao
O locus dos experimentos geralmente articial
Efeitos dentro de um laboratrio podem no ocorrer na
vida real
O que um Experimento? Tipos e Exemplos Limitaes
Validade Externa
O problema de generalizao
Participantes raramente so selecionados aleatoriamente
Sujeitos no so representativos da populao
O locus dos experimentos geralmente articial
Efeitos dentro de um laboratrio podem no ocorrer na
vida real
O que um Experimento? Tipos e Exemplos Limitaes
Relevncia
O que pode ser estudado experimentalmente?
Podemos manipular as coisas que realmente nos
interessam?
O resultado experimental tem relevncia real?
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Experimentos Naturais/Quase-Experimentos
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Identicao partidria transmitida
intergeracionalmente?
Qual a diculdade?
Um experimento natural:
No nal do sec. XIX, bispos Mormons determinaram
partidos quase aleatoriamente aos is
Comparar os descendentes
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Identicao partidria transmitida
intergeracionalmente?
Qual a diculdade?
Um experimento natural:
No nal do sec. XIX, bispos Mormons determinaram
partidos quase aleatoriamente aos is
Comparar os descendentes
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Ter ttulo legal de propriedade aumenta o
patrimnio?
Qual a diculdade?
Um experimento natural:
In 1981 grande ocupao de terras em
Governo concedeu ttulo a todos em 1984, mas alguns
proprietrios entraram na justia
Comparar indicadores sociais dos dois grupos
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Ter ttulo legal de propriedade aumenta o
patrimnio?
Qual a diculdade?
Um experimento natural:
In 1981 grande ocupao de terras em
Governo concedeu ttulo a todos em 1984, mas alguns
proprietrios entraram na justia
Comparar indicadores sociais dos dois grupos
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Quase-experimentos e experimentos naturais
Tratamento arbitrrio mas no-manipulvel pelo
pesquisador
Natureza administra o tratamento
Tratamento administrado por uma regrada conhecida e
exgena ao processo de interesse
Determinao de tratamento pode ser tratada como se
fosse aleatria
No automtico como randomizao do tratamento
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Quase-experimentos e experimentos naturais
Tratamento arbitrrio mas no-manipulvel pelo
pesquisador
Natureza administra o tratamento
Tratamento administrado por uma regrada conhecida e
exgena ao processo de interesse
Determinao de tratamento pode ser tratada como se
fosse aleatria
No automtico como randomizao do tratamento
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Escolha de casos como um alternativa a controle
estatstico
Regra geral
Escolher casos onde a determinao do tratamento no
depende da causa de interesse
Evitar auto-seleo
Procurar tratamentos arbitrrios
Avaliar o equilbrio sempre que possvel
Formular um argumento forte para apoiar a premissa
como se aleatrio
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Escolha de casos uma alternativa ao controle
estatstico
Alguns exemplos
Auto-seleo (evitar)
Acidentes (com culpa)
Gravidez
Violncia
Tratamentos arbitrrios
Fronteiras polticas
Processos com loterias
Pontos de cortes
Eventos naturais (terremotos, chuvas, etc)
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Tipos de experimentos naturais
Uma categorizao incompleta
Experimentos naturais que aproveitam loterias (policy
evaluation)
Experimentos naturais simples (cross sectional)
Discontinuidade na regresso
Diferenas em diferenas
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Experimentos naturais que aproveitam loterias
Tratamento determinado aleatoriamente
Tratamento no determinado pelo pesquisador
Se realmente aleatrio, muito prximo de um
experimento
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Oportunidades no Mexico
De La O
CCTs aumentam votao do governo?
Governo inicia um programa de transferencia de renda
condicional
Aleatoriamente escolhe alguma localidades que tero o
programa
Eleies acontecem dois anos depois
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Sorteios da CGU
Ferraz e Finan
Informao sobre corrupo afeta desempenho eleitoral
de prefeitos?
Governo usa loteria para decidir que vai ser auditado
Relatrios so publicados, repercutem na mdia (se
houver)
Eleies se seguem
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Experimentos Naturais Simples
Tratamento arbitrrio e exgeno
Determinado por um processo no relacionado com a
causa de interesse
Exige que grupos/casos (controle e tratamento) sejam
bastante parecidos, exceto pelo tratamento
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Chewas and Tumbukas
D. Posner
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Chewas and Tumbukas
D. Posner
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Discontinuidade na Regresso
Tratamento determinado por um critrio objetivo,
conhecido, e ordinal
H um corte,
De um lado h sujeito tratados
Do outro no-tratados
Sujeitos prximos ao corte em lados diferentes so muito
parecidos, exceto pelo tratamento
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Discontinuidade na Regresso
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Coisas para se preocupar
Sujeitos tratados ou no so realmente parecidos?
No h auto-seleo?
Quo larga a banda de anlise?
Quo abrupta/exata a discontinuidade?
O efeito no corte seria o mesmo em outros pontos?
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
CCTs no Uruguai
Um exemplo de discontinuidade na regresso
Transferncias de renda aumentam o apoio ao candidato
do governo?
Benefcio era pago para pessoas acima de certo nvel de
renda
Governo tinha informaes detalhadas sobre pblico alvo
O ponto de corte foi escolhido pela disponibilidade de
recursos
Mais tarde, fez-se um grande survey, tanto de benecirios
quanto de no benecirios
Compararam pessoas prximas ao ponto de corte
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
CCTs no Uruguai
Um exemplo de discontinuidade na regresso
Transferncias de renda aumentam o apoio ao candidato
do governo?
Benefcio era pago para pessoas acima de certo nvel de
renda
Governo tinha informaes detalhadas sobre pblico alvo
O ponto de corte foi escolhido pela disponibilidade de
recursos
Mais tarde, fez-se um grande survey, tanto de benecirios
quanto de no benecirios
Compararam pessoas prximas ao ponto de corte
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Radios comunitrias e eleies municipais
Boas & Hidalgo
Pergunta
Vereadores eleitos conseguem aprovar mais rdios
comunitrias?
Candidatos ligados a rdios conseguem mais votos?
Estratgia de identicao:
Comparar candidatos que mal se elegeram com
candidatos que quase se elejeram
Onde quase se elegeu 165 votos de diferena entre o
ltimo eleito e o primeiro no eleito
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Radios comunitrias e eleies municipais
Boas & Hidalgo
Pergunta
Vereadores eleitos conseguem aprovar mais rdios
comunitrias?
Candidatos ligados a rdios conseguem mais votos?
Estratgia de identicao:
Comparar candidatos que mal se elegeram com
candidatos que quase se elejeram
Onde quase se elegeu 165 votos de diferena entre o
ltimo eleito e o primeiro no eleito
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Radios comunitrias e eleies municipais
Boas & Hidalgo
Pergunta
Vereadores eleitos conseguem aprovar mais rdios
comunitrias?
Candidatos ligados a rdios conseguem mais votos?
Estratgia de identicao:
Comparar candidatos que mal se elegeram com
candidatos que quase se elejeram
Onde quase se elegeu 165 votos de diferena entre o
ltimo eleito e o primeiro no eleito
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Radios comunitrias e eleies municipais
Boas & Hidalgo
Pergunta
Vereadores eleitos conseguem aprovar mais rdios
comunitrias?
Candidatos ligados a rdios conseguem mais votos?
Estratgia de identicao:
Comparar candidatos que mal se elegeram com
candidatos que quase se elejeram
Onde quase se elegeu 165 votos de diferena entre o
ltimo eleito e o primeiro no eleito
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Radios comunitrias e eleies municipais
Boas & Hidalgo
Pergunta
Vereadores eleitos conseguem aprovar mais rdios
comunitrias?
Candidatos ligados a rdios conseguem mais votos?
Estratgia de identicao:
Comparar candidatos que mal se elegeram com
candidatos que quase se elejeram
Onde quase se elegeu 165 votos de diferena entre o
ltimo eleito e o primeiro no eleito
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Radios comunitrias e eleies municipais
Resultados
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Aumentar o salrio mnimo aumenta o desemprego?
A diculdade:
Comparar lugares com salrios mnimos diferentes
Comparar emprego antes de pois de uma mudana no
salrio mnimo
Um experimento natural:
Em 1992 NJ aumentou o salrio mnimo e PA no
Olhar para empresas semelhantes na divisa dos dois
estados
Medir desemprego antes e depois
Comparar mudanas na PA com mudanas em NJ
No caso, no houve reduo de emprego
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Aumentar o salrio mnimo aumenta o desemprego?
A diculdade:
Comparar lugares com salrios mnimos diferentes
Comparar emprego antes de pois de uma mudana no
salrio mnimo
Um experimento natural:
Em 1992 NJ aumentou o salrio mnimo e PA no
Olhar para empresas semelhantes na divisa dos dois
estados
Medir desemprego antes e depois
Comparar mudanas na PA com mudanas em NJ
No caso, no houve reduo de emprego
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Aumentar o salrio mnimo aumenta o desemprego?
A diculdade:
Comparar lugares com salrios mnimos diferentes
Comparar emprego antes de pois de uma mudana no
salrio mnimo
Um experimento natural:
Em 1992 NJ aumentou o salrio mnimo e PA no
Olhar para empresas semelhantes na divisa dos dois
estados
Medir desemprego antes e depois
Comparar mudanas na PA com mudanas em NJ
No caso, no houve reduo de emprego
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Aumentar o salrio mnimo aumenta o desemprego?
A diculdade:
Comparar lugares com salrios mnimos diferentes
Comparar emprego antes de pois de uma mudana no
salrio mnimo
Um experimento natural:
Em 1992 NJ aumentou o salrio mnimo e PA no
Olhar para empresas semelhantes na divisa dos dois
estados
Medir desemprego antes e depois
Comparar mudanas na PA com mudanas em NJ
No caso, no houve reduo de emprego
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Aumentar o salrio mnimo aumenta o desemprego?
A diculdade:
Comparar lugares com salrios mnimos diferentes
Comparar emprego antes de pois de uma mudana no
salrio mnimo
Um experimento natural:
Em 1992 NJ aumentou o salrio mnimo e PA no
Olhar para empresas semelhantes na divisa dos dois
estados
Medir desemprego antes e depois
Comparar mudanas na PA com mudanas em NJ
No caso, no houve reduo de emprego
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
Diferenas em Diferenas
Um modelinho bacana
Tratamento determinado por critrio exgeno
Pr-teste tanto do grupo de tratamento quanto do grupo
de controle
Comparar mudana no tempo e entre grupos
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
A beleza do modelo de DD
T = 0
(Pr-teste)
T = 1
(Ps-teste)
D = 0
(Controle)
A B
D = 1
(Tratamento)
C D
A
B
C
D
0
5
10
15
20
25
Pre Post
Diferenas iniciais entre grupos:
C-A
Diferenas no tempo no devidas ao tratamento:
B-A
Efeito do tratamento:
(D-C) - (B-A)
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
A beleza do modelo de DD
T = 0
(Pr-teste)
T = 1
(Ps-teste)
D = 0
(Controle)
A B
D = 1
(Tratamento)
C D
A
B
C
D
0
5
10
15
20
25
Pre Post
Diferenas iniciais entre grupos:
C-A
Diferenas no tempo no devidas ao tratamento:
B-A
Efeito do tratamento:
(D-C) - (B-A)
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
A beleza do modelo de DD
T = 0
(Pr-teste)
T = 1
(Ps-teste)
D = 0
(Controle)
A B
D = 1
(Tratamento)
C D
A
B
C
D
0
5
10
15
20
25
Pre Post
Diferenas iniciais entre grupos: C-A
Diferenas no tempo no devidas ao tratamento:
B-A
Efeito do tratamento:
(D-C) - (B-A)
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
A beleza do modelo de DD
T = 0
(Pr-teste)
T = 1
(Ps-teste)
D = 0
(Controle)
A B
D = 1
(Tratamento)
C D
A
B
C
D
0
5
10
15
20
25
Pre Post
Diferenas iniciais entre grupos: C-A
Diferenas no tempo no devidas ao tratamento:
B-A
Efeito do tratamento:
(D-C) - (B-A)
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
A beleza do modelo de DD
T = 0
(Pr-teste)
T = 1
(Ps-teste)
D = 0
(Controle)
A B
D = 1
(Tratamento)
C D
A
B
C
D
0
5
10
15
20
25
Pre Post
Diferenas iniciais entre grupos: C-A
Diferenas no tempo no devidas ao tratamento: B-A
Efeito do tratamento:
(D-C) - (B-A)
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
A beleza do modelo de DD
T = 0
(Pr-teste)
T = 1
(Ps-teste)
D = 0
(Controle)
A B
D = 1
(Tratamento)
C D
A
B
C
D
0
5
10
15
20
25
Pre Post
Diferenas iniciais entre grupos: C-A
Diferenas no tempo no devidas ao tratamento: B-A
Efeito do tratamento:
(D-C) - (B-A)
Experimentos Naturais Loterias Discontinuidade Diferenas em Diferenas
A beleza do modelo de DD
T = 0
(Pr-teste)
T = 1
(Ps-teste)
D = 0
(Controle)
A B
D = 1
(Tratamento)
C D
A
B
C
D
0
5
10
15
20
25
Pre Post
Diferenas iniciais entre grupos: C-A
Diferenas no tempo no devidas ao tratamento: B-A
Efeito do tratamento: (D-C) - (B-A)
Estudos Observacionais Seleo Endogeneidade Matching
Estudos Observacionais
Estudos Observacionais Seleo Endogeneidade Matching
Tipos de estudos observacionais
A maioria da cincia poltica observacional
N-Grande:
N-Pequeno
Estudos Observacionais Seleo Endogeneidade Matching
Estudos observacionais com N grande
Casos a observar:
Todos os casos disponveis
Ou uma seleo aleatria dos casos
Problema de seleo vem da natureza, e no do
investigador
Observaes so na forma de matriz
Casos so linhas (ou grupos de linhas)
Anlise estritamente quantitativa
Contraste entre casos
Estudos Observacionais Seleo Endogeneidade Matching
Porque estudar somente poucos casos?
Porque voc no sabe quais so as variveis explicativas
Porque nem sempre bvio o que constitui um caso
Existem somente poucos casos
Voc est mais interessado em mecanismos do que em
efeitos
Voc quer entender porque um caso um outlier
Estudos Observacionais Seleo Endogeneidade Matching
Em suma
Pode fazer mais sentido estudar alguns casos mais
intensivamente, ou mais casos mais supercialmente
Estudos Observacionais Seleo Endogeneidade Matching
O que um estudo de caso?
Estudo de caso
Estudo intensivo de uma ou algumas unidades para entender
caractersticas de um conjunto mais amplo de unidades
Intensivo pode ser quantitativo ou qualitativo
Unidade pode ser um caso em sentido estrito, ou um
conjunto de observaoes
H que se perguntar: meu caso um caso de que?
Estudos Observacionais Seleo Endogeneidade Matching
Que casos observar?
O objetivo nem sempre estimar efeitos causais
Regras de Seleo Tipo de Estudo Tipo de Inferncia
Max. variao na var. in-
dependente
Exploratorio or
Conrmatorio
Mecanismos
& Efeitos
Casos mais parecidos
(Matching)
Conrmatrio Efeitos
Casos mais diferentes Refutar
Mecanismos
& Efeitos
Caso tpico Conrmatrio Mecanismos
Casos extremos Exploratrio Mecanismos
Outliers Exploratrio Mecanismos
Estudos Observacionais Seleo Endogeneidade Matching
Que casos observar?
O objetivo nem sempre estimar efeitos causais
Regras de Seleo Tipo de Estudo Tipo de Inferncia
Max. variao na var. in-
dependente
Exploratorio or
Conrmatorio
Mecanismos
& Efeitos
Casos mais parecidos
(Matching)
Conrmatrio Efeitos
Casos mais diferentes Refutar
Mecanismos
& Efeitos
Caso tpico Conrmatrio Mecanismos
Casos extremos Exploratrio Mecanismos
Outliers Exploratrio Mecanismos
Estudos Observacionais Seleo Endogeneidade Matching
Regra geral
Para inferir efeitos causais, necessrio um contraste
ente casos
Para entender mecanismos causais, ou explorar
hipteses, no necessariamente
Estudos Observacionais Seleo Endogeneidade Matching
Regra geral
Para inferir efeitos causais, necessrio um contraste
ente casos
Para entender mecanismos causais, ou explorar
hipteses, no necessariamente
Estudos Observacionais Seleo Endogeneidade Matching
Em bons desenhos observacionais
A varivel dependente (a ser explicada) deve . . .
Variar
(Seleo na varivel dep.)
Ser observada em toda a sua variao
(Vis de Seleo)
Ser dependente
(Endogenedade)
Ser independente da regra de determinao do tratamento
(Determinao no aleatria)
Ateno para a variao na terminologia de ontem
Estudos Observacionais Seleo Endogeneidade Matching
Em bons desenhos observacionais
A varivel dependente (a ser explicada) deve . . .
Variar (Seleo na varivel dep.)
Ser observada em toda a sua variao (Vis de Seleo)
Ser dependente (Endogenedade)
Ser independente da regra de determinao do tratamento
(Determinao no aleatria)
Ateno para a variao na terminologia de ontem
Estudos Observacionais Seleo Endogeneidade Matching
Como evitar problemas comuns
Pode-se agir antes ou depois de coletar os dados
Escolha dos casos
Aleatria (N grande)
Intencional (N pequeno)
Tcnicas estatsticas (N grande)
Modelos de seleo
Variveis instrumentais
Matching ou emparelhamento
Estudos Observacionais Seleo Endogeneidade Matching
Problema de seleo
Denio
Observaes so escolhidas por regras correlacionadas com a
varivel dependente
Induzida pelo pesquisador
Seleo pela var. dependente
Observao incompleta da variao na var. dependente
Gerada pela natureza
Agentes so estratgicos
Dados so truncados, censurados ou perdidos de forma
no aleatria
Estudos Observacionais Seleo Endogeneidade Matching
Problema de seleo
Denio
Observaes so escolhidas por regras correlacionadas com a
varivel dependente
Induzida pelo pesquisador
Seleo pela var. dependente
Observao incompleta da variao na var. dependente
Gerada pela natureza
Agentes so estratgicos
Dados so truncados, censurados ou perdidos de forma
no aleatria
Estudos Observacionais Seleo Endogeneidade Matching
Seleo pela var. dependente
Observamos apenas casos com o mesmo valor na var. dependente
Sem variao na var. dependente
Nada pode ser inferido acerca das suas causas
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo induzido pelo pesquisador
Um exemplo de seleo pela var. dependente
Autoritarismo bom para crescimento?
Observamos pases com alto crescimento 19601980
Taiwan, Korea do Sul, Singapura, Brasil, Mexico
Todos eram autoritrios
Existe um mecanismo plausvel
Temos uma resposta?
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo induzido pelo pesquisador
Um exemplo de seleo pela var. dependente
Autoritarismo bom para crescimento?
Observamos pases com alto crescimento 19601980
Taiwan, Korea do Sul, Singapura, Brasil, Mexico
Todos eram autoritrios
Existe um mecanismo plausvel
Temos uma resposta?
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo induzido pelo pesquisador
Um exemplo de seleo pela var. dependente
Autoritarismo bom para crescimento?
Observamos pases com alto crescimento 19601980
Taiwan, Korea do Sul, Singapura, Brasil, Mexico
Todos eram autoritrios
Existe um mecanismo plausvel
Temos uma resposta?
Estudos Observacionais Seleo Endogeneidade Matching
Autoritarismo bom para crescimento?
Um exemplo
Estudos Observacionais Seleo Endogeneidade Matching
Autoritarismo bom para crescimento?
Um exemplo
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo induzido pelo pesquisador
Um exemplo de truncagem da var. dependente
Se no observamos a var. dependente em toda sua
amplitude
Descartamos valores altos
Descartamos valores baixos
A regra de seleo passa ser correlacionada com a var.
dependente
E o vis atenua a estimativa do efeito causal
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo induzido pelo pesquisador
Um exemplo de truncagem da var. dependente
Se no observamos a var. dependente em toda sua
amplitude
Descartamos valores altos
Descartamos valores baixos
A regra de seleo passa ser correlacionada com a var.
dependente
E o vis atenua a estimativa do efeito causal
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo induzido pelo pesquisador
Um exemplo de truncagem da var. dependente
Se no observamos a var. dependente em toda sua
amplitude
Descartamos valores altos
Descartamos valores baixos
A regra de seleo passa ser correlacionada com a var.
dependente
E o vis atenua a estimativa do efeito causal
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo induzido pelo pesquisador
Um exemplo de truncagem da var. dependente
Se no observamos a var. dependente em toda sua
amplitude
Descartamos valores altos
Descartamos valores baixos
A regra de seleo passa ser correlacionada com a var.
dependente
E o vis atenua a estimativa do efeito causal
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo induzido pelo pesquisador
Um exemplo de truncagem da var. dependente
Se no observamos a var. dependente em toda sua
amplitude
Descartamos valores altos
Descartamos valores baixos
A regra de seleo passa ser correlacionada com a var.
dependente
E o vis atenua a estimativa do efeito causal
Estudos Observacionais Seleo Endogeneidade Matching
Uma ilustrao
1 2 3 4 5 6
4
0
6
0
8
0
1
0
0
1
2
0
Extra Years of Education
S
a
l
a
r
i
e
s
Vis de seleo atenua a estimativa do efeito causal!
Estudos Observacionais Seleo Endogeneidade Matching
Uma ilustrao
1 2 3 4 5 6
4
0
6
0
8
0
1
0
0
1
2
0
Extra Years of Education
S
a
l
a
r
i
e
s
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
Vis de seleo atenua a estimativa do efeito causal!
Estudos Observacionais Seleo Endogeneidade Matching
Uma ilustrao
1 2 3 4 5 6
4
0
6
0
8
0
1
0
0
1
2
0
Extra Years of Education
S
a
l
a
r
i
e
s
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
Vis de seleo atenua a estimativa do efeito causal!
Estudos Observacionais Seleo Endogeneidade Matching
Uma ilustrao
1 2 3 4 5 6
4
0
6
0
8
0
1
0
0
1
2
0
Extra Years of Education
S
a
l
a
r
i
e
s
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
GG G
G
G
G
GG
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
Vis de seleo atenua a estimativa do efeito causal!
Estudos Observacionais Seleo Endogeneidade Matching
Uma ilustrao
1 2 3 4 5 6
4
0
6
0
8
0
1
0
0
1
2
0
Extra Years of Education
S
a
l
a
r
i
e
s
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
GG G
G
G
G
GG
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
Vis de seleo atenua a estimativa do efeito causal!
Estudos Observacionais Seleo Endogeneidade Matching
Uma ilustrao
1 2 3 4 5 6
4
0
6
0
8
0
1
0
0
1
2
0
Extra Years of Education
S
a
l
a
r
i
e
s
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
GG G
G
G
G
GG
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
Vis de seleo atenua a estimativa do efeito causal!
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo gerado pela natureza
Crescimento e reeleio do executivo
1 2 3 4 5
Growth
N
o
t

E
l
e
c
t
e
d
E
l
e
c
t
e
d
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo gerado pela natureza
Crescimento e reeleio do executivo
1 2 3 4 5
Growth
N
o
t

E
l
e
c
t
e
d
E
l
e
c
t
e
d
G G G G G G GGG G G G G G G G G G
G G
G G
G
G G GG
G
G
G
G G G
G
G G G G
G
G G G G G G G G G
G G G
G G G G G G G G G G
G
G G G G G
G
G G
G
G G G G G
G
G G G G G
G
G G G G G G G G G G G G G G G G G G G G G G G G G
G
G G G G G G G G G
G
G G
G
G
GG
G G G
G
G G
G
G
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo gerado pela natureza
Crescimento e reeleio do executivo
1 2 3 4 5
Growth
N
o
t

E
l
e
c
t
e
d
E
l
e
c
t
e
d
G G G G G G GGG G G G G G G G G G
G G
G G
G
G G GG
G
G
G
G G G
G
G G G G
G
G G G G G G G G G
G G G
G G G G G G G G G G
G
G G G G G
G
G G
G
G G G G G
G
G G G G G
G
G G G G G G G G G G G G G G G G G G G G G G G G G
G
G G G G G G G G G
G
G G
G
G
GG
G G G
G
G G
G
G
G
G
Estudos Observacionais Seleo Endogeneidade Matching
Vis de seleo gerado pela natureza
Crescimento e reeleio do executivo
1 2 3 4 5
Growth
N
o
t

E
l
e
c
t
e
d
E
l
e
c
t
e
d
G G G G G G GGG G G G G G G G G G
G G
G G
G
G G GG
G
G
G
G G G
G
G G G G
G
G G G G G G G G G
G G G
G G G G G G G G G G
G
G G G G G
G
G G
G
G G G G G
G
G G G G G
G
G G G G G G G G G G G G G G G G G G G G G G G G G
G
G G G G G G G G G
G
G G
G
G
GG
G G G
G
G G
G
G
G
G
G G
G
G G
G G G GG G GG G G G G
G
G
Estudos Observacionais Seleo Endogeneidade Matching
N-pequeno: seleo aleatria de casos pode ser ruim
Uma ilustrao
Suponha que existem trs casos na populao
E que a var. dependente pode assumir trs valores
Decidimos estudar uma amostra de dois casos
H trs amostras possveis
Duas vo enviesar o resultados
Dep. Var
Amostra 1 Amostra 2 Amostra 3
Caso 1 Alto
X X
Caso 2 Mdio
X X
Caso 3 Baixo
X X
Seleo aleatria de casos vai gerar vis de seleo com
probabilidade = 0.66
Estudos Observacionais Seleo Endogeneidade Matching
N-pequeno: seleo aleatria de casos pode ser ruim
Uma ilustrao
Suponha que existem trs casos na populao
E que a var. dependente pode assumir trs valores
Decidimos estudar uma amostra de dois casos
H trs amostras possveis
Duas vo enviesar o resultados
Dep. Var
Amostra 1 Amostra 2 Amostra 3
Caso 1 Alto
X X
Caso 2 Mdio
X X
Caso 3 Baixo
X X
Seleo aleatria de casos vai gerar vis de seleo com
probabilidade = 0.66
Estudos Observacionais Seleo Endogeneidade Matching
N-pequeno: seleo aleatria de casos pode ser ruim
Uma ilustrao
Suponha que existem trs casos na populao
E que a var. dependente pode assumir trs valores
Decidimos estudar uma amostra de dois casos
H trs amostras possveis
Duas vo enviesar o resultados
Dep. Var Amostra 1
Amostra 2 Amostra 3
Caso 1 Alto X
X
Caso 2 Mdio X
X
Caso 3 Baixo
X X
Seleo aleatria de casos vai gerar vis de seleo com
probabilidade = 0.66
Estudos Observacionais Seleo Endogeneidade Matching
N-pequeno: seleo aleatria de casos pode ser ruim
Uma ilustrao
Suponha que existem trs casos na populao
E que a var. dependente pode assumir trs valores
Decidimos estudar uma amostra de dois casos
H trs amostras possveis
Duas vo enviesar o resultados
Dep. Var Amostra 1 Amostra 2
Amostra 3
Caso 1 Alto X X
Caso 2 Mdio X
X
Caso 3 Baixo X
X
Seleo aleatria de casos vai gerar vis de seleo com
probabilidade = 0.66
Estudos Observacionais Seleo Endogeneidade Matching
N-pequeno: seleo aleatria de casos pode ser ruim
Uma ilustrao
Suponha que existem trs casos na populao
E que a var. dependente pode assumir trs valores
Decidimos estudar uma amostra de dois casos
H trs amostras possveis
Duas vo enviesar o resultados
Dep. Var Amostra 1 Amostra 2 Amostra 3
Caso 1 Alto X X
Caso 2 Mdio X X
Caso 3 Baixo X X
Seleo aleatria de casos vai gerar vis de seleo com
probabilidade = 0.66
Estudos Observacionais Seleo Endogeneidade Matching
N-pequeno: seleo aleatria de casos pode ser ruim
Uma ilustrao
Suponha que existem trs casos na populao
E que a var. dependente pode assumir trs valores
Decidimos estudar uma amostra de dois casos
H trs amostras possveis
Duas vo enviesar o resultados
Dep. Var Amostra 1 Amostra 2 Amostra 3
Caso 1 Alto X X
Caso 2 Mdio X X
Caso 3 Baixo X X
Seleo aleatria de casos vai gerar vis de seleo com
probabilidade = 0.66
Estudos Observacionais Seleo Endogeneidade Matching
N-pequeno: seleo aleatria de casos pode ser ruim
Uma ilustrao
Suponha que existem trs casos na populao
E que a var. dependente pode assumir trs valores
Decidimos estudar uma amostra de dois casos
H trs amostras possveis
Duas vo enviesar o resultados
Dep. Var Amostra 1 Amostra 2 Amostra 3
Caso 1 Alto X X
Caso 2 Mdio X X
Caso 3 Baixo X X
Seleo aleatria de casos vai gerar vis de seleo com
probabilidade = 0.66
Estudos Observacionais Seleo Endogeneidade Matching
A variao desejvel com N pequeno
Regra geral
Variveis, e especialmente a varivel dependente, tm que
variar!
Variao na varivel dependente
Variao na varivel independente de interesse (causa)
A menor variao possvel nos fatores intervenientes
(controles)
Estudos Observacionais Seleo Endogeneidade Matching
A variao desejvel com N pequeno
Regra geral
Variveis, e especialmente a varivel dependente, tm que
variar!
Variao na varivel dependente
Variao na varivel independente de interesse (causa)
A menor variao possvel nos fatores intervenientes
(controles)
Estudos Observacionais Seleo Endogeneidade Matching
A variao desejvel com N pequeno
Regra geral
Variveis, e especialmente a varivel dependente, tm que
variar!
Variao na varivel dependente
Variao na varivel independente de interesse (causa)
A menor variao possvel nos fatores intervenientes
(controles)
Estudos Observacionais Seleo Endogeneidade Matching
A variao desejvel com N pequeno
Regra geral
Variveis, e especialmente a varivel dependente, tm que
variar!
Variao na varivel dependente
Variao na varivel independente de interesse (causa)
A menor variao possvel nos fatores intervenientes
(controles)
Estudos Observacionais Seleo Endogeneidade Matching
Como obter esta variao com N pequeno?
Quando o objetivo for inferncia causal
1. Selecionar casos baseado somente na var. independente
mantendo xas outras causas intervenientes
necessrio saber os possveis valores da var.
independente e causas intervenientes antes de selecionar
os casos
Requer no saber, ou no levar em conta os valores da var.
dependente
Corremos o risco de terminar sem variao na var.
dependente
Estudos Observacionais Seleo Endogeneidade Matching
Como obter esta variao com N pequeno?
Quando o objetivo for inferncia causal
2. Intentionalmente forar variao na varivel dependente
Evitar selecionar somente os mesmos valores da var.
dependente
Escolher valores extremos da var. dependente
Se zermos isso, necessrio no levar em conta valores
da var. independente
Estudos Observacionais Seleo Endogeneidade Matching
Seleo aleatria de casos com N-grande
Em geral, seleo aleatria de casos evita o problema de
seleo
Regra de seleo independente de todas as outra
variveis
Nem sempre pode ser feita
No evita a seleo induzida pela natureza
Alternativas:
Modelar o processo de seleo
Selecionar casos via matching
Estudos Observacionais Seleo Endogeneidade Matching
Entendendo o processo de seleo
Voltando ao exemplo dos prefeitos
preciso estudar dois fenmenos ao mesmo tempo. . .
1. A eleio
Var. dependente o resultado da eleio
Explicada por desempenho econmico e outras coisas
2. O processo de seleo
Var. dependente a deciso de se candidatar
Explicada por desempenho econmica e outras coisas
3. Em geral
Var. dependente na regresso de seleo sempre binria
preciso ter pelo menos uma varivel explicativa diferente
nas duas regresses
Estudos Observacionais Seleo Endogeneidade Matching
Entendendo o processo de seleo
Voltando ao exemplo dos prefeitos
preciso estudar dois fenmenos ao mesmo tempo. . .
1. A eleio
Var. dependente o resultado da eleio
Explicada por desempenho econmico e outras coisas
2. O processo de seleo
Var. dependente a deciso de se candidatar
Explicada por desempenho econmica e outras coisas
3. Em geral
Var. dependente na regresso de seleo sempre binria
preciso ter pelo menos uma varivel explicativa diferente
nas duas regresses
Estudos Observacionais Seleo Endogeneidade Matching
Entendendo o processo de seleo
Voltando ao exemplo dos prefeitos
preciso estudar dois fenmenos ao mesmo tempo. . .
1. A eleio
Var. dependente o resultado da eleio
Explicada por desempenho econmico e outras coisas
2. O processo de seleo
Var. dependente a deciso de se candidatar
Explicada por desempenho econmica e outras coisas
3. Em geral
Var. dependente na regresso de seleo sempre binria
preciso ter pelo menos uma varivel explicativa diferente
nas duas regresses
Estudos Observacionais Seleo Endogeneidade Matching
Modelando a seleo
O Modelo de Heckman
Denir duas regresses
1. Voto = Crescimento + Controles
2. Candidatar-se = Crescimento + Controles + Outra(s)
Variveis
Estimar a regresso de seleo (2)
Calcular a razo de Mills invertida com base nesta
regresso
Estimar a regresso principal (1), incluindo a RMI como
varivel
Na prtica: pacotes estatsticos fazem o trabalho sujo
Valeu um prmio Nobel!
Estudos Observacionais Seleo Endogeneidade Matching
Modelando a seleo
O Modelo de Heckman
Denir duas regresses
1. Voto = Crescimento + Controles
2. Candidatar-se = Crescimento + Controles + Outra(s)
Variveis
Estimar a regresso de seleo (2)
Calcular a razo de Mills invertida com base nesta
regresso
Estimar a regresso principal (1), incluindo a RMI como
varivel
Na prtica: pacotes estatsticos fazem o trabalho sujo
Valeu um prmio Nobel!
Estudos Observacionais Seleo Endogeneidade Matching
Modelando a seleo
O Modelo de Heckman
Denir duas regresses
1. Voto = Crescimento + Controles
2. Candidatar-se = Crescimento + Controles + Outra(s)
Variveis
Estimar a regresso de seleo (2)
Calcular a razo de Mills invertida com base nesta
regresso
Estimar a regresso principal (1), incluindo a RMI como
varivel
Na prtica: pacotes estatsticos fazem o trabalho sujo
Valeu um prmio Nobel!
Estudos Observacionais Seleo Endogeneidade Matching
Modelando a seleo
O Modelo de Heckman
Denir duas regresses
1. Voto = Crescimento + Controles
2. Candidatar-se = Crescimento + Controles + Outra(s)
Variveis
Estimar a regresso de seleo (2)
Calcular a razo de Mills invertida com base nesta
regresso
Estimar a regresso principal (1), incluindo a RMI como
varivel
Na prtica: pacotes estatsticos fazem o trabalho sujo
Valeu um prmio Nobel!
Estudos Observacionais Seleo Endogeneidade Matching
Modelando a seleo
O Modelo de Heckman
Denir duas regresses
1. Voto = Crescimento + Controles
2. Candidatar-se = Crescimento + Controles + Outra(s)
Variveis
Estimar a regresso de seleo (2)
Calcular a razo de Mills invertida com base nesta
regresso
Estimar a regresso principal (1), incluindo a RMI como
varivel
Na prtica: pacotes estatsticos fazem o trabalho sujo
Valeu um prmio Nobel!
Estudos Observacionais Seleo Endogeneidade Matching
Endogeneidade: Um exemplo inicial
Constituency service aumenta a chance de reeleio?
Faz sentido
Dados sugerem que no h efeito
O que pode estar acontecendo?
Estudos Observacionais Seleo Endogeneidade Matching
A intuio
Candidatos com possibilidade de perder eleies
Aumentam os esforos de constituency service
Mas ainda assim, perdem algumas eleies
O problema de endogeneidade
1. Releio Constituency Service + Outros fatores
2. Constituency Service Reeleio + Outros fatores
Estudos Observacionais Seleo Endogeneidade Matching
A intuio
Candidatos com possibilidade de perder eleies
Aumentam os esforos de constituency service
Mas ainda assim, perdem algumas eleies
O problema de endogeneidade
1. Releio Constituency Service + Outros fatores
2. Constituency Service Reeleio + Outros fatores
Estudos Observacionais Seleo Endogeneidade Matching
Endogeneidade
Quando a varivel independente consequncia e causa da
varivel dependente
Uma varivel endgena aparece nos dois lados de um
sistema de equaes
Leva a estimativas enviesadas do efeito causal
No um problema em estudos experimentais
comum em estudos observacionais
Estudos Observacionais Seleo Endogeneidade Matching
Endogeneidade
Quando a varivel independente consequncia e causa da
varivel dependente
Uma varivel endgena aparece nos dois lados de um
sistema de equaes
Leva a estimativas enviesadas do efeito causal
No um problema em estudos experimentais
comum em estudos observacionais
Estudos Observacionais Seleo Endogeneidade Matching
Pensar na direo do vis
Uma abordagem minimalista
1. Voto

+ Constituency Service
2. Constituency Service

Voto
Direo do vis
A hiptese que o efeito em 1 positivo
O feedback deve diminuir o efeito visvel
Neste caso
A nossa estimativa um mnimo
O efeito deve ser maior do que nossa estimativa
Estudos Observacionais Seleo Endogeneidade Matching
Pensar na direo do vis
Uma abordagem minimalista
1. Voto

+ Constituency Service
2. Constituency Service

Voto
Direo do vis
A hiptese que o efeito em 1 positivo
O feedback deve diminuir o efeito visvel
Neste caso
A nossa estimativa um mnimo
O efeito deve ser maior do que nossa estimativa
Estudos Observacionais Seleo Endogeneidade Matching
Uma correo estatstica para endogeneidade
Quando o N grande, podemos tentar separar
Efeito de X em Y
Do efeito de Y em X
Estudos Observacionais Seleo Endogeneidade Matching
Uma correo estatstica para endogeneidade
Precisamos de uma varivel instrumental!
Uma varivel que afeta X
Que afeta Y apenas atraves do efeito em X
Que no causada por Y
Que no causado por uma causa de Y
Estudos Observacionais Seleo Endogeneidade Matching
Denio de varivel instrumental
!"#$%&#&'
&' )*+,-,#,.
/0,1'
Estudos Observacionais Seleo Endogeneidade Matching
Denio de varivel instrumental
!"#$%&#&'
&' )*+,-,#,.
/0,1'
2
Estudos Observacionais Seleo Endogeneidade Matching
Denio de varivel instrumental
!"#$%&#&'
&' )*+,-,#,.
/0,1'
3+',45'.
Estudos Observacionais Seleo Endogeneidade Matching
No caso de Levitt
Mostra que h mais contratao de policiais em ano
eleitoral
Controla por gastos sociais (outra forma pela qual eleies
podem afetar crime)
Mostra que h menos crime em anos eleitorais
Isso j sugere uma ligao entre policia e crime
Que corroborada pela regresso usando var.
instrumental
Estudos Observacionais Seleo Endogeneidade Matching
Na prtica
2SLS Regresso em dois estgios
Denir duas regresses
1. Crime = Policia + controles
2. Polcia = Var. Instrumental + controles + outros fatores
Estimar a regresso 2
Computar o tamanho previsto da fora policial
Substituir Polcia na regresso 1 por este valor previsto
Na prtica, uma linha de comando em pacotes estatsticos
Estudos Observacionais Seleo Endogeneidade Matching
Na prtica
2SLS Regresso em dois estgios
Denir duas regresses
1. Crime = Policia + controles
2. Polcia = Var. Instrumental + controles + outros fatores
Estimar a regresso 2
Computar o tamanho previsto da fora policial
Substituir Polcia na regresso 1 por este valor previsto
Na prtica, uma linha de comando em pacotes estatsticos
Estudos Observacionais Seleo Endogeneidade Matching
Na prtica
2SLS Regresso em dois estgios
Denir duas regresses
1. Crime = Policia + controles
2. Polcia = Var. Instrumental + controles + outros fatores
Estimar a regresso 2
Computar o tamanho previsto da fora policial
Substituir Polcia na regresso 1 por este valor previsto
Na prtica, uma linha de comando em pacotes estatsticos
Estudos Observacionais Seleo Endogeneidade Matching
Na prtica
2SLS Regresso em dois estgios
Denir duas regresses
1. Crime = Policia + controles
2. Polcia = Var. Instrumental + controles + outros fatores
Estimar a regresso 2
Computar o tamanho previsto da fora policial
Substituir Polcia na regresso 1 por este valor previsto
Na prtica, uma linha de comando em pacotes estatsticos
Estudos Observacionais Seleo Endogeneidade Matching
Na prtica
2SLS Regresso em dois estgios
Denir duas regresses
1. Crime = Policia + controles
2. Polcia = Var. Instrumental + controles + outros fatores
Estimar a regresso 2
Computar o tamanho previsto da fora policial
Substituir Polcia na regresso 1 por este valor previsto
Na prtica, uma linha de comando em pacotes estatsticos
Estudos Observacionais Seleo Endogeneidade Matching
Na prtica
2SLS Regresso em dois estgios
Denir duas regresses
1. Crime = Policia + controles
2. Polcia = Var. Instrumental + controles + outros fatores
Estimar a regresso 2
Computar o tamanho previsto da fora policial
Substituir Polcia na regresso 1 por este valor previsto
Na prtica, uma linha de comando em pacotes estatsticos
Estudos Observacionais Seleo Endogeneidade Matching
Na prtica
2SLS Regresso em dois estgios
Denir duas regresses
1. Crime = Policia + controles
2. Polcia = Var. Instrumental + controles + outros fatores
Estimar a regresso 2
Computar o tamanho previsto da fora policial
Substituir Polcia na regresso 1 por este valor previsto
Na prtica, uma linha de comando em pacotes estatsticos
Estudos Observacionais Seleo Endogeneidade Matching
Um bom instrumento:
Tem efeito no trivial na varivel endgena X
No tem ligao lgica com Y, exceto por seu efeito em X
No causado por Y
No compartilha nenhuma causa com Y
geralmente difcil de encontrar!
Estudos Observacionais Seleo Endogeneidade Matching
Outros exemplos
Chuvas como instrumento para crescimento
Terremotos como instrumentos para choque de preos
Estudos Observacionais Seleo Endogeneidade Matching
Matching: Uma intuio
Um caso extremo de seleo intencional de casos
Uma alternativa razovel
Selecionar casos para manter o mximo de variveis possveis
constantes
Se estamos interessados em uma nica causa
Se conseguimos emparelhar observaes em todas (ou
quase todas) as outras variveis relevantes
Estudos Observacionais Seleo Endogeneidade Matching
Matching: Uma intuio
Um caso extremo de seleo intencional de casos
Uma alternativa razovel
Selecionar casos para manter o mximo de variveis possveis
constantes
Se estamos interessados em uma nica causa
Se conseguimos emparelhar observaes em todas (ou
quase todas) as outras variveis relevantes
Estudos Observacionais Seleo Endogeneidade Matching
Matching: o passo inicial da anlise
1. Obter os dados
2. Escolher as variveis que devem ser usadas para criar
grupos equilibrados
3. Escolher o mtodo de matching
4. Criar amostra reduzida com grupos equilibrados
5. Avaliar o equilbrio
6. Analizar os dados nesta nova amostra
Estudos Observacionais Seleo Endogeneidade Matching
Bolsa Famlia e voto para Lula/Dilma
Estudos Observacionais Seleo Endogeneidade Matching
Matching: Quando o tratamento contnuo
Generalized Propensity Score Matching
1. Estimar o grau de semelhana dos municpios
Baseado em variveis observadas antes do tratamento
Pop, riqueza, estado, localizao, resultados anteriores,
etc. . .
2. Dividir municpios em grupos semelhantes
3. Estimar o efeito de BF em cada grupo
4. Tirar a mdia dos efeitos
Estudos Observacionais Seleo Endogeneidade Matching
Prevendo tratamento
Estudos Observacionais Seleo Endogeneidade Matching
Prevendo tratamento
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G G
G
G G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
GG
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G G
G
G
G G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
GG
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G GG
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
GG
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
GG
G
G
G
G
G
G
G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G G
G
G G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
0.0 0.2 0.4 0.6 0.8
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
Propensity Score
T
r
e
a
t
m
e
n
t
Estudos Observacionais Seleo Endogeneidade Matching
Efeitos em cada grupo
Resultados primeiro turno
Serra 2002
0.0 0.1 0.2 0.3 0.4
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
Propensity Score
P
r
e
d
ic
t
e
d

V
o
t
e

S
h
a
r
e
Lula 2006
0.0 0.2 0.4 0.6 0.8
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
Propensity Score
P
r
e
d
ic
t
e
d

V
o
t
e

S
h
a
r
e
Dilma 2010
0.0 0.2 0.4 0.6
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
Propensity Score
P
r
e
d
ic
t
e
d

V
o
t
e

S
h
a
r
e
Estudos Observacionais Seleo Endogeneidade Matching
Efeito causal mdio

0
.
1
0
.
0
0
.
1
0
.
2
0
.
3
2002 2006 2010 2002 2006 2010
Spending Scope
E
f
f
e
c
t

o
f

I
n
c
r
e
a
s
e

i
n

C
C
T

C
o
v
e
r
a
g
e
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G
G OLS
GPS Matching
Survey (Implied)
Estudos Observacionais Seleo Endogeneidade Matching
Limites do Matching
Matching descarta observaes para fazer os grupos
tratados semelhantes exceto pelo tratamento
Porm, garante apenas que os grupos so iguais em
variveis observveis
Randomizao do tratamento atinge observveis e no
observveis