Avaliação aleatorizada

do início ao fim
Como a pressão dos pares afeta
investimentos educacionais?
Leonardo Bursztyn
Professor da Universidade de Chicago
Pesquisador afiliado do J-PAL
Objetivos da aula

• Conhecer a avaliação de impacto aleatorizada de uma política

do início ao fim

• Traçar paralelo com a teoria abordada ao longo das aulas

anteriores, reconhecendo a prática de cada uma das etapas
de uma avaliação

2
Estrutura

I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Medição

IV. Aspectos operacionais e desafios

V. Uso da evidência
Estrutura

I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Medição

IV. Aspectos operacionais e desafios

V. Uso da evidência
Problema: efeitos negativos da pressão de pares na
educação
• A adolescência é um período chave para o desenvolvimento acadêmico,
em que decisões podem afetar o futuro profissional das pessoas

• É também o período em que se acredita haver maior vulnerabilidade à

pressão de pares

• Estudos recentes sugerem que a motivação de estudantes, além de se

referenciar nos ganhos futuros da educação, também pode variar em
função do desejo por aprovação social (ser popular ou ajustar-se ou do
receio de sofrer sanções sociais - bullying)

5
 Pressão de pares e
investimentos educacionais
Estados Unidos - Califórnia

6
Fonte: J-PAL
Contexto

• Apesar da percepção difundida de que pressões dos pares afeta escolhas,

há pouca evidência empírica sobre seus efeitos

• Assim, ainda há desconhecimento sobre os mecanismos por meio do quais

a pressão dos pares opera

• Na educação, nos interessa especialmente conhecer essa dinâmica no

período da adolescência, e também nos contextos estudados de alunos
com maior vulnerabilidade social

7
Contexto: duas análises
1. Experimento natural
• Impacto de se revelar ranking dos melhores alunos de cursos de reforço
para provas sobre suas notas
• Fenômeno natural ocorrido em 2011 – 2012 nos Estados Unidos

2. Experimento em campo
• Impacto de se divulgar o interesse em cursos pré-vestibular (SAT)
sobre a decisão de aceitar bolsas de estudos
• Pesquisa experimental realizada em 2013 – 2014 em Los Angeles

8
 1. Experimento natural
• Aplicado sobre um programa online de reforço em leitura e matemática
voltado para provais finais de ensino médio

• Alunos contavam com um mês de uso na plataforma de questões de múltipla

escolha enquanto recebiam pareceres (feedbacks) privados sobre seu
desempenho

• Sem prévio aviso, o sistema sofreu alterações: passou a pontuar os exercícios e

divulgar a todos os alunos o ranking geral dos 3 melhores alunos, e o individual

• Para melhor isolar o teste da pressão dos pares, e verificar se efeitos se aplicam
para além dos estudantes de reforço, foi feito o experimento de campo
9
 2. Experimento de campo
• Aplicado sobre um programa online de preparo complementar para o SAT

• Foi oferecido aos alunos acesso ao curso, enfatizando aleatoriamente se a

decisão de adesão seria privada incluindo ou excluindo os colegas de sala

• Teste foi realizado com alunos das turmas mais e menos avançadas

• Para conhecer ainda mais profundamente como se opera a decisão dos

estudantes com melhor e pior performance, foi
• Perguntado a eles se consideravam importante ser popular
• Refeita a amostra para apenas aqueles integrantes de disciplinas mais e menos avançadas
concomitantemente
10
Pergunta da avaliação

Os estudantes estão dispostos a se desviar da escolha que eles realmente

acreditam ser a melhor (seja em termos acadêmicos, seja de investimento) por
conta dessas preocupações sociais?

• Caso de estudantes pertencentes a cursos de reforço escolar

• Caso de estudantes da grade curricular comum, pertencentes a salas de

melhor/pior performance

11
I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Medição

IV. Aspectos operacionais e desafios

V. Uso da evidência
 Amostragem & Designação
Experimento natural (ranking)

Programa online de
Programa permite
reforço escolar em Mudança no
conhecer o ranking
múltipla escolha permitia sistema não
individual além daquele
que cada aluno comunicada
dos melhores alunos
conhecesse sua nota

Tempo 1 mês 1 dia Resto do ano

Início do ano escolar

13
Comparação
Experimento natural (ranking)

Performance dos alunos antes Performance dos alunos depois

X
da divulgação do ranking da divulgação do ranking
individual e geral dos melhores individual e geral dos melhores
alunos
alunos

Variações de acordo com o nível de desempenho do

estudante

14
 Alunos com performance inicial pior Alunos com performance inicial média

Número médio de respostas corretas por dia

Número médio de respostas corretas por dia

Intervenção
Experimento
Alteração
natural Alteração

Alunos com performance inicial boa (ranking) Alunos com performance inicial melhor

Número médio de respostas corretas por dia

Número médio de respostas corretas por dia

Fonte: Bursztyn & Jensen, 2015 Alteração

Alteração
Para melhor isolar o teste da pressão dos pares,
e verificar se efeitos se aplicam para além dos
estudantes de reforço, foi feito também o
experimento de campo aleatorizado

16
 Amostragem & Designação Designação
Experimento de campo (adesão) aleatória
Tratamento
Excluindo os colegas
de sala
Aulas
padrão
Controle
Incluindo colegas de
sala
População
Amostra Alunos que cursam, ao
de interesse mesmo tempo, disciplinas
4 escolas em salas de aula padrão
Escolas
vulneráveis de e mais avançadas
vulneráveis dos
Los Angeles
EUA Tratamento
Excluindo os colegas
de sala
Aulas
avançadas Controle
Designação Incluindo colegas de
sala
aleatória
Comparação

Probabilidade de adesão de
estudantes cuja escolha seria
divulgada para colegas
X Probabilidade de adesão de
estudantes cuja escolha não
seria divulgada para colegas

Variações de acordo com o nível de desempenho da sala

em que foi aplicada a pesquisa (padrão ou alto), bem como
análise sobre a importância atribuída à popularidade

18
I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Medição

IV. Aspectos operacionais e desafios

V. Uso da evidência
Medição

• Experimento natural
– Análise antes-depois que contou com dados administrativos

• Experimento de campo
– Contaminações foram evitadas a partir da manutenção completa da
situação dos alunos durante o tratamento.
– A intervenção foi pequena (tratou-se do preenchimento de um
formulário simples), discreta (cortou comunicação durante seu
preenchimento) e rápida (não levou mais de dez minutos)
– Experiência de um segundo questionário sobre a importância da
popularidade

20
 Tratamento Controle
Privacidade da adesão Privacidade da adesão
excluindo colegas de sala incluindo colegas de sala

Fonte: Bursztyn
& Jensen, 2015
I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Medição

IV. Aspectos operacionais e desafios

V. Uso da evidência
Aspectos operacionais
Experimento natural (ranking)

• Pesquisa utilizou dados administrativos, três anos depois da mudança,

relativos ao período de alteração da exposição do ranking

23
 Aspectos operacionais
Experimento de campo (adesão)

• Pesquisa entrevistou 825 estudantes do último ano do ensino médio de 26 salas

de aula das 4 escolas escolhidas
– 560 estudantes de disciplinas em classes de desempenho padrão
– 265 estudantes de disciplinas em classes de desempenho melhor
– Dos 825, ~42% frequentavam tanto classes de melhor desempenho quanto aquelas
de desempenho padrão

• Ida a campo contou com o apoio e coordenação junto a agentes

implementadores das políticas educacionais, mas nem professores nem
estudantes souberam com antecedência da proposta da pesquisa

24
Desafios após o desenho
Experimento natural (ranking)

Validade interna
• Fragilidade pelo construto utilizado (não aleatorização, placebo)

Validade externa
• Fragilidade pela amostra escolhida (alunos em reforço escolar)

25
Desafios após o desenho
Experimento de campo (adesão)

Validade interna
• Robustez pelo construto utilizado (aleatorização, apenas uma diferenciação)
• Dificuldades de implementação da pesquisa

Validade externa
• Fragilidade pela particularidade da amostra (alunos de algumas das escolas mais
pobres de Los Angeles)
...embora o número de formandos que aplique para o SAT corresponda às médias do
estado

26
I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Medição

IV. Aspectos operacionais e desafios

V. Uso da evidência
 Quais foram os efeitos da divulgação de
rankings individuais e dos melhores alunos
nos resultados acadêmicos?

28
 Resultados Fonte: Bursztyn & Jensen, 2015
Experimento natural (ranking)

Efeitos dos pontos e do sistema de ranqueamento

Variável Dependente Número de respostas corretas ao dia

Efeito da introdução do
novo sistema nas notas
diárias
Número médio de
respostas corretas ao
dia
Núm. Observações
R quadrado
Amostra Completa Quartil 1 Quartil 2 Quartil 3 Quartil 4
 Resultados Fonte: Bursztyn & Jensen, 2015
Experimento natural (ranking)

Efeitos dos pontos e do sistema de ranqueamento

Variável Dependente Número de respostas corretas ao dia

Efeito da introdução do
novo sistema nas notas
diárias
Número médio de
respostas corretas ao
dia
Núm. Observações
R quadrado
Amostra Completa Quartil 1 Quartil 2 Quartil 3 Quartil 4
 Resultados Fonte: Bursztyn & Jensen, 2015
Experimento natural (ranking)

Efeitos dos pontos e do sistema de ranqueamento

Variável Dependente Número de respostas corretas ao dia

Efeito da introdução do
novo sistema nas notas
diárias
Número médio de
respostas corretas ao
dia
Num. Observações
R quadrado
Amostra Completa Quartil 1 Quartil 2 Quartil 3 Quartil 4
 Resultados Fonte: Bursztyn & Jensen, 2015
Experimento natural (ranking)

Efeitos dos pontos e do sistema de ranqueamento

Variável Dependente Número de respostas corretas ao dia

Efeito da introdução do
novo sistema nas notas
diárias
Número médio de
respostas corretas ao
dia
Núm. Observações
R quadrado
Amostra Completa Quartil 1 Quartil 2 Quartil 3 Quartil 4
 Resultados Fonte: Bursztyn & Jensen, 2015
Experimento natural (ranking)

Efeitos dos pontos e do sistema de ranqueamento

Variável Dependente Número de respostas corretas ao dia

Efeito da introdução do
novo sistema nas notas
diárias
Número médio de
respostas corretas ao
dia
Num. Observações
R quadrado
Amostra Completa Quartil 1 Quartil 2 Quartil 3 Quartil 4
Resultados
Experimento natural (ranking)

Estudantes reduzem seus esforços ativamente para evitar aparecer no ranking

divulgado

• Contudo, de acordo com o desenho da pesquisa não podemos entender

pressão dos pares como causa da aversão aos rankings

• Também foi testado um placebo: em nenhum outro período, observou-se

queda de performance semelhante dos melhores alunos

34
Alguns mecanismos alternativos considerados são
Experimento natural (ranking)

• O ranking pode ter criado pressão competitiva que afetou adversamente a

capacidade relativa dos estudantes com melhor performance?
– Não. Este grupo teve mais acertos e, ao mesmo tempo, mais respostas deixadas
em branco

• Se o ranking gerou pressão competitiva negativa para os estudantes, este

efeito deveria ser menor quando o sistema for usado em casa?
– Não. A hipótese da mitigação da pressão dos pares quando em casa foi
rejeitada empiricamente

35
 Outros mecanismos alternativos considerados são
Experimento natural (ranking)

• A informação poderia ter afetado a performance dos alunos de melhor

desempenho quando, ao conhecerem seu diferencial, reduziram esforços?
– Não. Estudantes já teriam tido sinalizações de sua performance antes do ranking
do site

• As mudanças de performance podem ter se dado pela novidade no sistema?

– Não. A tendência se concentrou nos alunos com melhor desempenho

• É possível que melhores alunos tenham recebido questões mais difíceis?

– Não. A seleção dos exercícios era aleatória

36
Quais foram os efeitos da divulgação de adesão
ao curso extraclasse nas taxas de adesão?

37
 Taxas de adesão para decisões públicas e privadas, classes
Resultados de desempenho padrão e alto
Experimento de
Disciplinas de
campo desempenho
Disciplinas de
alto
(adesão) padrão
desempenho

Tornar público fez

com que alunos de
desempenho padrão
aderissem 11% menos
Taxa de adesão
ao curso, enquanto
que entre alunos das
classes de alto
desempenho gerou
elevação de 1% na
adesão
Assim, no caso, a
decisão de tornar
público não é
universalmente
ruim

Fonte: Bursztyn & Jensen, 2015 Decisão Privada Decisão Pública Decisão Privada Decisão Pública
 Taxas de adesão para decisões públicas e privadas, importância de ser popular

classes de desempenho padrão classes de alto desempenho

Importante ser Não importante ser Importante ser Não importante ser
popular popular popular popular
Taxa de adesão

Decisão Privada Decisão Pública Decisão Privada Decisão Pública Decisão Privada Decisão Pública Decisão Privada Decisão Pública

39
Fonte: Bursztyn & Jensen, 2015
 Taxas de adesão para decisões públicas e privadas, importância de ser popular

classes de desempenho padrão classes de alto desempenho

Importante ser Não importante ser Importante ser Não importante ser
popular popular popular popular
Taxa de adesão

20 p.p.

Decisão Privada Decisão Pública Decisão Privada Decisão Pública Decisão Privada Decisão Pública Decisão Privada Decisão Pública

40
Fonte: Bursztyn & Jensen, 2015
 Conclusões
Alunos de classes de alto desempenho x classes de desempenho padrão
• O tratamento de tornar pública a decisão de adesão ao curso fez com que alunos
de classes de desempenho padrão aderissem menos ao curso
– Embora a decisão de tornar pública não seja universalmente ruim

Alunos pertencentes ambos os tipos de classes ao mesmo tempo

• Neste caso, os efeitos da publicização são negativos para alunos em salas padrão e
positivos para aqueles das melhores salas
• Quando a análise separou 3 grupos diferentes, pertencentes a classes de
desempenho (1) padrão, (2) misto e (3) melhor, o resultado foi ainda mais significativo

Alunos que atribuem maior x menor importância a ser popular

• Os efeitos se confirmaram novamente, mas de maneira reforçada

41
 Uso de evidência
Políticas de educação
• A partir das evidências obtidas pelo estudo, é possível problematizar, em
políticas de educação, as consequências de se expor estudantes à
pressão dos pares, de acordo com seu contexto

• Vale ressaltar que, pelo fato de o estudo ter buscado espaços amostrais
com estudantes vulneráveis (menor renda per capita, maior presença de
minorias sociais, bairros menos privilegiados, etc.), seus resultados são mais
facilmente replicáveis a contextos que também apresentem populações
com o mesmo perfil – as que encontram, tipicamente, dificuldades mais
relevantes para seu desenvolvimento acadêmico e profissional

Uso direto da evidência do estudo natural

42