Nesse
sábado foram publicados dois textos na Folha de São Paulo debatendo o mesmo
tema: “É correta a maneira como são feitas as pesquisas eleitorais no Brasil?”.
Um deles defende que NÃO, escrita pelo José Carvalho com o título de “O erro da
margem de erro” e o outro defende o SIM, escrito pelo Ney Figueiredo com o
título “Instrumento a serviço da democracia”. Seguem os links abaixo. Estão
muito bem escritos, e acredito que são relevantes na discussão sobre a
importância e a qualidade das pesquisas eleitorais no Brasil. Vale a pena a
leitura.
SIM - http://www1.folha.uol.com.br/opiniao/2014/10/1534428-e-correta-a-maneira-como-sao-feitas-as-pesquisas-eleitorais-no-brasil-sim.shtml
Eu
concordo com muitos dos argumentos utilizados pelos dois. Achei engraçado que a
minha maior objeção aos argumentos utilizados é a mesma para os dois
textos. Tanto o SIM quanto o NÃO assumem
(implicitamente) que todas as pesquisas realizadas no Brasil utilizam a mesma
metodologia. Isso não é verdade. Tanto faz se o objetivo é criticar as
pesquisas ou valorizá-las. Na minha opinião, para que o debate sobre as
pesquisas eleitorais amadureça, é preciso justamente entender que existem diferenças metodológicas e que
elas são relevantes. Essas diferenças não são apenas detalhes. Elas têm
consequências na qualidade da pesquisa.
O Carvalho (NÃO) fala sobre isso abertamente, porém
assume que todas as pesquisas estão na mesma categoria “Não-probabilística”. Já
para o Figueiredo (SIM) as pesquisas do Ibope e o Datafolha estão na categoria na
qual a metodologia está mais do que “provada e aprovada”.
Anteriormente já escrevi sobre a diferença entre as
pesquisas denominadas “Amostragem por Cotas” (AC) e as denominadas “Amostragem
Probabilística por Cotas” (APC). Existe apenas uma semelhança entre as duas
metodologias: ambas têm a palavra “Cotas” no nome, indicando que não são
probabilísticas. Isso não quer dizer que sejam iguais. Pelo contrário, existem
muitas diferenças entre elas, vou mencionar algumas abaixo:
1- Na APC
as entrevistas são domiciliares. Na AC as entrevistas são realizadas em pontos
de fluxo. Como o Carvalho diz em seu texto: “os pontos de concentração podem
ser shoppings, esquinas de ruas movimentadas, ou seja, lugares onde é fácil
preencher as cotas”.
2- Na APC
existe muito controle sobre o entrevistador e a sua liberdade de escolha dos
entrevistados. Ele tem que percorrer um trajeto muito restrito com critérios
claros e objetivos. Na AC, o
entrevistador escolhe quem quiser, contanto que esteja nas cotas.
3- Na
APC, existe um controle geográfico excelente, equivalente ao que se poderia
obter em qualquer amostra probabilística. Na AC, as pesquisas acabam tendo uma aglomeração geográfica muito maior.
4- Na APC
o objetivo das cotas é controlar a probabilidade de resposta das pessoas. Na
AC, o objetivo é reproduzir características demográficas da população alvo.
Os dois artigos principais, que discutem essas
metodologias e as comparam com amostragem probabilística na prática (aquela
cheia de suposições e com não resposta) são:
APC - [Ref1]Probability SampIing with Quotas: An Experiment (C.
BRUCE STEPHENSON)
AC -[Ref2]An experimental study of quota sampling (C. A. Moser
and A. Stuart)
Basta ler ambos os artigos pra ver como as metodologias (e as
criticas) são muito diferentes. Mais importante, existe um efeito negativo
importante na qualidade da AC pelo fato das entrevistas serem realizadas em
pontos de fluxo. Apenas para exemplificar, no artigo [Ref2] sobre AC, os
autores dizem que os maiores vícios encontrados na comparação foram: 1) A
distribuição geográfica da amostragem por cotas (AC) era mais aglomerada, 2) na
amostragem probabilística (aquela da prática, com voltas e substituições) havia
mais não-resposta na variável de renda e 3) foram observadas mais pessoas na
categoria sem renda/com renda baixa e renda alta do que na AC.
Não é difícil encontrar um explicação para todas essas
diferenças que está bastante relacionada ao fato de realizar entrevistas em
pontos de fluxo (não necessariamente por causa das cotas). Fazendo entrevistas
em pontos de fluxo, claramente a distribuição geográfica será mais concentrada.
Além disso, usualmente pessoas sem ocupação e/ou aposentadas não precisam ir as
esses locais, consequentemente pessoas sem renda/renda baixa também serão
sub-representadas. Pessoas com renda alta podem não se sentir à vontade ao
responder uma pergunta sobre a sua renda nesses locais, também sendo
sub-representadas e aumentando a não resposta.
Meu ponto é: outras características metodológicas, além das cotas,
também são claramente responsáveis por vícios observados na AC. Pra mim,
pesquisas em ponto de fluxo são um sinal de baixa qualidade da pesquisa (potencialmente).
Muito mais do que o fato de usar cotas. Cotas podem ser bem efetivas,
principalmente se forem associadas com variáveis claramente relacionadas com a
probabilidades de resposta de uma pessoa. Também é relevante em qual estágio se
utilizam cotas. Por isso é importante distinguir entre AC e APC.
Só pra enfatizar como as metodologias dos institutos de pesquisa
são diferentes, consultei no site do TSE as pesquisas mais recentes dos
institutos que mais divulgaram pesquisas nacionais (Ibope, Datafolha, Sensus,
Vox Populi e MDA). No geral as descrições metodológicas são vagas e um tanto
confusas, porém sabendo quais palavras procurar
è possìvel descobrir qual tipo de pesquisa está sendo feita. Buscando as
palavras “Setor Censitário” e “pesquisas domiciliares”, importantes para a APC,
é possível identificar o uso da APC.
A metodologia de
cada instituto está descrita abaixo. É claro que existem outros fatores que
também são relevantes para a qualidade das pesquisas além de ser APC ou AC,
como verificação, cotas utilizadas, amostragem nos primeiros estágios, como os
resultados são analisados, ponderações,etc…. mas a lista abaixo pelo menos já
esclarece se é AC ou APC. Também é importante frisar que não existem muitos
detalhes sobre a metodologia do Datafolha. Eu já ouvi falar que eles também
fazem APC em áreas urbanas, e que tem algum tipo de controle geográfico
especial dentro de cada ponto de fluxo, mas não encontrei a descrição dessa
metodologia. Achei importante fazer essa ressalva a metodologia do Datafolha
pois não acredito que ela seja exatamente a mesma descrita no artigo acima
sobre AC.
Pesquisa: Ibope - BR-01097/2014
Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28419
Resumo: “No segundo estágio faz-se um sorteio probabilístico dos
setores censitários, onde as entrevistas serão realizadas, pelo método PPT
(Probabilidade Proporcional ao Tamanho), tomando a população de 16 anos ou mais
residente nos setores como base para tal seleção.”
Tipo: Amostragem probabilística com Cotas (APC)
Pesquisa: Datafolha - BR-01098/2014
Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28424
Resumo: “Num segundo estágio, são sorteados os bairros e pontos de
abordagem onde serão aplicadas as entrevistas. Por fim, os entrevistados são
selecionados aleatoriamente para responder ao questionário, de acordo com cotas
de sexo e faixa etária”.
Tipo: Amostragem por Cotas (AC) – em pontos de fluxo
Pesquisa: Vox Populi - BR-01079/2014
Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28079
Resumo: “2º estágio: seleção aleatória dos setores censitários ou
bairros dentro do município; 3º estágio: seleção dos respondentes dentro dos
setores censitários ou bairros através de uma quota proporcional de Gênero,
Idade, Escolaridade e Renda Familiar, de acordo com o perfil da população em
estudo. As entrevistas foram pessoais e domiciliares”.
Tipo: Amostragem probabilística com Cotas (APC)
Pesquisa: Sensus - BR-01076/2014
Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=28020
Resumo: “Probabilística sistemática até o Setor Censitário para Urbano
e Rural, com cotas para Sexo, Idade, Escolaridade e Renda no Setor Censitário”.
Tipo: Amostragem probabilística com Cotas (APC)
Pesquisa: MDA - BR-01032/2014
Link: http://pesqele.tse.jus.br/pesqele/publico/pesquisa/Pesquisa/visualizacaoPublica.action?id=27250
Resumo: “Por fim, já no município, é realizada a seleção aleatória de
setores censitários ou bairros onde serão alocadas as entrevistas de forma
proporcional ao universo em função do gênero e faixa etária do eleitorado”.
Tipo: Amostragem probabilística com Cotas (APC) em
áreas urbanas. Não dá pra saber sobre as áreas rurais.
No comments:
Post a Comment