Monday, October 27, 2014

E a melhor estimativa foi do….

O Pollingdata (www.pollingdata.com.br) foi mais preciso na previsão do resultado da eleição presidencial do que qualquer instituto. Vejam a tabela abaixo com a comparação das estimativas.


Data
Fonte
Voto na Dilma
Erro Absoluto
Ranking
25/10/2014
PollingData.com.br
51,1%
0,5%
1
25/10/2014
Datafolha
52,2%
0,6%
2
25/10/2014
Ibope
53,3%
1,6%
3
24/10/2014
MDA
49,7%
2,0%
4
25/10/2014
Vox Populi
53,9%
2,3%
5
25/10/2014
Sensus
47,9%
3,7%
6




































Thursday, October 23, 2014

Todos os institutos de pesquisa têm a mesma credibilidade?

Faz mais de 12 anos que trabalho com pesquisas eleitorais, mas meu foco sempre foi mais em produzir pesquisas do que em consumi-las. Por causa do PollingData (www.pollingdata.com.br) isso mudou. Até o momento, procurei discutir mais a questão metodológica das pesquisas de opinião e dos institutos de pesquisa. Porém existem muitos fatores “não-metodológicos” que podem influenciar bastante os resultados das pesquisas.

Nesse momento, o PollingData está acompanhando 14 eleições estaduais além da eleição presidencial, num total de 186 pesquisas de 29 institutos de pesquisas. Como esse é o primeiro ano do site, ainda não temos um histórico muito grande, e a maioria dos institutos têm poucas pesquisas divulgadas. Ou seja, é dificil avaliar a metodologia de cada pesquisa para cada uma desses institutos. Realmente difícil.

Além da questão metodológica, existe a possibilidade de fraude também. Abaixo inclui alguns links com exemplos desse tipo de problema. Claro que as fontes também são questionáveis, pois aqui no Brasil muitas vezes se discute política como se fosse um jogo de futebol, muita emoção e pouca razão. Como se existisse um lado certo e um lado errado. Independente disso, a possibilidade de fraude sempre existe.



Já trabalhei com pesquisas para consumo interno de políticos em campanha. Há muita pressão externa. E a pressão é ENORME! Consigo apenas imaginar como deve ser no caso de pesquisas que serão publicadas. E existem muitas formas diferentes dessa “pressão” alterar os resultados das pesquisas. Algumas mais diretas, outras indiretas. Algumas mais intencionais, outras nem tanto. Alterar ordem das perguntas do questionário, alterar o texto das perguntas, não rodiziar nomes de candidatos, incluir o partido junto com o nome do candidato ou não, escolher regiões/cidades/bairros sabidamente favoráveis a um partido, testar diversas ponderações e escolher a que faz mais sentido – ou que tenha o melhor resultado segundo algum critério. Existem muitas outras formas que nem estou mencionando aqui. Abaixo, segue mais um link com um exemplo.

http://politica.estadao.com.br/noticias/eleicoes,metodologia-de-pesquisa-beneficia-pre-candidato-tucano-imp-,1161716

http://www.revoltabrasil.com.br/politica/4931-senador-denuncia-que-ibope-pediu-r-1-milhao-para-fraudar-pesquisa-eleitoral.html

Pela lei, para publicar uma pesquisa, o instituto é obrigado a divulgar quem é o contratante. Essa informação seria bastante relevante pra tentar avaliar se há algum conflito de interesses entre o resultado da pesquisa e quem encomendou a pesquisa. Porém virou prática comum o instituto dizer que foi ele mesmo que financiou a pesquisa. Em alguns casos é verdade. Em outros, o objetivo é esconder a fonte dos recursos.

Outra forma, talvez mais sútil de publicar resultados favoráveis, é fazendo um tracking (diário ou em períodos com menor frequência). Registra-se então pesquisas no TSE em vários dias diferentes, porém a pesquisa somente é publicada nos dias que apresentam uma variação amostral na direção conveniente ao contratante.  Note que nesse caso, a metodologia pode ser “perfeita”, porém o que está sendo publicando tem um viés. Isso explicaria, por exemplo, o número muito maior de pesquisas registradas do que publicadas.

Estou discutindo esses pontos aqui pra mostrar como a lei, do jeito que está, tem muitas falhas. Ter algum tipo de fiscalização já faria alguma diferença.  Eu trabalho com pesquisas, tenho enorme prazer em trabalhar com elas, sei que podem ser bem-feitas e acredito que são muito importantes para a democracia. Mas é necessário acabar com  a corrupção e a manipulação de resultados. E por favor, não usem esse texto pra argumentar pelo fim das pesquisas, pois como todos sabem, a corrupção está presente em todo Brasil, principalmente em tudo que envolve a esfera política. A idéia não é proibir, mas sim melhorar! Também acredito que conforme o mercado das pesquisas eleitorais no Brasil amadurece, ele também será capaz de se auto-regular. Um dos nossos objetivos é que o PollingData faça parte desse movimento.

Eu sei que os parágrafos anteriores estão um pouco exagerados pro contexto que estou discutindo aqui, mas meu ponto é: será que no modelo do PollingData, pesquisas de todos os institutos devem ter um peso igual, ou seja, que depende somente do tamanho da amostra? Tenho certeza que o modelo será otimizado (em algum sentido) se pesquisas com metodologias mais questionáveis, ou institutos sem histórico, ou ainda institutos com a credibilidade questionável tiverem um peso diferenciado, reduzindo assim sua influência nas estimativas do modelo. Por enquanto, não vou retirar nenhuma pesquisa de nenhum instituto do modelo. Mas pretendo rever essa política caso haja fortes evidências de fraude.

Não tenham dúvidas que o critério para atribuir pesos aos institutos será bastante subjetivo, principalmente nesse primeiro ano onde não temos um histórico grande de pesquisas. Isso também evoluirá com o tempo, esse é apenas o primeiro passo. Acredito que num futuro próximo será possível definir um ranking de qualidade dos institutos de pesquisa. Por enquanto, nosso critério distinguirá apenas três grupos: 1) Institutos que têm um histórico conhecido e confiável, 2) Institutos que estão trabalhando para partidos politicos nesse ciclo eleitoral, e 3) Institutos pequenos ou com pouco histórico.

Os pesos serão simplesmente aplicados diretamente no tamanho da amostra de cada instituto. Institutos do grupo ‘2’ terão uma precisão máxima de +/- 4% e do grupo ‘3’ serão limitados por +/- 5%. Segue abaixo a relação dos institutos em cada grupo. Nas próximas horas o PollingData estará atualizado utilizando esses pesos. Acessem o site pra ver os novos resutados….

Críticas e sugestões são muito bem vindas!

Grupo
Instituto
Pesquisas no PollingData
1
Ibope
66
Datafolha
37
MDA
13
2
Sensus (PSDB)
10
Vox Populi (PT)
9
3
Fortiori
6
Serpes
5
Grupom
4
Veritá
4
Delta
3
Iveiga
3
Seta
3
Gerp
2
IDP
2
O&P Brasil
2
Souza Lopes
2
Verus
2
Instituto Verita
2
Action
1
Datamax
1
DMP
1
EPP
1
FSB
1
GPP
1
Ibrape
1
Ipespe
1
Methodus
1
Vale
1
Parana Pesquisas
1



Monday, October 20, 2014

A metodologia dos institutos de Pesquisa

Nesse sábado foram publicados dois textos na Folha de São Paulo debatendo o mesmo tema: “É correta a maneira como são feitas as pesquisas eleitorais no Brasil?”. Um deles defende que NÃO, escrita pelo José Carvalho com o título de “O erro da margem de erro” e o outro defende o SIM, escrito pelo Ney Figueiredo com o título “Instrumento a serviço da democracia”. Seguem os links abaixo. Estão muito bem escritos, e acredito que são relevantes na discussão sobre a importância e a qualidade das pesquisas eleitorais no Brasil. Vale a pena a leitura.

SIM - http://www1.folha.uol.com.br/opiniao/2014/10/1534428-e-correta-a-maneira-como-sao-feitas-as-pesquisas-eleitorais-no-brasil-sim.shtml

Eu concordo com muitos dos argumentos utilizados pelos dois. Achei engraçado que a minha maior objeção aos argumentos utilizados é a mesma para os dois textos.  Tanto o SIM quanto o NÃO assumem (implicitamente) que todas as pesquisas realizadas no Brasil utilizam a mesma metodologia. Isso não é verdade. Tanto faz se o objetivo é criticar as pesquisas ou valorizá-las. Na minha opinião, para que o debate sobre as pesquisas eleitorais amadureça, é preciso justamente entender que existem diferenças metodológicas e que elas são relevantes. Essas diferenças não são apenas detalhes. Elas têm consequências na qualidade da pesquisa.

O Carvalho (NÃO) fala sobre isso abertamente, porém assume que todas as pesquisas estão na mesma categoria “Não-probabilística”. Já para o Figueiredo (SIM) as pesquisas do Ibope e o Datafolha estão na categoria na qual a metodologia está mais do que “provada e aprovada”.

Anteriormente já escrevi sobre a diferença entre as pesquisas denominadas “Amostragem por Cotas” (AC) e as denominadas “Amostragem Probabilística por Cotas” (APC). Existe apenas uma semelhança entre as duas metodologias: ambas têm a palavra “Cotas” no nome, indicando que não são probabilísticas. Isso não quer dizer que sejam iguais. Pelo contrário, existem muitas diferenças entre elas, vou mencionar algumas abaixo: 

1-   Na APC as entrevistas são domiciliares. Na AC as entrevistas são realizadas em pontos de fluxo. Como o Carvalho diz em seu texto: “os pontos de concentração podem ser shoppings, esquinas de ruas movimentadas, ou seja, lugares onde é fácil preencher as cotas”. 
2-  Na APC existe muito controle sobre o entrevistador e a sua liberdade de escolha dos entrevistados. Ele tem que percorrer um trajeto muito restrito com critérios claros e objetivos.  Na AC, o entrevistador escolhe quem quiser, contanto que esteja nas cotas.  
3- Na APC, existe um controle geográfico excelente, equivalente ao que se poderia obter em qualquer amostra probabilística. Na AC, as pesquisas acabam tendo uma aglomeração geográfica muito maior. 
4- Na APC o objetivo das cotas é controlar a probabilidade de resposta das pessoas. Na AC, o objetivo é reproduzir características demográficas da população alvo.

Os dois artigos principais, que discutem essas metodologias e as comparam com amostragem probabilística na prática (aquela cheia de suposições e com não resposta) são:

APC - [Ref1]Probability SampIing with Quotas: An Experiment (C. BRUCE STEPHENSON)
AC -[Ref2]An experimental study of quota sampling (C. A. Moser and A. Stuart)

Basta ler ambos os artigos pra ver como as metodologias (e as criticas) são muito diferentes. Mais importante, existe um efeito negativo importante na qualidade da AC pelo fato das entrevistas serem realizadas em pontos de fluxo. Apenas para exemplificar, no artigo [Ref2] sobre AC, os autores dizem que os maiores vícios encontrados na comparação foram: 1) A distribuição geográfica da amostragem por cotas (AC) era mais aglomerada, 2) na amostragem probabilística (aquela da prática, com voltas e substituições) havia mais não-resposta na variável de renda e 3) foram observadas mais pessoas na categoria sem renda/com renda baixa e renda alta do que na AC.

Não é difícil encontrar um explicação para todas essas diferenças que está bastante relacionada ao fato de realizar entrevistas em pontos de fluxo (não necessariamente por causa das cotas). Fazendo entrevistas em pontos de fluxo, claramente a distribuição geográfica será mais concentrada. Além disso, usualmente pessoas sem ocupação e/ou aposentadas não precisam ir as esses locais, consequentemente pessoas sem renda/renda baixa também serão sub-representadas. Pessoas com renda alta podem não se sentir à vontade ao responder uma pergunta sobre a sua renda nesses locais, também sendo sub-representadas e aumentando a não resposta.

Meu ponto é: outras características metodológicas, além das cotas, também são claramente responsáveis por vícios observados na AC. Pra mim, pesquisas em ponto de fluxo são um sinal de baixa qualidade da pesquisa (potencialmente). Muito mais do que o fato de usar cotas. Cotas podem ser bem efetivas, principalmente se forem associadas com variáveis claramente relacionadas com a probabilidades de resposta de uma pessoa. Também é relevante em qual estágio se utilizam cotas. Por isso é importante distinguir entre AC e APC.

Só pra enfatizar como as metodologias dos institutos de pesquisa são diferentes, consultei no site do TSE as pesquisas mais recentes dos institutos que mais divulgaram pesquisas nacionais (Ibope, Datafolha, Sensus, Vox Populi e MDA). No geral as descrições metodológicas são vagas e um tanto confusas, porém sabendo  quais palavras procurar è possìvel descobrir qual tipo de pesquisa está sendo feita. Buscando as palavras “Setor Censitário” e “pesquisas domiciliares”, importantes para a APC, é possível identificar o uso da APC.

A metodologia de cada instituto está descrita abaixo. É claro que existem outros fatores que também são relevantes para a qualidade das pesquisas além de ser APC ou AC, como verificação, cotas utilizadas, amostragem nos primeiros estágios, como os resultados são analisados, ponderações,etc…. mas a lista abaixo pelo menos já esclarece se é AC ou APC. Também é importante frisar que não existem muitos detalhes sobre a metodologia do Datafolha. Eu já ouvi falar que eles também fazem APC em áreas urbanas, e que tem algum tipo de controle geográfico especial dentro de cada ponto de fluxo, mas não encontrei a descrição dessa metodologia. Achei importante fazer essa ressalva a metodologia do Datafolha pois não acredito que ela seja exatamente a mesma descrita no artigo acima sobre AC.

Pesquisa:  Ibope - BR-01097/2014
Resumo:No segundo estágio faz-se um sorteio probabilístico dos setores censitários, onde as entrevistas serão realizadas, pelo método PPT (Probabilidade Proporcional ao Tamanho), tomando a população de 16 anos ou mais residente nos setores como base para tal seleção.
Tipo: Amostragem probabilística com Cotas (APC)

Pesquisa:  Datafolha - BR-01098/2014
Resumo:Num segundo estágio, são sorteados os bairros e pontos de abordagem onde serão aplicadas as entrevistas. Por fim, os entrevistados são selecionados aleatoriamente para responder ao questionário, de acordo com cotas de sexo e faixa etária”.
Tipo: Amostragem por Cotas (AC) – em pontos de fluxo

Pesquisa:  Vox Populi - BR-01079/2014
Resumo:2º estágio: seleção aleatória dos setores censitários ou bairros dentro do município; 3º estágio: seleção dos respondentes dentro dos setores censitários ou bairros através de uma quota proporcional de Gênero, Idade, Escolaridade e Renda Familiar, de acordo com o perfil da população em estudo. As entrevistas foram pessoais e domiciliares.
Tipo: Amostragem probabilística com Cotas (APC)

Pesquisa:  Sensus - BR-01076/2014
Resumo:Probabilística sistemática até o Setor Censitário para Urbano e Rural, com cotas para Sexo, Idade, Escolaridade e Renda no Setor Censitário”. 
Tipo: Amostragem probabilística com Cotas (APC)
  
Pesquisa:  MDA - BR-01032/2014
Resumo:Por fim, já no município, é realizada a seleção aleatória de setores censitários ou bairros onde serão alocadas as entrevistas de forma proporcional ao universo em função do gênero e faixa etária do eleitorado”. 
Tipo: Amostragem probabilística com Cotas (APC) em áreas urbanas. Não dá pra saber sobre as áreas rurais.