Todos os institutos de pesquisa têm a mesma credibilidade?

Faz mais de 12 anos que trabalho com pesquisas eleitorais, mas meu foco sempre foi mais em produzir pesquisas do que em consumi-las. Por causa do PollingData (www.pollingdata.com.br) isso mudou. Até o momento, procurei discutir mais a questão metodológica das pesquisas de opinião e dos institutos de pesquisa. Porém existem muitos fatores “não-metodológicos” que podem influenciar bastante os resultados das pesquisas.

Nesse momento, o PollingData está acompanhando 14 eleições estaduais além da eleição presidencial, num total de 186 pesquisas de 29 institutos de pesquisas. Como esse é o primeiro ano do site, ainda não temos um histórico muito grande, e a maioria dos institutos têm poucas pesquisas divulgadas. Ou seja, é dificil avaliar a metodologia de cada pesquisa para cada uma desses institutos. Realmente difícil.

Além da questão metodológica, existe a possibilidade de fraude também. Abaixo inclui alguns links com exemplos desse tipo de problema. Claro que as fontes também são questionáveis, pois aqui no Brasil muitas vezes se discute política como se fosse um jogo de futebol, muita emoção e pouca razão. Como se existisse um lado certo e um lado errado. Independente disso, a possibilidade de fraude sempre existe.

http://exame.abril.com.br/brasil/noticias/campanha-de-dilma-questiona-pesquisa-do-instituto-parana

http://www.revistaforum.com.br/blogdorovai/2014/10/08/epoca-divulga-pesquisa-fajuta-para-beneficiar-aecio/

http://www.gazetadopovo.com.br/m/conteudo.phtml?id=1413279

Já trabalhei com pesquisas para consumo interno de políticos em campanha. Há muita pressão externa. E a pressão é ENORME! Consigo apenas imaginar como deve ser no caso de pesquisas que serão publicadas. E existem muitas formas diferentes dessa “pressão” alterar os resultados das pesquisas. Algumas mais diretas, outras indiretas. Algumas mais intencionais, outras nem tanto. Alterar ordem das perguntas do questionário, alterar o texto das perguntas, não rodiziar nomes de candidatos, incluir o partido junto com o nome do candidato ou não, escolher regiões/cidades/bairros sabidamente favoráveis a um partido, testar diversas ponderações e escolher a que faz mais sentido – ou que tenha o melhor resultado segundo algum critério. Existem muitas outras formas que nem estou mencionando aqui. Abaixo, segue mais um link com um exemplo.

http://politica.estadao.com.br/noticias/eleicoes,metodologia-de-pesquisa-beneficia-pre-candidato-tucano-imp-,1161716

http://www.revoltabrasil.com.br/politica/4931-senador-denuncia-que-ibope-pediu-r-1-milhao-para-fraudar-pesquisa-eleitoral.html

Pela lei, para publicar uma pesquisa, o instituto é obrigado a divulgar quem é o contratante. Essa informação seria bastante relevante pra tentar avaliar se há algum conflito de interesses entre o resultado da pesquisa e quem encomendou a pesquisa. Porém virou prática comum o instituto dizer que foi ele mesmo que financiou a pesquisa. Em alguns casos é verdade. Em outros, o objetivo é esconder a fonte dos recursos.

Outra forma, talvez mais sútil de publicar resultados favoráveis, é fazendo um tracking (diário ou em períodos com menor frequência). Registra-se então pesquisas no TSE em vários dias diferentes, porém a pesquisa somente é publicada nos dias que apresentam uma variação amostral na direção conveniente ao contratante.  Note que nesse caso, a metodologia pode ser “perfeita”, porém o que está sendo publicando tem um viés. Isso explicaria, por exemplo, o número muito maior de pesquisas registradas do que publicadas.

Estou discutindo esses pontos aqui pra mostrar como a lei, do jeito que está, tem muitas falhas. Ter algum tipo de fiscalização já faria alguma diferença.  Eu trabalho com pesquisas, tenho enorme prazer em trabalhar com elas, sei que podem ser bem-feitas e acredito que são muito importantes para a democracia. Mas é necessário acabar com  a corrupção e a manipulação de resultados. E por favor, não usem esse texto pra argumentar pelo fim das pesquisas, pois como todos sabem, a corrupção está presente em todo Brasil, principalmente em tudo que envolve a esfera política. A idéia não é proibir, mas sim melhorar! Também acredito que conforme o mercado das pesquisas eleitorais no Brasil amadurece, ele também será capaz de se auto-regular. Um dos nossos objetivos é que o PollingData faça parte desse movimento.

Eu sei que os parágrafos anteriores estão um pouco exagerados pro contexto que estou discutindo aqui, mas meu ponto é: será que no modelo do PollingData, pesquisas de todos os institutos devem ter um peso igual, ou seja, que depende somente do tamanho da amostra? Tenho certeza que o modelo será otimizado (em algum sentido) se pesquisas com metodologias mais questionáveis, ou institutos sem histórico, ou ainda institutos com a credibilidade questionável tiverem um peso diferenciado, reduzindo assim sua influência nas estimativas do modelo. Por enquanto, não vou retirar nenhuma pesquisa de nenhum instituto do modelo. Mas pretendo rever essa política caso haja fortes evidências de fraude.

Não tenham dúvidas que o critério para atribuir pesos aos institutos será bastante subjetivo, principalmente nesse primeiro ano onde não temos um histórico grande de pesquisas. Isso também evoluirá com o tempo, esse é apenas o primeiro passo. Acredito que num futuro próximo será possível definir um ranking de qualidade dos institutos de pesquisa. Por enquanto, nosso critério distinguirá apenas três grupos: 1) Institutos que têm um histórico conhecido e confiável, 2) Institutos que estão trabalhando para partidos politicos nesse ciclo eleitoral, e 3) Institutos pequenos ou com pouco histórico.

Os pesos serão simplesmente aplicados diretamente no tamanho da amostra de cada instituto. Institutos do grupo ‘2’ terão uma precisão máxima de +/- 4% e do grupo ‘3’ serão limitados por +/- 5%. Segue abaixo a relação dos institutos em cada grupo. Nas próximas horas o PollingData estará atualizado utilizando esses pesos. Acessem o site pra ver os novos resutados….

Críticas e sugestões são muito bem vindas!

Grupo	Instituto	Pesquisas no PollingData
1	Ibope	66
	Datafolha	37
	MDA	13
2	Sensus (PSDB)	10
	Vox Populi (PT)	9
3	Fortiori	6
	Serpes	5
	Grupom	4
	Veritá	4
	Delta	3
	Iveiga	3
	Seta	3
	Gerp	2
	IDP	2
	O&P Brasil	2
	Souza Lopes	2
	Verus	2
	Instituto Verita	2
	Action	1
	Datamax	1
	DMP	1
	EPP	1
	FSB	1
	GPP	1
	Ibrape	1
	Ipespe	1
	Methodus	1
	Vale	1
	Parana Pesquisas	1