Na mesma
linha do post anterior, fizemos uma nova
avaliação da performance das pesquisas eleitorais. Mas dessa vez, o objetivo é comparar
as pesquisas com o modelo do PollingData
(www.pollingdata.com.br).
A base de
dados utilizada está no link abaixo. Essa base é a mesma utilizada no post
anterior, porém também inclui as estimativas finais do PollingData. Foram
comparados os resultados de todas as eleições de governador e da eleição
presidencial.
Link
Dados: https://drive.google.com/file/d/0B_2va6jxqC4JYmloMnZYdUE3ek0/view?usp=sharing
No geral, as
previões do modelo do PollingData têm um índice de erro observado 10% menor do
que as previões baseadas nas pesquisas diretamente. O critério utilizado para a
comparação foi o Absolute Average Difference, que calcula o erro médio absolute
observado de cada pesquisa. O erro médio
do modelo foi de 3,1%, e o das pesquisas foi de 3,5%.
Essas
diferenças não sao constantes em todos os estados. A performance do modelo é
melhor, no geral, porém existem situações onde a performance é pior. O situação
mais clara onde isso ocorre são eleições onde o cenário eleitoral está mudando,
porém apenas poucas pesquisas são feitas. Existe uma certa inércia no modelo, o
qual precisa de muita evidência pra prever uma mudança. E as evidências que
utilizamos são as pesquisas.
Estamos trabalhando para melhorar o nosso modelo, tentando amenizar essa fraqueza que foi detectada...
Estamos trabalhando para melhorar o nosso modelo, tentando amenizar essa fraqueza que foi detectada...
Neale,
ReplyDeleteEstava procurando a metodologia que você usar, mas não encontrei no Pollingdata. Lembro que havia uma aba de Metodologia, mas não está mais lá. Tem como você disponibilizá-la novamente?
Também queria te perguntar o seguinte: você está usando os resultados do primeiro turno do TSE nos seus modelos para segundo turno? Seria interessante, dado que eles provavelmente são altamente correlacionados. A questão é que eles também provavelmente terão um peso gigantesco nos seus resultados, dado o "tamanho da amostra". Ainda assim, acho que eles podem melhorar bastante o seu modelo, principalmente no nível do estado, em que parece que o desempenho não foi tão bom.
Um abraço,
Raphael
Obrigado pela sugestão Raphael.
ReplyDeletePensei em utilizá-los pra prever o vício das pesquisas, mas preciso de um histórico com comparações de outras eleições pra avaliar melhor a eficacia desse ajuste. Eu retirei a aba de metodologia do site após diversas pessoas fazerem essa sugestão. Vou enviar pro seu email o poster que apresentei no Sinape 2014, que têm essencialmente a mesma informação.