Monday, October 13, 2014

Pesquisas x Polling Data

Na mesma linha do post anterior, fizemos  uma nova avaliação da performance das pesquisas eleitorais. Mas dessa vez, o objetivo é comparar as pesquisas com o modelo do PollingData (www.pollingdata.com.br).  

A base de dados utilizada está no link abaixo. Essa base é a mesma utilizada no post anterior, porém também inclui as estimativas finais do PollingData. Foram comparados os resultados de todas as eleições de governador e da eleição presidencial.

Link Dados:  https://drive.google.com/file/d/0B_2va6jxqC4JYmloMnZYdUE3ek0/view?usp=sharing

No geral, as previões do modelo do PollingData têm um índice de erro observado 10% menor do que as previões baseadas nas pesquisas diretamente. O critério utilizado para a comparação foi o Absolute Average Difference, que calcula o erro médio absolute observado de cada pesquisa.  O erro médio do modelo foi de 3,1%, e o das pesquisas foi de 3,5%.

Essas diferenças não sao constantes em todos os estados. A performance do modelo é melhor, no geral, porém existem situações onde a performance é pior. O situação mais clara onde isso ocorre são eleições onde o cenário eleitoral está mudando, porém apenas poucas pesquisas são feitas. Existe uma certa inércia no modelo, o qual precisa de muita evidência pra prever uma mudança. E as evidências que utilizamos são as pesquisas. 

Estamos trabalhando para melhorar o nosso modelo, tentando amenizar essa fraqueza que foi detectada...


2 comments:

  1. Neale,
    Estava procurando a metodologia que você usar, mas não encontrei no Pollingdata. Lembro que havia uma aba de Metodologia, mas não está mais lá. Tem como você disponibilizá-la novamente?
    Também queria te perguntar o seguinte: você está usando os resultados do primeiro turno do TSE nos seus modelos para segundo turno? Seria interessante, dado que eles provavelmente são altamente correlacionados. A questão é que eles também provavelmente terão um peso gigantesco nos seus resultados, dado o "tamanho da amostra". Ainda assim, acho que eles podem melhorar bastante o seu modelo, principalmente no nível do estado, em que parece que o desempenho não foi tão bom.
    Um abraço,
    Raphael

    ReplyDelete
  2. Obrigado pela sugestão Raphael.

    Pensei em utilizá-los pra prever o vício das pesquisas, mas preciso de um histórico com comparações de outras eleições pra avaliar melhor a eficacia desse ajuste. Eu retirei a aba de metodologia do site após diversas pessoas fazerem essa sugestão. Vou enviar pro seu email o poster que apresentei no Sinape 2014, que têm essencialmente a mesma informação.

    ReplyDelete