Monday, August 25, 2014

Ainda prevendo o efeito Marina...

Esse vai ser um post bem curtinho. Eu acredito, baseado em pesquisas privadas e algumas conversas com quem está no mercado de pesquisas eleitorais, que a Marina está na frente da Dilma também no primeiro turno (dentro da margem de erro, mas a frente). 


Pra quem não quer ficar em cima do muro, é possível mostrar que se isso ocorre, o candidato que está na frente tem uma probabilidade maior de estar ganhando. O Filipe Jaeger Zabala, que também era orientado pelo meu orientador (Sergio Wechsler) quando eu estava na USP, escreveu um tese de mestrado bem interessante sobre esse tema. O título da tese é “Desempate técnico”. Só não estou colocando o link aqui porque não consegui encontrá-la no site da USP (http://www.teses.usp.br/). Também não consegui encontrar a minha L

Vamos esperar pra ver a próxima pesquisa do Ibope, que deve sair amanhã…. 

Saturday, August 23, 2014

Diferença paradoxal nas previões?

Para fazer as previsões do Pollingdata.com.br, estamos considerando dois modelos de previsão eleitoral: modelos de agregação, os quais agregam pesquisas eleitorais, e os modelos estruturais, os quais incluem como preditoras variaveis economicas e conjunturais. Esses dois tipos de modelos têm aspectos positivos e negativos bem distintos, alguns dos quais são resumidos abaixo. Mais detalhes podem ser encontrados no menu “Metodologia” do site.

Os modelos de agregação podem ser vistos como dinâmicos, eles são capazes de captar todas as mudanças na intenção de voto que ocorrem durante um ciclo eleitoral – eles são melhores para prever o resultado das eleições quando a eleição está próxima.

Os modelos estruturais conseguem utilizar informações históricas sobre as eleições, captando tendências que se repetem em diferentes ciclos eleitorais – eles são melhores para prever o resultado das eleições quando a eleição está longe.

Após a divulgação da última pesquisa do Datafolha, realizada entre os dias 14 e 15 de Agosto, onde a Marina passou o Aécio no primeiro turno, e a Dilma no Segundo turno, aconteceu algo inusitado. A probabilidade de vitória da Dilma e da Marina praticamente se invertem dependendo do modelo utilizado. Para ver isso, basta clicar no menu “Dashboard”, e olhar os resultados nas duas abas. As previsões na aba “Agora” se referem aos modelos de agregação, e os na aba “Na eleição” se referem aos modelos estruturais.

Por mais paradoxal que essa situação pareça, ela é totalmente razoável, principalmente numa eleição tão peculiar como essa eleição presidencial de 2014. Por um lado, aprovação de Dilma continua num patamar razoavelmente elevado (acima de 40%).  Em eleições pelo mundo afora, na última decada, candidatos a re-eleição com aprovaçao de 44% tiveram uma probabilidade de vitória 3 vezes maior do que de derrota.
Por outro lado, as útlimas pesquisas mostram que nesse momento do ciclo eleitoral, após a morte de Eduardo Campos, a candidata Marina Silva entrou no pleito com muita força. Nesse período, ela é a favorita, com sobras.

A grande pergunta é: qual será o resultado dessa eleição? Será que ela se comportorá como outras eleições na última década, ou todas as particularidades desse ciclo eleitoral farão com que o resultado fuja dessa tendência histórica. Será que essa força demonstrada pela Marina se dissipará com o passar do tempo, quando os eleitores esquecerem da morte do Eduardo Campos?  Será que a estréia de Marina no horário eleitoral aumentará ou reduzirá sua força? Será que a aprovação de Dilma irá diminuir?

Como o contraste gritante entre os resultados dos 2 modelos atestam, é impossível dizer agora. Talvez daqui algumas semanas, seja mais fácil fazer essa previsão. Por enquanto, o melhor é acompanhar de perto essa disputa apertadíssima, que promote ser realmente inesquecível. Com certeza será a mais disputada da história do Brasil.




Wednesday, August 20, 2014

Prevendo o "Efeito Marina"

Já é certo que a Marina Silva concorrerá a presidência no lugar de Eduardo Campos. Com essa mudança inesperada, faltando apenas 6 semanas para a eleição, prever o resultado se torna ainda mais complicado.
A grande dificuldade é a falta de informação. Além  de agora existirem 3 candidatos fortes com grandes chances de chegarem ao segundo turno, existe apenas uma pesquisa divulgada com o cenário eleitoral correto, incluindo todos os candidatos que disputarão as eleições.

No início do ano foram divulgadas 11 pesquisas que incluem 2 cenários distintos com apenas 3 candidatos:

                CENÁRIO 1:  DILMA, AÉCIO E EDUARDO CAMPOS
                CENÁRIO 2: DILMA, AÉCIO E MARINA SILVA.

Vou utilizar essas pesquisas para criar um fator de ajuste, que prevê qual teria sido a intenção de voto nas pesquisas divulgadas antes do dia 12/08/2014 se o candidato do PSB tivesse sido a Marina Silva, ao invês do Eduardo Campos.  Depois utilizarei essas pesquisas ajustadas como se fossem “originais”, para fazer previões no PollingData.com.br.

Algumas ressalvas importantes: O modelo de imputação não leva em conta qualquer tipo de efeito que possa ocorrer por causa do falecimento do candidato Eduardo Campos. Ou seja, é esperado uma mudança de nível na intenção de voto de Marina Silva, se compararmos as pesquisas antes e depois da oficialização de sua candidatura. Essas imputações também não levam em consideração qualquer efeito causado pela escolha do candidato a vice-presidente.

Não vou entrar em muitos detalhes aqui, mas em linhas gerais, criei o ajuste da seguinte forma:

1-Utilizando as 11 pesquisas que possuem os 2 cenários de interesse, criei um modelo de imputação bayesiano multi-variado, que prevê os resultados do Cenário 2 (com Marina) em função dos resultados do cenário 1 (com Eduardo Campos).

2- Utilizo o modelo de previsão em 1) para criar os fatores de ajuste para todas as pesquisas de intenção de voto estimulado no cenário com todos os candidatos (com Eduardo Campos e sem Marina).

3- Após fazer as previões de como seria a intenção de voto estimulado com todos os candidatos (com Marina e sem Eduardo Campos), aplico uma nova correção, para ajustar o percentual de votos que foram dados aos 3 primeiros candidatos. Isso tem que ser feito porque estou usando um cenário com somente 3 candidatos para prever um cenário com todos os candidatos.

Os resultados dessa imputação podem ser vistos no PollingData.com.br, na aba Presidente 2014 -> Turno 1 – com todos os candidatos (com Marina).





Saturday, August 16, 2014

A volta de Marina Silva

Agora que está mais ou menos confirmada a volta da candidata Marina Silva ao pleito, todo mundo quer saber como ela estará colocada nas pesquisas.

Pois meu feeling, combinado com alguns informações confidenciais que tenho acesso, me dizem que ela estará empatada (ou ganhando) com o Aécio na disputa do segundo lugar no primeiro turno, e empatada (ou ganhando) com a Dilma na simulação do Segundo turno.


Se esse cenário se confirmar, tem tudo pra ser a eleição presidencial mais disputada de toda a história do Brasil, tanto no primeiro quanto no segundo turno. Dificil mesmo é fazer previsões nesse cenário, mas eu vou tentar ;). 

Agora é esperar pra ver o resultado da próxima pesquisa do Datafolha….

Wednesday, August 13, 2014

Morte do Eduardo Campos

A morte do candidato a presidência Eduardo Campos, além de obviamente muito triste para sua família e amigos, afeta demais o cenário eleitoral para essa eleição.  São milhões de votos que terão de migrar para outro candidato, ou para Branco/Nulo.

Com relação as pesquisas eleitorais, pode ser que vejamos um aumento das respostas “Não sei/Não Respondeu”. Talvez leve algum tempo para as pessoas saberem em quem vão votar. Ainda mais porque pode levar até 10 dias para que o PSB e a sua coligação decidam se alguém irá substituir o Eduardo Campos nesse pleito, e quem será o candidato nomeado. Tudo indica que será a Marina Silva. Nas pesquisas divulgadas no início do ano, ela já tinha um nome forte. Se realmente entrar na disputa, talvez ganhe até mais força.

Do ponto de vista de previsão do resultado da eleição, claramente os modelos e as previsões serão afetadas. Nos próximos dias farei um post descrevendo como vou modelar a migração de votos do Eduardo Campos para a Marina Silva, se esse cenário realmente se concretizar.

Finalmente, do ponto de vista pessoal, a morte do Eduardo Campos é realmente muito triste para a política nacional. Numa realidade onde temos muitos nomes de candidatos, porém pouquissímas opções de mudança, acabamos de perder a mais viável delas.


É um dia negro para a democracia Brasileira.

Thursday, August 7, 2014

Polling Data

Esse é o meu primeiro blog.

Como sou estatístico e tenho muito interesse em pesquisas eleitorais, esse será o tema desse blog. Esse blog fará parte do site PollingData.com.br, onde estou fazendo previsões de algumas eleições brasileiras. Antes de entrar em mais detalhes sobre o site vou primeiro contar um pouquinho do meu histórico, pra vocês entenderem como cheguei até aqui: trabalhei por 5 anos na Ipsos Brasil, onde tive muito contato com pesquisas eleitorais. Meu primeiro projeto nesse emprego foi um tracking diário para as eleições presidênciais de 2002. Fazíamos tudo internamente,a análise, as amostras, os questionários, os discos, as cotas. Conheci um pouco de todos os lados da pesquisa, do estatístico, do analista, do entrevistador, do gerente de projeto, do campo.

 Ciro Gomes sobe, Ciro Gomes desce, trabalha final de semana aqui e ali, stress com toda pesquisa publicada, e dessa forma tumultuada, a eleição chegou e foi tudo bem.  Fiz bons amigos nesse primeiro ano. Aprendi que uma equipe focada, e companheira, faz muita diferença pra que um trabalho seja bem feito. Depois dessa pesquisa, vieram muitas outras, municipais, estaduais, nacionais, internacionais, sempre muito intensas. Foi uma experiência muito importante pra mim. Principalmente porque aprendi que a teoria é diferente da prática, especialmente no que diz respeito as pesquisas de opinião pública. Os  institutos de pesquisa tendem a se preocupar principalmente com o lado prático da pesquisa, já os acadêmicos tendem a se preocupar apenas com a teoria. Ficou claro pra mim que não é possível fazer pesquisas eleitorais de qualidade ignorando a teoria, porém também não é possível fazê-las sem considerar o lado prático/logístico. Citando uma frase do filósofo John Dewey: "A prática sem a teoria é cega. E a teoria sem a prática é vazia".

Com isso em mente, resolvi voltar a estudar, e fui fazer Doutorado em Estatística na USP, com o foco em amostragem. Por mais incompatível que pareça, eu queria algo bem prático. Não queria mais ser cego, mas também não queria ser vazio. Não queria sair do doutorado com aquela sensação de que sei muito sobre nada. O título da minha tese foi “Avaliação metodológica das pesquisas eleitorais brasileiras”. Como um membro da banca disse, talvez esse título nao faça justiça ao conteúdo. O que eu tentei fazer foi uma justificativa teórica para o tipo de amostragem feito pela maioria dos institutos do Brasil, a qual eu chamo de Amostragem probabilística com Cotas. Como quase ninguém lê uma tese de doutorado, vou resumir em algumas linhas minha conclusão mais importante: não é possível fazer uma comparação justa entre a amostragem probabística teórica e a amostragem na prática, sem considerar a probabilidade de uma pessoa responder. Quem discute o tema e não fala da taxa de resposta, ou não sabe muito bem do assunto, ou é mal intencionado. Só pra enfatizar: a probabilidade de uma pessoa responder é o que faz o link entre a teoria e a prática. Discutirei mais esse tema em um outro post, provavelmente em varios outros posts.

Logo depois que defendi minha tese de doutorado, fui trabalhar para a Ipsos novamente, mas dessa vez nos EUA. Cheguei lá achando que sabia bastante sobre pesquisa eleitoral. Doce ilusão. Quase todo o meu conhecimento no assunto era sobre pesquisas pessoais, domiciliares, como se faz aqui no Brasil. Lá, esse modo de pesquisa não existe. Fazem pelo correio, pelo telephone (fixo e celular), online, multi-modo, mas não pessoal. Tive que aprender muita coisa nova. Tenho muita coisa pra compartilhar com vocês sobre essa experiência, mas nesse post vou focar em uma das coisas que mais me impressionaram: os sites agregadores de pesquisa, como o Pollster do Mark Blumenthal, o 538 do Nate Silver e o Real Clear Politics. Nesses sites, todas as pesquisas de todos os institutos são agregadas, permitindo que tenhamos uma estimativa mais real da intenção de voto de um determinado candidato em um particular momento do ciclo eleitoral.

Depois de estar um ano por lá, começou o ciclo eleitoral de 2012, re-eleição do Obama. E durante esse projeto, percebi que algo havia mudado: não ficava mais estressado com toda nova pesquisa publicada. Percebi que se o meu objetivo era acertar o resultado da eleição, eu deveria utilizar toda a informação disponível. E sem dúvida, uma nova pesquisa era informação valiosa! E gratuita!  Cada nova pesquisa me diz mais sobre a metodologia e o viés do instituto de pesquisa, sobre o cenário atual, sobre a dinâmica eleitoral.

Quando voltei ao Brasil em 2013, tinha na cabeça que gostaria de fazer algo parecido com o que os sites agregadores fizeram nos EUA. Queria unir os gráficos interativos do Pollster.com com os modelos de previsão utilizados no fivethirtyeight.com. Queria prever os resultados das eleições brasileiras utilizandos modelos ajustados ao Brasil. Queria ajudar a difundir as pesquisas eleitorais, e mostrar que existem institutos que fazem pesquisas com mais/menos qualidade, e que uma pessoa informada deve dar a pesquisa do instituto X o peso que ela merece (como descobrir esse peso? Acompanhe futuros posts do PollingData.com.br). Mostrar também que, independente da pesquisa ser probabilística ou não (ou qualquer outra coisa no meio do caminho), é informação nova, e útil, ao contrário de alguns críticos que dizem que se uma pesquisa nao pode ser feita exatamente como manda a teoria (teoria sem probabilidade de resposta), então não devemos fazer pesquisas eleitorais, pois elas são inúteis.

Inicialmente tentei fazer PollingData.com.br com o auxílio de um web designer, mas tive muita dificuldade de comunicação com ele, o resultado não ficava como eu queria, e o processo era lento. Foi ai que descobri as bibliotecas Shiny e rCharts no R. Isso me permitiu publicar o PollingData.com.br com a cara que eu queria, com os gráficos que queria e principalmente, com a informação que eu queria. O que vocês estão vendo agora é a primeira versão do PollingData.com.br. Ainda não temos muitos modelos publicados, mas o plano é ir atualizando os modelos que já estão publicados, e também incluir novas eleições, principalmente de governadores. Um resumo da metodologia utilizada nos modelos está na aba “Metodologia”. Além das previsões, meu plano é utilizar o PollingData.com.br como um veículo para discutir estatística, amostragem e pesquisas eleitorais de forma geral. Quem tiver interesse, dúvidas, críticas e sugestões, por favor publique-as no Blog.

Neale Ahmed El-Dash
neale.eldash@sleekdata.com.br