Probabilidade Incondicional e uma errata

Na semana passada recebi um email de um usuário (André) do site PollingData, afirmando que as probabilidades de vitória (incondicionais) na eleição Geral dos candidatos a presidência dos EUA estavam erradas. Claramente eu não quero que o site esteja errado, então apesar de ter bastante confiança de que as probabilidades estavam sendo calculadas da maneira correta, resolvi refazer os cálculos. Nesse post, vou explicar com mais detalhes como essas probabilidades são calculadas.

Antes de dar mais detalhes sobre o questionamento do André, vou explicar rapidinho porque as probabilidades de vitória nas eleições gerais são denominadas incondicionais. Nos EUA, ao invés de haver Primeiro e Segundo como no Brasil, existem as eleições Primárias e a Geral. Apesar de todo o processo ser bastante diferente, para calcular as probabilidades de vitória dos candidatos a similaridade é grande: vão disputar as eleições Gerais apenas os candidatos que ganharem as eleições Primárias.

As pesquisas divulgadas são para as Primárias, ou então para os cenários mais prováveis para a eleição Geral. Isso quer dizer que as probabilidades de vitória na Geral são condicionais ao cenário sendo considerado. Mas a probabilidade que queremos encontrar é a probabilidade de vitória na eleição Geral, independente do cenário. Essa probabilidade é denominada Incondicional, pois não está condicionada ao cenário.

Para encontrar o probabilidade Incondicional é necessário levar em conta a probabilidade de cada cenário ocorrer e também as probabilidades condicionais de vitória em cada cenário. Esse cálculo não é muito complicado, mas é necessário tomar cuidado pois existem muitos cenários para os quais não foram realizadas pesquisas ou então que não são acompanhados pelo PollingData.

Voltando ao questionamento do André, a probabilidade que chamou a sua atenção era a de vitória incondicional do Bernie Sanders. Para ele, não fazia sentido o Sanders, que tinha apenas 20% de chance de ganhar as primárias, ter uma probabilidade incondicional de vitória de 31%, bem maior do que a chance do Trump vencer (15%) sendo que ele tinha 86% de probabilidade de vitória nas Primárias.

De fato, essa é uma inversão grande, o que a torna suspeita. Antes de publicar o resultado no site, eu também havia me questionado sobre isso. Porém percebi que o Sanders era quem tinha a maior probabilidade condicional de vitória sobre o Trump, chegando a quase 75%. Para contraste, a probabilidade condicional de vitória da Clinton sobre o Trump é de 60%. Esse fato me pareceu suficiente para justificar essa inversão nas probabilidades, então publiquei o resultado.

Mas o André foi bem insistente que havia algo errado. Expliquei para ele o parágrafo  anterior, mas ele não concordou que pudesse haver uma inversão. Com razão.  Nas palavras dele: 

“O que é logicamente impossível é o Bernie ter uma probabilidade de ser eleito presidente maior que a de ele mesmo ser nomeado. É o velho problema da Linda, testado pelo Kahneman e o Tversky. O resultado que estava lá era logicamente impossível, não apenas surpreendente”

Decidi re-calcular explicitamente todas as probabilidades para mostrar pra ele minhas contas. E ao fazer isso, descobri que havia um erro!!! Não do cálculo das probabilidades, mas os labels estavam trocado. A probabilidade do Trump era a do Sanders, e vice-versa.

Trabalhei muito tempo com uma pessoa extremamente insightful, que sempre teve um feeling “estatístico” muito bom , sobre resultados de modelos , tabulações, probabilidades – tudo! Ele sempre sabia quando havia um erro, mesmo quando era imperceptível para mim. Muitas vezes o erro não era exatamente o que ele imaginava, mas de fato, quase sempre havia um erro. Ele é dessas pessoas que não têm dificuldades em “elicitar prioris subjetivas”.  O André me lembrou dele!

Gostaria de agradecer ao André pelo email, e principalmente por se preocupar. De fato, além de ajudar a melhorar o meu site, tivemos uma troca interessante de emails!

Carnaval + Primárias de New Hampshire?

O  site PollingData (http://www.pollingdata.com.br/) está acompanhando as eleições primárias americanas no estado de New Hampshire.  Acesse o site durante o carnaval para se manter atualizado.  A eleição será na terça-feira de Carnaval, dia 9 de fevereiro. 

Agora você pode acessar as diferentes abas do site usando links específicos. Os gráficos com as pesquisas se encontram nos links Democratas e Republicanos. As probabilidades de vitória de cada candidato estão no Dashboard.

Bom carnaval a todos!

Prevendo o resultado das eleições primárias americanas

Ontem foi realizada a primeira eleição primária americana de 2016, no estado de Iowa. O PollingData acompanhou essa eleição. A projeção feita pelo site não foi muito boa: na primária Democrata, acertamos o vencedor, porém com uma margem maior do que de fato ocorreu; nas primárias Republicanas, o candidato Cruz  que estava em segundo lugar com uma estimativa de 23 % acabou ganhando com 27,7% dos votos, enquanto o Trump que liderava com 27% perdeu com 24,3%.

Para visualizar melhor como foram essas corridas, acesse o site, e no menu principal selecione Eleições 2016 >> Estados Unidos >> Primarias. Lá apresentamos um gráfico de tendências que mostra toda a dinâmica eleitoral de acordo com as pesquisas, e também o resultado final da eleição. É  um ótimo retrato do que ocorreu!

Nesse post não vamos discutir a performance do PollingData e das pesquisas eleitorais. O objetivo é discutir sobre as principais dificuldades que existem para prever o resultado das eleições primárias americanas. Em alguns aspectos, as primárias são similares ao primeiro turno das eleições brasileiras. Muitos eleitores desconhecem os candidatos e apenas se decidem na véspera da eleição, fazendo com que grandes variações entre os resultados das pesquisas na véspera do pleito e o resultado da eleição sejam comuns.

Porém existe uma diferença muito grande. O voto nas eleições primárias não é obrigatório. E o percentual de pessoas elegíveis que de fato votam é muito pequeno, tipicamente variando entre 10% e 20%. Esse ano em Iowa, por exemplo, o percentual de pessoas que votaram foi de 15,7%, um recorde positivo. Na eleição anterior havia sido de apenas 6,5%.

Qual a relevância desse percentual de voto baixo?  Enorme! Para se fazer uma previsão sobre o resultado da eleição, é necessário antes prever quais respondentes irão votar. Eleitores que votam frequentemente usualmente votam de forma diferente daqueles que têm poucas chances de votar. E no caso das primárias, essas diferenças usualmente são maiores ainda.

O problema é importante para as pesquisas de opinião porque é comum pessoas que declararam ter uma grande chance de votar não votarem. E quando isso ocorre, o erro de previsão das pesquisas aumenta. Por isso os institutos desenvolveram, ao longo das últimos décadas, diversos modelos para prever a chance de voto de cada respondente da pesquisa. Esses modelos são chamados de “Likely Voter Models”. Para quem quer entendê-los melhor, recomendo esse link, que discute tanto os modelos quanto os erros cometidos por eles.

Uma etapa essencial na construção desses modelos é definir qual será o ponto de corte a partir do qual o respondente é classificado como “provável eleitor”. Nas eleições primárias,  muitas vezes não é possível encontrar um bom corte. Isso ocorre porque é comum ocorrerem grandes concentrações de respondentes nos extremos da escala de probabilidade de voto. Para uma discussão sobre tema, veja esse link. Além disso, por causa da baixa incidência de voto nas primárias, usualmente o estatístico/analista têm que descartar uma grande parte da amostra retirando quem têm pouca chance de votar, tornando as pesquisas para essas eleições mais caras e com um grau de precisão baixo.

Apesar das dificuldades, o PollingData continuará acompanhando as eleições primárias. Estamos testando diferentes formulações do nosso modelo para tentar prever as oscilações esperadas entre as pesquisas na véspera das eleições e o resultado final. Mais sobre isso num próximo post.

Nova atualização do PollingData: agora a performance dos institutos de pesquisa pode ser avaliada!

O site Pollingdata (http://www.pollingdata.com.br/) acabou de receber uma grande atualização. Agora foram incluídos no site o resultado oficial das eleições de 1989-2015. Dessa forma o usuário pode avaliar por si mesmo qual foi a performance das pesquisas eleitorais em cada eleição.

Uma base de dados pronta para análise, combinando os resultados e as pesquisas, pode ser baixada do site . Além disso, os resultados das eleições também foram incluídos nos gráficos de tendência das pesquisas eleitorais, permitindo que a história completa de cada eleição possa ser visualizada em um único gráfico. 

Num futuro próximo, o site PollingData usará esses dados para lançar um ranking dos institutos de pesquisa, que serão avaliados de acordo com a sua performance nas eleições passadas. A criação desse ranking será fundamental para acompanhar as eleições municipais de 2016.

Não deixe de acessar o site para ver as novidades que estão localizadas no menu principal em Acervo/Eleicoes Anteriores => Pesquisas (1989-2015)!

Alunos de escolas Waldorf têm alguma desvantagem no ENEM?

Meu primeiro post em 2016 será sobre as duas coisas mais importantes pra mim: minhas duas filhas de 3 anos. Elas estudam numa escola Waldorf, ou seja, uma escola que utiliza a pedagogia Waldorf. Pra quem não conhece, segue abaixo o parágrafo inicial do Wikipedia:

“A Pedagogia Waldorf é uma abordagem pedagógica baseada na filosofia da educação do filósofo alemão Rudolf Steiner, fundador da antroposofia. A pedagogia procura integrar de maneira holística o desenvolvimento físico, espiritual, intelectual e artístico dos alunos. O objetivo é desenvolver indivíduos livres, integrados, socialmente competentes e moralmente responsáveis. As escolas e professores possuem grande autonomia para determinar o currículo, metodologia e governança.”

Como quase tudo na vida, alguns aspectos dessas escolas são muito interessantes, e outro nem tanto. Enquanto minhas filhas estão no Jardim, não tenho dúvidas de que mantê-las nesse tipo de escola seja a melhor opção. Porém em alguns anos elas já iniciarão o ensino fundamental. E para essa nova etapa, tenho diversas dúvidas sobre mantê-las em uma escola Waldorf.

Não vou comparar aqui os diferentes temas das pedagogias das escolas ‘tradicionais’ versus as Waldorf. Nem tenho qualificação para isso e esse é um blog sobre estatística. Um professor da USP escreveu um artigo sobre isso que pode ajudar aos mais interessados no tema (link). Meu interesse é bem mais pontual. De todas as conversas que já tive com pais/professores de alunos de escolas Waldorf, sinto que a ênfase dada para a realização de provas é bem baixa (na grade escolar). Elas são evitadas até o ensino médio. E mesmo nesse caso, me parece que são realizadas com uma frequência bem menor do que em escolas tradicionais.

Até ai, tudo bem.  Não acho que a educação de uma criança deva ser voltada especificamente para fazer provas, ou que essa é a única forma de avaliar a qualidade do aprendizado. Porém no Brasil, para ingressar na faculdade é necessário passar por provas muito longas, que demandam demais do aluno e que têm uma pressão "competitiva" muito alta (Vestibular e/ou ENEM). Provas desse tipo são difíceis até para quem têm bastante experiência com provas. E não há nenhum indício de que isso vai mudar num futuro próximo.

Ou seja, se um aluno no Brasil quer ir pra faculdade, terá que saber fazer essas provas. Uma das minhas preocupações com relação as escolas Waldorf é justamente essa. Acho que os alunos não estão tão bem preparados para essa etapa. E mais especificamente, o ensino da Matemática me parece ser bastante lúdico, um aprendizado bem distante daquilo que será cobrado no ENEM/Vestibular.

Com isso em mente, resolvi analisar os microdados do ENEM de 2014, disponibilizados pelo INEP aqui. Meu objetivo foi comparar as notas médias dos alunos de escolas tradicionais com os de escolas Waldorf. A primeira etapa foi identificar as escolas Waldorf na base do ENEM. Apenas procurando por escolas com o a palavra Waldorf no nome, encontrei um total de 104 alunos nas escolas listadas na tabela abaixo.

São poucos alunos, mas de fato existem bem poucas escolas Waldorf com ensino médio no Brasil. As escolas listadas estão com certeza entre as principais do Brasil, porém uma possibilidade de aumentar essa base seria incluir escolas Waldorf que não têm Waldorf no nome e que tenham ensino médio. Não sei se existem escolas assim, mas se alguém tiver interesse em melhorar a análise abaixo, segue o link com a listagem de todas as escolas filiadas a Federação das Escolas Waldorf.

A segunda etapa foi filtrar os alunos na base do ENEM de forma a tentar fazer uma comparação justa entre os alunos. Os seguintes filtros foram aplicados na base do ENEM 2014:

    1- Escolas do estado de São Paulo, pois quase todos os alunos de escolas Waldorf na base do ENEM são de SP.

      2-  Escolas particulares, pois as escolas Waldorf são particulares.

      3- Alunos concluindo o ensino médio em 2014, pois me parece razoável considerar apenas alunos que estão fazendo o ENEM no último ano do ensino médio.

O Inep publica as notas das quatro provas do ENEM separadamente. O resultado da comparação simples das médias segue na tabela abaixo. Como esperado, em todas as provas a nota média dos alunos de escolas Waldorf é um pouco mais baixa (~1%), com exceção de Matemática, onde a diferença é maior,  chegando a 8%.  

Várias ressalvas devem ser feitas a essa análise. Em primeiro lugar, a análise feita é bastante simples, e devem haver vários outros fatores que afetam as notas além da pedagogia que deveriam ser considerados numa análise mais aprofundada (por exemplo utilizando Propensity Scoring). Em segundo lugar, essa diferença observada pode ser causada por um viés de seleção, pois na minha experiência a maioria dos pais que colocam seus filhos em escolas Waldorf são formados em Humanas/Biológicas, e seja por afinidade, seja por DNA, podem influenciar o interesse/aptidão dos filhos por matemática.

Mas fica aqui o que eu aprendi com essa análise: hoje em dia, existe tanta informação disponível na internet sobre as escolas que os pais podem fazer uma avaliação objetiva sobre o impacto da escola na vida do seu filho – podem fazer uma decisão informada! Por outro lado, não podemos esperar que as escolas façam tudo por nós. Nós, os pais, somos responsáveis por prepará-los para a vida. Se prefiro matricular meu filho em um escola que vai prepará-lo melhor para o ENEM, em casa tenho que trabalhar mais o seu lado social, criativo, artístico, esportivo, etc. Se quero um escola mais focada no lado pessoal/artístico, então tenho que ajudar a prepará-lo melhor para o ENEM. Sinto que nessa discussão sobre escolas Tradicionais vs Waldorf, os pais/professores querem qualificar um método como melhor que o outro. Temos que ser um pouco mais flexíveis, e perceber que para a grande maioria das questões, o mundo é cinza, não branco e preto!

Performance do PollingData na Espanha 2015

O PollingData está acompanhando as eleições Argentinas desde setembro desse ano, e nesse último domingo os espanhóis foram as urnas. O resultado da eleição pode ser visto nesse link (em espanhol). Na tabela abaixo está o comparativo entre a previsão final do PollingData e a contagem dos votos. O Erro Médio Absoluto  (EMA) foi de 1,7%. 

Por esse critério, a previsão do PollingData teve performance similar ao segundo turno Argentino, que foi de 1,9%. Como o numero de partidos nessas duas eleições é bem diferente, essa comparação não é muito justa, pois usualmente quanto maior o número de candidatos menor é o EMA. Discutiremos mais sobre esse tema em 2016, num outro post. 

Com a finalização das eleições espanholas, o PollingData encerra suas previsões para 2015. Agora iremos nos preparar para 2016, quando teremos as eleições municipais aqui no Brasil. Essas eleições prometem ser um verdadeiro desafio para o site, visto que são centenas de eleições (com pesquisas sendo divulgadas) acontecendo em paralelo. 

Desejamos a todos boas festas e um feliz 2016!

Acervo de pesquisas eleitorais do Polling Data (1989-2015)

Hoje, depois de muito tempo e muito trabalho, consegui publicar o acervo de pesquisas do PollingData.  Esse acervo contém pesquisas eleitorais brasileiras, publicadas na mídia, entre os anos de 1989 a 2014. Além disso também possui pesquisas de eleições estrangeiras que foram acompanhadas pelo PollingData até 2015 (Argentina, EUA, Suíça e Canadá – Espanha só será incluída após as eleições de 20/12/2015).

Esse acervo começou a ser montado em 2006, durante o meu Doutorado, onde o meu objetivo era avaliar a qualidade das pesquisas eleitorais brasileiras – pra quem tiver interesse, segue o link para a minha tese. Naquela época, tive a sorte de ter um amigo trabalhando no CESOP (Centro de Estudos de Opinião Pública) da UNICAMP, que me informou que eles tinham acabado de criar o “Banco de Dados Nacionais de Opinião”, com mais de 2300 pesquisas no acervo.

Conversei com o pessoal do CESOP, os quais me deram acesso a base de dados. De lá extrai aproximadamente 900 pesquisas eleitorais publicadas entre 1989 e 2004 (apenas do Ibope e o Data Folha), as quais foram utilizadas na minha tese de doutorado. Nesse acervo, a base de dados de cada estudo está disponível, então tive tive que escrever um programa que entrava em cada base de dados, ligava o peso, e calculava as estimativas de intenção de voto, além de outras informações relevantes como tamanho da amostra, período de campo, taxa de não-resposta, etc...

Na época, eu acreditava que não havia outra base de dados tão completa no país. Mas alguns anos depois, em 2012, encontrei o Blog do Fernando Rodrigues. A quantidade de pesquisas disponíveis nesse site é impressionante, cobrindo o período de 2000 a 2014. Se eu tivesse encontrado esse site antes, a análise feita na minha tese de doutorado teria sido bem mais completa.

Eu sou muito grato ao jornalista Fernando Rodrigues, acho que ele fez um trabalho incrível. Ele teve uma iniciativa extremamente inovadora em 2000, anos à frente de qualquer outra iniciativa similar. Para mostrar o quão visionário ele foi, basta notar que nos EUA o primeiro site agregador de pesquisas, o RealClearPolitics, foi criado apenas em 2002, alguns anos depois. Não sei muitos detalhes sobre a criação do blog, mas acho que ninguém deu a devida importância ao mesmo, que talvez seja o primeiro site agregador de pesquisas do mundo.

Apesar da enorme quantidade de pesquisas disponíveis no Blog do Fernando Rodrigues, extrair todas as pesquisas para criar um banco de dados limpo, que pode ser utilizado para fazer análises estatísticas, se mostrou um desafio enorme. Fiz duas tentativas de extração dos dados. A primeira, no final de 2013, não deu certo. Eu consegui baixar os dados com um robozinho que eu criei, porém como era a primeira vez que escrevia um código do gênero, não consegui extrair algumas informações essenciais do HTML. A grande dificuldade é que em cada ano/turno, a formatação das tabelas e do site é diferente. Algumas vezes as diferenças são sutis, em outras são enormes. Olhando para trás, percebo que a criação desse acervo de pesquisas foi o meu primeiro contato com Big Data, mas nessa época acho que ainda não tinha esse nome.

Na segunda tentativa, agora no final de 2015, finalmente consegui terminar o trabalho. Fiz diversas validações, e não encontrei erros. Porém são 10.916 pesquisas realizadas em 883 eleições em 5 países ao longo de mais de 25 anos. É muita coisa, e eu não sou ingênuo o suficiente pra acreditar que não existem erros. Com certeza existem erros. Muitas decisões tiveram que ser feitas ao longo do processo, tanto para extração dos dados, quanto para a limpeza e imputação. Apenas para exemplificar o processo, toda tabela de dados de uma eleição passou por pelo menos três processos distintos: limpeza, imputação e agregação de colunas para rodar o modelo do PollingData.

O objetivo da criação desse acervo é similar ao realizado na minha tese de doutorado, porém maior: quero permitir que qualquer pesquisador possa avaliar a qualidade das pesquisas eleitorais brasileiras. Não somente de forma passiva, depois do fato, mas de forma preventiva, garantindo a qualidade/honestidade das pesquisas. Acredito que a melhor forma de conseguir esse feito é avaliando constantemente a performance dos institutos, criando critérios que permitam comparar os institutos de acordo com a sua precisão, e levando em conta também os erros não-amostrais. 

Na minha opinião, essa é uma estratégia muito mais eficaz do que criar leis que de fato não conseguem garantir a qualidade das pesquisas. E muito melhor do que a opção de proibir as pesquisas defendida por alguns. Pesquisas feitas com qualidade são importantes para o processo eleitoral, elas provêm informações relevantes que auxiliam a população a escolher seus representantes, e consequentemente a definir o futuro do país.

Esse acervo publicado hoje é apenas o primeiro passo nessa direção. Outros passos ainda têm que ser dados. O próximo passo será incluir o resultado real das eleições no acervo, permitindo a comparação das previsões com a realidade observada.

O acervo está no item “Acervo/Past Elections”,localizado no menu principal do PollingData.