Fraude nas eleições presidenciais?

Na lista da ABE circulou alguns emails discutindo a possibilidade de fraudar as eleições com o uso das urnas eletrônicas, e também alguns emails discutindo se seria possível detectar essa fraude usando as pesquisas eleitorais como referência. O artigo citado inicialmente como referência sobre as fraudes foi esse. Segue abaixo minha contribuição para a discussão.

Acho que avaliar a existência de fraude nos resultados das eleições presidenciais apenas com dados secundários é bastante difícil. Teríamos que fazer diversas suposições, essencialmente inferindo que diferenças observadas maiores do que as diferenças esperadas são por causa de fraude – e esse é um terreno bem perigoso!

Mas se, apesar dessa ressalva, o meu objetivo fosse avaliar a existência ou não de fraude, eu usaria algum modelo baseado nas pesquisas eleitorais, como o do PollingData, porém também utilizaria outras fontes de informação existentes, como:

1- Votações históricas no nível da zona/seção eleitoral. Essas informações podem ser usadas tanto pra modelar/prever o resultado da eleição em cada unidade geográfica, permitindo avaliar se a votação observada em cada seção está coerente com o esperado. Combinando essas informações com os dados da malha de setores censitários, por exemplo, podemos ter uma modelo bastante interessante para prever o voto que leva em consideração também a renda dos eleitores.

2- Algum model estrutural, como o modelo de aprovação do PollingData. Com esse modelo (que foi estimado utilizando mais de 150 eleições de mais de 20 países), é possível estimar a probabilidade de vitória de um candidato dado a aprovação do atual governante e o tipo do  candidato do governo para a próxima eleição (re-eleição ou sucessão).

3- Também podemos usar a informação de votação em outros cargos políticos por zona/seção eleitoral.  Nesse nível geográfico, deve haver uma correlação alta entre votos pra presidente e outros cargos, que também pode ser bastante informativa para avaliar a existência de fraude na eleição presidencial. Talvez essa seja a informação mais importante se a fraude ocorrer apenas para o cargo para presidente, que parece ser o cenário mais plausível.

4- Além dos modelos espaço e/ou temporais mencionados acima, podemos usar algum modelo do tipo usado pelo Mignon em nesse artigo. As suposições são mais fortes, mas pode ser útil. Talvez esse modelo possa ser generalizado, escolhendo mais de uma zona eleitoral, de forma a representar todos os estados e/ou municípios.

Se todas essas fontes de informação apontarem na mesma direção, seria um forte indício de algo fraudulento. Porém se apenas algumas delas acusarem algo errado, seria difícil fazer um caso a favor de fraude, mesmo que ela existisse.

O site PollingData está de cara nova...

O site PollingData está de cara nova, a interface com o usuário foi totalmente re-modelada. Além disso, agora temos muito mais conteúdo: estamos acompanhando as eleições da Argentina, Suíça, Espanha e Canadá. 

Vale a pena conferir!

Pesquisas eleitorais e as eleições presidenciais Argentinas de 2015

Em julho desse ano, o PollingData começou a acompanhar as eleições presidenciais Argentinas de 2015. Além da dificuldade com o idioma, existem diversos fatores metodológicos que se mostraram um desafio para acompanhar essas eleições. Nesse post, vou falar sobre esses desafios.

Em primeiro lugar, as eleições Argentinas tem algumas diferenças importantes se comparado ao Brasil. Lá existem eleições primárias, e essas são obrigatórias. Por um lado, as primárias fazem com que os eleitores fiquem mais familiarizados com os candidatos muito cedo no ciclo eleitoral. Por outro lado, acredito que o gasto público com as eleições deve ser enorme, visto que na Argentina também existem primeiro e segundo turnos obrigatórios.

Outra diferença interessante nos dois processos eleitorais é que, na Argentina, existem dois cenários nos quais um candidato pode ganhar as eleições presidenciais no primeiro turno. São eles:  1) se um candidato tiver mais de 45% dos votos válidos e 2) Se o candidato com mais votos tiver pelo menos 40% dos votos válidos e pelo menos 10% de votos a mais que o segundo colocado. Calcular essas probabilidades de vitória foi um desafio interessante.

As outras dificuldades encontradas estão relacionadas a aspectos metodológicos das pesquisas e também a falta de informação. Por exemplo, no site apenas calculamos as probabilidades dos candidatos irem para o segundo turno ou ganharem no primeiro turno. Não conseguimos calcular a probabilidade de vitória (não condicional), pois não parecem existir pesquisas fazendo simulações sobre o segundo turno.

Mas sem sombra de dúvida, a maior dificuldade têm sido encontrar informações mais detalhadas sobre as pesquisas eleitorais. Encontrar pesquisas publicadas já se mostrou um desafio. Tenho recorrido, essencialmente, a três fontes de informação: wikipedia, riojapolitica e ae. Mas mesmo quando encontro quando encontro pesquisas novas, tenho muito dificuldade de descobrir informações básicas sobre a pesquisa, como data de coleta dos dados ou até tamanho da amostra. Como referência, em 43% das pesquisas utilizadas pelo PollingData o tamanho da amostra não é conhecido. Também é muito difícil saber se os resultados das pesquisas se referem a votos válidos ou totais. E essa informação é especialmente importante para calcular as probabilidades de vitória dos candidatos. 

Para muitos, o Brasil já é considerado um país com pouca informação disponível sobre as eleições (poucas pesquisas + poucos institutos + pouco informação metodológica), o que o torna um país onde é difícil prever o resultado das eleições. Essa dificuldade pode ser ainda maior na Argentina, onde existem ainda menos pesquisas e informações metodológicas sobre as mesmas.  Por outro lado, muito mais institutos de pesquisas publicando resultados de pesquisas no nível nacional (22 até o momento). Esse é um fator relevante pois permite que os vieses metodológicos dos institutos sejam estimados com maior precisão (supondo que não são todos na mesma direção – publicarei um post sobre esse tema num futuro próximo).

Agora resta esperar o primeiro turno das eleições para ver a performance das pesquisas e do PollingData na previsão dos resultados.

Amostragem Probabilistica existe? Parte IV

O meu post mais recente sobre a existência de amostragem probabilística de populações humanas (link) teve um comentário. Como o cometário é bom, ao invês de apenas respondê-lo no post anterior, resolvi incluí-lo aqui e escrever um novo post.

O comentário foi postado pelo Raphael, que conhece amostragem e sabe muito bem do que está falando. Segue o comentário dele:

“Neale, até quando vamos precisar discutir a distinção entre probabilidade de seleção (que é o que realmente define se uma amostra é probabílistica ou não, ver definição em Särdnal et al 1992 ou Cochran 1953) e probabilidade de resposta (associado ao mecanismo de não-resposta)? Eu entendo que seu ponto é mais prático do que teórico, mas se você realmente quer discutir sobre a existência ou não de amostras probabílisticas, você precisa definir o que ela é. Tal definição já existe e está bem definida, como referido acima. E seguindo tal definição, a resposta é bem clara ;)

Agora, quanto ao seu primeiro ponto sobre porque alguns livros teóricos de amostragem nem sempre discutem a nao-resposta da forma como deveriam, talvez Lars Lyberg tenha dado a resposta em uma das seções no TSE Conference. Ele disse que pelo menos nos primórdios da amostragem, quando ainda estavam estabelecendo sua prática e teoria, alguns pesquisadores intencionalmente procuravam não enfatizar outros erros não-amostrais, justamente para tentar estabelecer e disseminar os conceitos de amostragem e erros amostrais. É verdade que esses tempos já passaram e livros mais recentes não tem essa desculpa. Mas acho que a maioria dos livros de amostragem e métodos de pesquisa mais recentes têm feito um bom trabalho com erros não-amostrais.

Ahn, por fim, vale lembrar que a grande maioria de pesquisadores que desenvolveram a teoria de amostragem probabilística era também pessoas que trabalhavam na prática com surveys e que desenvolveram tais metodos justamente para resolver problemas práticos em enfrentavam em seus trabalhos. Logo, acho que não faz muito sentido dizer que existe uma grande diferença entre a teoria e a prática em amostragem, uma vez que sua teoria foi justamente desenvolvida para resolver problemas práticos.”

O Raphael faz um ponto importante. Pra entendê-lo corretamente, é preciso olhar a definição de amostragem probabilística:

“Amostragem probabilística é um esquema de amostragem onde todas as unidades populacionais (pessoas nesse caso) têm uma probabilidade conhecida (positiva e calculável) de serem incluídas na amostra”

Nessa definição fica claro que para o processo de seleção da amostra ser classificado como “amostragem probabilística” é  necessário conhecer as probabilidades de inclusão.  Ou seja, se repetirmos o processo de seleção da amostra infinitas vezes, temos que saber entre todas amostras obtidas, exatamente em quantas cada pessoa estará.

Na prática, o problema ocorre porque pessoas não são obrigadas a responder, e se recusam a participar das pesquisas para as quais foram selecionadas. Existem estudos mostrando que, hoje em dia, a taxa de não-resposta (taxa de recusa) chega a mais de 90% (link).

O argumento do Raphael é que temos que separar as duas “etapas”: o mecanismo de seleção da amostra e o mecanismo de resposta são distintos. E pensando assim, você pode afirmar que existe a amostra probabilística (a primeira etapa). Porém, depois de selecionada essa amostra probabilística, o mecanismo de resposta entra em ação, e altera a amostra probabilística. Em resumo, usando uma frase minha que o Raphael não gosta: a amostra nasce probabilística, porém morre não-probabilística....rsrsrs

Na argumentação sobre a existência da amostragem probabilística, eu não faço distinção entre esses dois mecanismos, para mim você pode até planejar a amostra probabilística, porém nunca vai conseguir analisar/observar uma. Entendo que essa distinção ajuda somente para pensar em modelos estatísticos para corrigir a não-resposta, que no final das contas são as suposições que o analista faz. Meu “posicionamento oficial” é de que não existem amostras probabilísticas de populações humanas SEM SUPOSIÇÕES. 

Acredito que no fundo, o que importa para o Raphael (me corrige se eu estiver errado) é distinguir amostras que ao menos “nascem probabilísticas” daquelas que já nascem “não-probabilísticas”, visto que todas as pesquisas serão afetadas pelo mecanismo de resposta. Implicitamente, ele está afirmando que as primeiras são melhores que as últimas, e merecem ser distinguidas por esse motivo. Eu não tenho problemas com essa distinção, até porque acredito que no caso das primeiras são feitas menos suposições do que no caso das últimas. Porém esse argumento não altera minha posição, ainda é necessário fazer suposições.

Eu e o Raphael já discutimos sobre esse tema diversas vezes (em público e em particular), e ele sempre me fala que o problema com os meus argumentos é que eu estou confundindo os mecanismos de seleção e de não-resposta. Ao escrever esse post, fiquei pensando sobre isso. Será que de fato é possível separar esses dois mecanismos?

Na prática, pensando em amostras de tamanho fixo, quando uma pessoa selecionada para participar da pesquisa se recusa a responder, ela é substituída por outra pessoa. Ou seja, seleciona-se um novo respondente seguindo critérios pré-estabelecidos. Pra facilitar meus argumentos abaixo, vamos pensar a amostra obtida como constituída por dois grupos distintos: aqueles respondentes que foram inicialmente selecionados e que responderam a pesquisa, e todos os outros respondentes que estão na amostra porque substituíram pessoas selecionadas que se recusaram a responder.

Conceitualmente, como um respondente substituto somente participa da pesquisa se houver uma recusa, me parece evidente que as probabilidades de inclusão dessas pessoas dependem explicitamente da probabilidade da pessoa originalmente selecionada responder. Assim, para esse grupo de respondentes, não é possível separar o mecanismo de seleção do mecanismo de resposta. Consequentemente, as probabilidades de inclusão são desconhecidas, e como esse grupo faz parte do universo sendo analisado, nenhuma amostra desse universo pode ser denominada de probabilística.

Mas vamos flexibilizar a definição de amostra probabilística, e supor que só é preciso conhecer a probabilidade de inclusão das pessoas que estão de fato na amostra. Vamos então excluir esse grupo de substitutos da nossa amostra, e trabalhar somente com o outro grupo de respondentes, os que foram inicialmente selecionados e de fato aceitaram participar da pesquisa. Ou seja, na busca de uma amostra de fato probabilística, sem suposições, vamos descartar todos os respondentes que dependeram explicitamente da probabilidade de resposta para estarem na pesquisa.

Apenas para deixar um ponto claro: se o mecanismo de não-resposta for estocástico, essa sub-amostra terá que ter tamanho aleatório. Qualquer sub-amostra de respondentes com tamanho fixo acaba voltando ao caso anterior, com substituições. Enfatizo esse ponto porque podemos alterar o argumento acima, e afirmar que não serão feitas substituições. Ao invés disso, seleciona-se uma amostra maior do que a desejada, de forma que o número esperado de respondentes após a “aplicação” do mecanismo de não-resposta seja o desejado. Tudo bem usar essa argumentação, porém ela só vale se o tamanho da amostra for aleatório. E nesse caso, chegamos no mesmo ponto, da amostra apenas com os respondentes inicialmente selecionados.

Será então, que trabalhando somente com essa sub-amostra, podemos argumentar que as probabilidades de inclusão são conhecidas? Se o mecanismo de não-resposta for estocástico, eu acredito que não. As probabilidades de inclusão foram inicialmente calculadas como sendo a proporção de vezes que cada pessoa pertenceria a amostra se o processo de seleção da amostra fosse repetido infinitas vezes. Porém, trabalhando somente com esse sub-grupo, elas teriam que ser re-calculadas para considerar apenas a amostra dos não-substitutos. E pra re-calcular essas probabilidades, dependemos da probabilidade de resposta, que é desconhecida. Ou seja, mesmo flexibilizando a definição de amostragem probabilística, as mesmas continuam não existindo para populações humanas, sem fazermos algum tipo de suposição sobre o mecanismo de resposta.

Quanto a primeira pergunta do Raphael, sobre quanto tempo discutiremos sobre isso, acredito que a resposta é "para sempre" ;)

Restrição as pesquisas eleitorais

Está tramitando no senado/câmara um projeto de lei que que restringe a contratação de institutos de pesquisa por órgãos de imprensa retira o direito do eleitor de ter informação sobre a disputa eleitoral. Pela proposta, a imprensa fica proibida de contratar institutos de pesquisa que tenham trabalhado para partidos políticos, candidatos ou órgãos públicos no período de um ano antes das eleições. Veja a reportagem da Folha sobre o assunto aqui.

Acho que essa "potencial" lei não ajuda a resolver o problema. Pelo que vi nas eleições de 2014, poucos institutos registram quem "de fato" financiou a pesquisa. Além disso, uma pesquisa não precisa ser contratada por órgãos de imprensa para poder ser divulgada na mídia. Ou seja, essa lei não ajudará a melhorar a qualidade das pesquisas, e punirá institutos que tentam respeitar a lei.

Sobre a questão da qualidade das pesquisas, é difícil dizer como deve ser feito aqui no Brasil. Nos EUA não existe necessidade de registrar a pesquisa com algum orgão oficial. O mercado parece se auto-regular. Existem sites agregadores de pesquisa, como o 538, que têm rankings das empresas, e aquelas que têm um histórico muito ruim são banidas do site (veja aqui).

Existem programas como o “Transparency Initiative”, e empresas que se filiam ao programa comprometem-se a (em inglês):

 “Organizations pledge to abide by AAPOR’s disclosure standards, train their employees by viewing our short, simple educational modules, and document the required understanding for proper disclosure of the surveys they conduct.”

Essas empresas têm o nome divulgado na rede da AAPOR, e é de interesse dos próprios funcionários pressionarem para que sua empresa faça parte da iniciativa (veja aqui).

Também discute-se muito a metodologia em si, que está sempre evoluindo, acompanhando as novas tecnologias – telefônicas, cadastro duplo fixo+celular, online. No Brasil, fazemos pesquisas essencialmente da mesma forma a 35 anos.

Por outro lado, nesse ano serão as eleições presidenciais argentinas, as quais o PollingData está acompanhando. Tenho tido muita dificuldade pra conseguir informações básicas sobre as pesquisas divulgadas na mídia. Muitas vezes não consigo descobrir nem data de realização da pesquisa nem o tamanho da amostra, pior ainda se estou procurando detalhes metodológicos (em breve farei um post sobre essas dificuldades). Desse ponto de vista, acho que o registro obrigatório das pesquisas e a regulamentação sobre como devem ser divulgadas ajudam, mas não acredito que sejam suficientes para estimular a melhoria contínua da qualidade das pesquisas.

Amostragem Probabilistica existe? Parte III

Na semana passada, eu mandei o conteúdo do meu post "Amostragem Probabilistica existe? Parte II" por email para a rede da ABE.  Dois emails foram enviados em resposta.

O primeiro apenas disse que:

”Os livros de estatística dizem que existe e dizem também que nem toda a amostra é probabilística. Alertam, porém, que inferência estatística, só nas probabilísticas.”

Como resposta apenas citei o Yogi Berra, que  foi um jogador de beisebol famoso pelas frases de efeito, ao estilo do ex-presidente do Corinthians, o Vicente Matheus. A frase dele abaixo explica bem porque alguns livros teoricos de amostragem nem sempre discutem a nao-resposta da forma como deveriam:

"In theory there is no difference between theory and practice. In practice there is." - Yogi Berra

O segundo email foi ótimo, discutindo de fato o problema levantado pelo artigo do Gelman:

“Se é verdade que a não resposta complica a vida de qualquer amostra, inclusive as probabilísticas, afirmar que amostragem probabilística não existe é negar uma forma de pensar e modelar que é muito bem sucedida em resolver problemas em várias áreas do conhecimento.

O Neale cita um parágrafo em que o autor afirma isso num cenário em que as taxas de resposta são inferiores a 10%.

Em primeiro lugar, há muitas pesquisas por amostragem probabilística em que não ocorre não resposta, pois os pesquisadores simplesmente vão observar ou medir unidades que estão disponíveis, apenas são muito numerosas para se pesquisar por um censo.

Aqui no Brasil, as pesquisas domiciliares do IBGE, por exemplo, costumam ter taxas de resposta superiores a 90%.

Então a afirmação do Gelman não se aplica, e amostragem probabilística poderia existir nesse caso... Como para existir basta um caso, o 'teorema' do Gelman está rejeitado.

É verdade que  tem gente que afirma que não há como fazer inferência com amostras não probabilísticas. O que eu digo é que não vale querer aplicar os métodos desenvolvidos para amostras probabilísticas para amostras que não satisfazem os requisitos destas. O importante em qualquer caso é explicitar o referencial ou modelo que justifica as inferências. Aí tem espaço para todos, sem necessidade de uns ficarem excluindo os outros (modelos, métodos, etc.).”

Segue abaixo a minha resposta:

“A primeira frase do paragrafo e' "In real life there are no probability samples of humans." , ou seja, nesse contexto as unidades geralmente não que estão disponíveis. Mas concordo que em alguns casos de populacoes fechadas talvez seja possivel conseguir uma amostra probabilistica com taxa de nao-resposta de 0% (porem eu nunca vi uma), como por exemplo com funcionarios de uma empresa. Nao e' o caso de pesquisas de opiniao publica.

De fato, o IBGE consegue taxas de resposta bem altas, isso requer bastante tempo, dinheiro e planejamento (e eu acredito que devida a importancia dessas pesquisas, e' um bom investimento). Mas mesmo com uma taxa de ~90%, ainda estamos fazendo suposicoes sobre as probabilidades dos respondentes pertencerem a amostra. Estritamente falando, nao e' uma amostra probabilistica. Claro que as suposicoes e os potenciais impactos da nao-resposta sao menores do que nos casos citados pelo Gelman.

Meu ponto e': nao acredito que a classificacao das amostras em probabilistica / nao-probabilistica seja tao obvia, preto/branco. A maioria delas sao, de fato, cinza. E isso esta diretamente relacionado a escolha do modelo, método, etc como comentou o Pedro no ultimo paragrafo.”

  

Adoro discutir sobre a existência ou não de amostragem probabilística. Acho que aproxima a teoria e a prática,  e é uma forma de diminuir essa diferença que o Yogi Berra descreveu perfeitamente! 

Oportunidades perdidas

No começo do ano, devido a crise e ao final do ciclo eleitoral, eu tive bastante tempo pra pensar sobre novos projetos, sobre o que fazer com o PollingData em anos sem eleições, etc...

Na mesma época houveram várias discussões sobre o orçamento federal, sobre o tamanho da dívida interna, e assuntos relacionados. Ai tive uma idéia: vou fazer um gráfico, interativo, que permite aos usuários do site entenderem como o nosso dinheiro é gasto pelo governo.

Investi algum tempo nisso. Encontrei o tipo de gráfico ideal, que permite que a hierarquia desses gastos seja explorada, que pode ser customizado para ter uma aparência agradável, e de fácil uso: Zoomable TreeMap. Veja um exemplo aqui.

Encontrei uma biblioteca do R que me permitia fazer esse gráfico (GoogleVis), encontrei os dados de gastos públicos e entendi como estavam estruturados. Encontrei um biblioteca em javascript que formata os gastos corretamente (accounting.js). Só tive um problema para publicar os resultados no site: não consegui trabalhar com as legendas de cada célula do gráfico da forma que eu queria. Nesse gráfico, podemos fazer aparecer mais de um nível da hierárquia ao mesmo tempo, porém eu queria mostrar as legendas somente do primeiro nível, e não do segundo nível.

Nesse impasse, passou-se algum tempo, a quantidade de trabalho aumentou, e eu não consegui mais retomar esse projeto. Na semana passada, assistindo ao programa “Navegador” da GloboNews, descobri que a Diretoria de Análise de Políticas Públicas (DAPP) da FGV havia feito exatamente esse mesmo gráfico, com os labels corretos. Ficou bem legal o que eles fizeram. Segue o link.

Não sei a quanto tempo esse site está no ar, talvez estivesse desde antes da minha idéia. Mas quando você descobre que alguém teve a mesma idéia que você, e que além disso, ela já foi executada (e bem!), a sensação que fica é uma mistura de inveja e de satisfação. Inveja, pois dado que eu também tive essa idéia, gostaria de ter terminado o projeto. Mas vou finalizar o post focando na satisfação: mesmo não sendo a minha versão, é uma ótima sensação saber que eu tive uma boa idéia, e que agora ela estará acessível para todos que quiserem explorar esses dados. Afinal de contas, esse era o objetivo do projeto! Visitem o site da FGV, ele é bem bacana!!!