Amostragem Probabilistica existe? Parte II

Não tenho tido muito tempo pra escrever no blog do PollingData. Pra compensar, vou reproduzir parte de um artigo escrito pelo Gelman que foi publicado no Washington Post sobre pesquisas eleitorais. O começo do artigo discute alguns detalhes metodológicos sobre pesquisas telefônicas/online feitas nos EUA. Mas o final vale pra qualquer lugar, qualquer metodologia. Segue um parágrafo que eu gosto bastante, que resume também minha opiniao sobre a existência de amostragem probabilística (em inglês):

"In real life there are no probability samples of humans. With survey response rates below 10 percent, there is no way to know the probability of an individual being included in the sample. You can know the probability that the survey organization will try to reach a person — that’s easy, it just depends on exactly how the address or telephone number or e-mail is sampled from a given list. But it’s impossible to know the probability that this person will actually be included in the sample, as this depends on the probability that the person is reached, multiplied by the probability that he or she agrees to respond, given that he or she is reached. And neither of these two probabilities is ever known"

Link para o artigo:

http://www.washingtonpost.com/blogs/monkey-cage/wp/2015/08/31/heres-why-you-should-worry-about-the-polls-for-the-2016-u-s-elections-and-beyond/

Modelo Estrutural de Aprovação do PollingData

Na aba "Modelo de Aprovação", o PollingData estamos apresentando um modelo que pode ser utilizado para prever o resultado das eleições tanto no Brasil quanto em outros países. Abaixo segue uma breve explicação de como esse modelo foi construído.

Usualmente, os modelos de previsão eleitoral se dividem em dois tipos: modelos de agregação, os quais agregam pesquisas eleitorais (como os apresentados na aba “Argentina 2015” no PollingData), e os modelos estruturais, os quais incluem como preditoras variáveis econômicas e conjunturais. Esses dois tipos de modelos têm aspectos positivos e negativos bem distintos entre si.  

Modelos de previsão eleitoral tentam prever o resultado de uma eleição. Tais previsões podem ser feitas muito antes da eleição (meses ou anos antes) e muito próximas ao dia da eleição (alguns dias antes). Os modelos de agregação podem ser vistos como dinâmicos, eles são capazes de captar todas as mudanças na intenção de voto que ocorrem durante um ciclo eleitoral. Por outro lado,  os modelos estruturais conseguem utilizar informação histórica e conjuntural sobre as eleições, captando tendências que se repetem em diferentes ciclos eleitorais.

            Um modelo estrutural bastante conhecido é o “time-for-change model”, de Abramowitz [1].  Nesse modelo o autor prevê o percentual de voto no candidato do governo, utilizando como variáveis explicativas o PIB americano no segundo trimestre do ano da eleição, a aprovação do atual presidente (no mês de Junho) e se o candidato do governo é o incumbente ou sucessor. A suposição desse modelo é de que a eleição presidencial é um referendo popular sobre a performance do presidente incumbente.

       Implementar um modelo similar no Brasil é inviável, pois houveram apenas 7 eleições presidenciais democráticas. Como alternativa, foi utilizado um modelo mais genérico, utilizando resultados de 157 eleições realizadas em 17 países, as quais incluem eleições de governadores e de presidentes. Nesse modelo alternativo, a variável dependente utilizada é uma variável indicadora de vitória do candidato do governo.  Foram utilizadas apenas duas variáveis explicativas: a aprovação do atual presidente e se o candidato do governo esta concorrendo a re-eleição (incumbente) ou se é sucessor.

           O modelo de Aprovação do PollingData é um modelo estrutural, ou seja, ele utiliza informação histórica, e pode ser utilizado para prever resultados de eleições anos antes do dia da votação.  A grande vantagem desse modelo é que ele é muito parcimonioso, permitindo que previsões eleitorais sejam feitas em contextos de muito pouca informação, bastando conhecer a aprovação do atual presidente (ou do incumbente do cargo de interesse). Mais detalhes sobre como fazer essas previsões podem ser encontrados na aba "Modelo de Aprovação" do site. Estamos utilizando esse modelo há pelo menos 6 anos, em países como EUA, Brasil, Franca, Venezuela, Inglaterra entre outros, e por enquanto, não erramos nenhuma previsão. 

            Inicialmente utilizamos apenas eleições nos EUA e no Brasil, mas fomos ampliando a base de dado com o passar dos anos. Ano passado fizemos uma ampliação substancial da base de dados, porém detectamos diversos problemas na nova base: a compilação dos resultados teve diversos erros, principalmente nas eleições para governador no Brasil. Por esse motivo, no modelo apresentado no PollingData essas eleições foram retiradas do ajuste do modelo. Assim que o problema for resolvido, a versão completa do modelo de Aprovação será publicada.

PollingData 2015 está no ar….

Demorou bastante, mas finalmente o PollingData 2015 está no ar, e tráz algumas novidades:

1-    As abas “Dashboard” e “Argentina 2015” do PollingData podem ser exibidas em diferentes idiomas (Português, Inglês e Espanhol). Para visualizar o idioma de interesse, basta escolher a sub-aba correta. As sub-abas estão identificadas com abreviações dos idiomas e também com bandeiras de países que falam majoritariamente o idioma.

2-      Estaremos acompanhando as eleições presidenciais argentinas de perto. Por enquanto estamos apenas disponibilizando estimativas do primeiro turno, mas futuramente incluiremos previsões para o segundo turno. Detalhes podem sem vistos nas abas “Dashboard” e “Argentina 2015”. Num post futuro discutiremos as particularidades dessa eleição e as dificuldades encontradas para adpatar o modelo do PollingData a essas eleições.

3-      Na aba “Argentina 2015” incluímos um link para donwload de todas as pesquisas utilizadas no modelo do PollingData.  Também incluímos um link para o download do viés estimado de cada instituto de pesquisa. Essa estimativa de viés indica o quanto, em média, cada instituto super-estima ou sub-estima a intenção de voto de cada candidato. Num próximo post, explicaremos essas estimativas mais detalhes.

4-   Voltamos a atualizar regularmente a avaliação da presidente Dilma, que pode ser vista na aba “Avaliação”.

5-      Além de incluir a avaliação atualizada, também estamos disponibilizando um modelo novo, chamado de “modelo de aprovação”, que pode ser utilizado para prever a probabilidade de vitória de um candidato em qualquer eleição, usando como variável preditora apenas a aprovação do político atual- mente no cargo. Esse modelo pode ser visto na aba “Modelo de Aprovação”. Num próximo post, explicaremos esse modelo com mais detalhes.

6-      Estamos também disponibilizando links para versões antigas do site, dessa forma o usuário pode ver quais foram as previsões feitas em 2014. Os links estão na aba “Histórico PollingData”.

7-      Brevemente passaremos a companhar também a eleição espanhola. Fiquem de olho!

Performance das pesquisas eleitorais nas eleições do Reino Unido (UK)

No ultimo dia 7 de maio ocorreram as eleições gerais no Reino Unido. Houve muita controvérsia por causa da diferença entre o resultados das pesquisas e o resultado das eleições. Quase todas as pesquisas divulgadas as vésperas da eleição apontavam para um empate técnico entre o Conservative Party  e o Labour Party, porém o resultado foi uma vantagem de 7 pontos para os conservadores. Devido a essa grande diferença, uma comissão foi criada para analisar quais os motivos dessa diferença sistemática, como pode se visto nesse link.

Nesse post, nosso interesse é avaliar qual teria sido a performance do modelo do PollingData nessas eleições, e avaliar o quão imprevisível era a vitória dos conservadores. Iremos considerar nessa análise apenas o voto popular total. Uma modelo de previsão mais completo, levando em consideração detalhes importantes do processo eleitoral britânico, pode ser visto nesse link1, com os detalhes do modelo explicados nesse link2.  

Vamos utilizar na nossa modelagem as pesquisas eleitorais divulgadas no site Polling Report. Esse site é um agregador de pesquisas como o PollingData, porém não tem um modelo estatístico para prever qual é a real intenção de voto nem as probabilidades de vitória de cada partido.

 Analisando apenas o voto popular,  a tabela abaixo resume a performance do PollingData. Nosso modelo teria acertado o partido vencedor, porém apenas por uma margem mínima (menos de 0,5%).  A média das pesquisas divulgadas entre os dias 30/4 e 5/5 apontavam uma desvantagem de 1% para os conservadores.

Partido	Intencao de Voto			Probabilidade de Vitoria (PollingData)
	Votos Popular	Pesquisas  (30/04 a 05/05)	Modelo PollingData
Conservative Party (CON)	37%	33%	34%	57%
Labour Party (LAB)	30%	34%	34%	43%
Liberal Democrats (LD)	8%	9%	10%	0%
UK Independence Party (UKIP)	13%	14%	14%	0%
Green Party of England and Wales (GRN)	4%	5%	6%	0%
Outros	8%	6%	2%	0%

Por outro lado, a probabilidade de vitória do partido conservador era de 57% de cordo com o modelo. Se alguém fosse apostar no vencedor baseado nas nossas previsões, acertaria o vencedor.  Abaixo segue um gráfico com a saída final do modelo, que permite ver a dinâmica dessas eleições. 

Existem estatísticas do número de mortes causadas por balas perdidas?

Recentemente, assistindo ao jornal, vi mais uma notícia sobre uma morte causada por uma bala perdida no Rio (link). Morte por bala perdida me parece algo tão difícil de ocorrer, como morrer eletrocutado por um raio, porém muito pior porque não é causado pela natureza, e sim pelo homem.

Porém, eu descobri algum tempo atrás, que morrer eletrocutado por um raio no Brasil é mais frequente do que a maioria das pessoas acreditam – em média 130 mortes por ano (link). Vendo a noticia mencionada acima, me perguntei: “Com qual frequência ocorrem mortes causadas por balas perdidas?”.

Buscando na internet, encontrei dados sobre incidentes causados por balas perdidas no RJ. Esses dados estão no “Relatório Temático Bala Perdida”, produzido pelo Instituto de Segurança Pública, do Governo do Estado do Rio. Os relatórios podem ser encontrados nesse link.

Apesar dos dados estarem consolidados nesses relatórios, os resultados não são apresentados de uma forma a facilitar visualização da tendência da série, ou seja, saber se o número de incidentes está crescendo ou não. Como eu queria ver essa evolução ao longo do tempo, fiz o gráfico abaixo.  Como me dei ao trabalho de fazê-lo, resolvi compartilhá-lo com vocês ;)

Cometário 1: é claro que pra saber há uma aumento/redução real de incidentes relacionados a balas perdidas, é necessário levar em consideração o número de pessoas (e talvez também o número de armas). Uma forma comum de corrigir por esses fatores seria calcular a incidência desses incidentes. Nesse post o objetivo é mais simples, apenas visualizar quantos incidentes ocorrem mensalmente no RJ.

Comentário 2: porque será que pararam de publicar esse relatório em 2012? Um incidente terrível como esse, mesmo tendo um frequência relativamente baixa, deveria ser acompanhado constantemente para que possa ser eliminado!

Quantas pessoas foram no protesto contra a corrupção no último Domingo, em São Paulo?

Como todos sabem, esse domingo (15/03/2015) foi bastante movimentado em todo o Brasil, devido aos inúmeros protestos contra a corrupção e contra o governo. A maior manifestação, previsivelmente, foi na cidade de São Paulo. Segundo a PM (polícia militar) foram 1 milhão de pessoas, e segundo o datafolha, foram 250 mil.  Claro que, como estatístico, essa diferença foi o fato que mais me intrigou.

Na Folha online, essa materia foi publicada, discutindo a diferença entre os dois métodos utilizados. A reportagem cita como principal responsável pela diferença entre as estimativas a densidade populacional utilizada pela PM  (5 pessoas por metro quadrado).  Usando como referência esse guia para estimativa da quantidade de indivíduos em multidões, do CEPD (Centro de Estudos e Pesquisa de Desastres), a reportagem diz que a densidade de de 5 pessoas/m² está super-estimada.

Segundo o guia: “5 pessoas /m² – ocorrência pouco freqüente em áreas extensas. Essa taxa ocorre em eventos concorridos, porém somente no perímetro privilegiado adjacente ao cinturão de pessoas que cerca o acontecimento. Nas áreas mais afastadas a densidade tende a ser menor. O espaço entre as pessoas é reduzido, ficando a mobilidade extremamente reduzida”.

 Não há muitos detalhes sobre o método da PM, mas supõem-se que essa taxa foi tratada como constante, e a estimativa foi obtida multiplicando-se a área total da multidão (estimada de fotografias aéreas) pela taxa constante. Pra piorar, a PM não permitiu que a reportagem tivesse acesso as fotos utilizadas para calcularem as estimativas. Como a matéria é da Folha de São Paulo, discutindo a validade um método utilizado pelo Datafolha, achei importante ir um pouco mais a fundo nessa discussão.

Conceitualmente, não tenho dúvidas de que estimativas provenientes de fotografias aéreas (método da PM), se feitas corretamente, devem ser mais precisas para estimar o número de pessoas em um determinado instante. Porém, para estimar o total de pessoal que estiveram na avenida Paulista, acredito que a melhor metodologia seria uma combinação dessa metodologias com a do Datafolha, que leva em conta o fluxo de pessoas no local. Como não tenho muita experiência fazendo esse tipo de análise, além da dificuldade de encontrar fotos que permitam que o número de pessoas em todo o protesto possam ser estimadas (sem necessitar de muito pré-processamento), vou fazer uma estimativa bem mais simples. Em inglês é o que chamam de “naive estimate”, ou seja, uma estimativa ingênua. Mas acho que ela pode ser bastante esclarecedora nesse caso.

Usando o Google Maps como referência, se considerarmos a av. Paulista como iniciando na praça do ciclista e terminando no Shopping Pátio Paulista, ela tem 2,5 km de comprimento. Ao longo da avenida, temos 8 faixas de automóveis, 1 canteiro central e 2 calçadas de pedestres. Vou considerar que cada faixa tem 2 metros de largura, o canteiro central também tem 2 metros, e que cada calçada tem 6 metros de largura. Dessa forma, sem desprezar o canteiro central (apesar de em alguns pontos não ser possível uma pessoa ficar ali) obtemos uma largura de 30 metros.  Ou seja, são aproximadamente 75.000 m² de área somente na avenida paulista.

No guia do CEPD citado acima, explica-se como utilizar carros como referência de escala em meio as multidões. Nessa foto (Link foto) existe um carro entre os protestantes, no canto inferior esquerdo, na esquina da Haddock Lobo com a Paulista. Utilizando a média das larguras (medida B) dos carros apresentados no guia na tabela 2 (1,73 metros), é possível inferir que na área destacada na foto abaixo (de 1,73m²), existem 7 pessoas. Ou seja, uma estimativa pontual da densidade é de aproximadamente 4 pessoas/m². Supondo que essa densidade seja constante ao longo de toda a Av. Paulista,  teríamos então 300.000 pessoas no protesto apenas na avenida Paulista.

Supondo que a PM considerou uma área maior do que apenas a avenida Paulista, é possivel estimar o quão maior era essa área do entorno da Av. Paulista, dividindo a estimativa da PM de 1 milhão de pessoas pela estimativa apenas na Av. Paulista (de 375 mil) considerando uma taxa de 5 pessoas/m². Ou seja, pelas estimativas da PM, apenas 37,5% das pessoas do protesto estavam na área descrita acima, que consiste da Av. Paulista, do canteiro central e da sua calçada de pedestres. Esse valor me parece baixo, difícil de acreditar que mais da metade das pessoas não estavam na Paulista, mas não vi uma tomada aérea que permitisse avaliar essa estimativa. Apenas para ressaltar: estou supondo que a PM considerou uma densidade constante de 5 pessoas/m².

Na tabela abaixo apresento as estimativas do número de pessoas no protesto em São Paulo como função da densidade de pessoas. Levando em conta todas as suposições que foram utilizadas para fazer essas contas, eu acredito que o número de pessoas no protesto foi entre 500 e 700 mil. Abaixo destaco todas as suposições feitas para obter “a minha” estimativa ingênua. Essa é a maior dificuldade de um estatístico: conviver com as suposições. Acredito que seja melhor deixá-las explícitas, vulneráveis a questionamentos, do que escondê-las. Isso faz o resultado parecer menos preciso do que algumas pessoas gostam de fazer parecer, porém essa é a realidade!

pessoas/m2	# de pessoas
	Av. Paulista	Av. Paulista + Entorno
2	150.000	400.000
3	225.000	600.000
4	300.000	800.000
5	375.000	1.000.000

Suposições:

1-Avenida Paulista: todas as medidas utilizadas para avaliar o tamanho da Av. Paulista foram aproximações obtidas do Google Map. Se eu ainda morasse em São Paulo seria bem fácil reduzir a incerteza com relação a essa suposicao, bastava contar alguns passos. Também não tenho certeza que o protesto chegou até o Shopping Pátio Paulista. Ver um vídeo aéreo pode ajudar bastante pra validar essa área. E, é claro, estou supondo que a Av. Paulista forma um retângulo perfeito, algo que claramente não é verdade - sem falar nas bancas de jornal, caminhões, muros, etc.. que também disputam esse espaço com as pessoas.

2- Densidade de pessoas: estou supondo que a densidade de pessoas é constante. Claro que isso não é verdade. A área que utilizei pra estimar essa densidade está próxima a estação de metro da Consolação por onde muitas pessoas chegaram a Av. Paulista, porém bem distante do MASP, que foi o epicentro do protesto.Com certeza esses 2 fatos tem influência sobre a densidade. Por isso incluí a tabela com diferentes densidades como referência. É como se eu estivesse colocando uma priori na densidade média ;)

3- Metodologia da PM: qualquer comentário sobre a metodologia da PM é uma suposição. Os únicos fatos são a densidade média considerada pela PM de 5 pessoas/m² e a estimativa divulgada de 1 milhão. 

A Lei de Benford se aplica aos votos municipais no nível estadual?

O blog do PollingData ficou bastante tempo parado após o final das eleições. Mas queremos manter o blog vivo, então após essa parada estendida, voltaremos a publicar posts sobre estatística, pesquisas eleitorais e outros temas de interesse. Começaremos com uma breve discussão sobre a Lei de Benford.

Logo após as eleições algumas análises foram publicadas onde aplicaram a Lei de Benford ao número de votos da Dilma em cada município. A Lei de Benford é comummente utilizada para detectar fraudes em sequências de números aleatórios. Se os números analisados não são aleatórios, não respeitarão a Lei de Benford. Assim, a não conformidade com essa Lei é vista como evidência de fraude.

Resolvemos falar sobre esse assunto agora porque acabou de circular um email discutindo o tema na lista da ABE. Os dois blogs mais citados que discutem o assunto foram o Análise Real e o Saturno V . O segundo link um pouco mais informativo. Porém em ambos faltou enfatizar se as condições necessárias para a validade da Lei estão sendo respeitadas. Ou seja, existe evidência de que a Lei não se aplica ou de que houve fraude?

No artigo fica muito claro sob quais condições a Lei é aplicável. Baseado nesse artigo e nos dois blogs mencionados, enviei um email para a lista da ABE com a minha interpretação da análise. Segue o email abaixo.

“Acho que a conclusao e' que o numero de votos por municipio de um estado nao precisa seguir a Lei de Benford, ou seja, a evidencia e' de que a lei nao se aplica nesse caso, e nao de fraude. 

O motivo que o voto em um estado nao precisa seguir a Lei de Benford se da porque 2 condicoes importantes para que a proximacao seja razoavel nao sao satisfeitas: 

1-  o numero de municipios em cada estado e' relativamente pequeno, ou seja, a amostra e' pequena, e a Lei de Benford e' "assintotica"...

2- os numeros sendo analisados (votos nesse caso) tem que percorrer varias ordens de grandeza para que a Lei de Benford seja aplicavel. E' preciso, por exemplo, que os numeros tenham um range de pelo menos 10^1  ate 10^7.  Se assumem valores menores do que 10^7 a aproximacao e' ruim. Ou seja, qualquer estado, com a excecao de Sao Paulo, nao satisfaz essa condicao.

Por outro lado, se analisarmos todos os municipios do Brasil, sem olhar cada estado separadamente, a lei deve ser aplicavel, porque teremos uma amostra de mais de 5500 municipios e os votos em um candidato devem se aproximar do range recomendado. Utilizando os dados que o Carlos Cinelli (Análise Real) disponibilizou no blog, fiz essa comparacao entre a Lei (% esperado) e os votos para a Dilma por cidade (% observado) - vejam na tabela abaixo. Acho que esta muito proximo, pelo menos pra mim nao parece ter indicio de fraude por esse criterio. Mas um estudo mais serio olharia muitos outros criterios relevantes....”

Voto Dilma (Primeiro Digito)	Freq. Observada	Perc. Observado	Perc. Benfords Law
1	1678	30%	30%
2	1058	19%	18%
3	718	13%	12%
4	473	8%	10%
5	423	8%	8%
6	388	7%	7%
7	290	5%	6%
8	320	6%	5%
9	267	5%	5%