Sempre que sai uma nova sondagem, temos títulos bastante incisivos nos jornais. Em Março, o Expresso, apoiado na Eurosondagem, anunciava: “Três meses depois, o PS descola do PSD”. Já em Abril mudou de título: “Sondagem: PS desce mas Costa sobe. E muito”. Ao contrário, na semana anterior, apoiado na Aximage, o Correio da Manhã anunciava: “PS ultrapassa PSD nas intenções de voto”.
No gráfico em baixo, podemos ver as estimativas de voto no Partido Socialista de acordo com as sondagens da Aximage e da Eurosondagem publicadas este ano. Os primeiros quatro losangos são da Eurosondagem e os restantes são da Aximage. A linha preta dá-nos a média simples das oito sondagens (34,5%).
Eu não sei exactamente como é que quem me lê interpreta este gráfico. Talvez repare que sempre que o PS sobe na Eurosondagem então desce na Aximage. O que me surpreende a mim é a estabilidade das intenções de voto. Todas as sondagens estão a menos de um 1,2 pontos percentuais da média. A diferença entre a mais favorável (35,6%) e a menos favorável (33,3%) ao PS é de apenas 2,3 pontos percentuais. Confesso, aliás, que me parecem tão estáveis que quaisquer títulos a falar em subidas ou descidas são ridículos.
Tanto assim é, que me lembrei de fazer um exercício simples. Fazer oito sondagens diferentes à mesma realidade. Uma forma de o fazer seria encomendar 8 sondagens feitas simultaneamente. O problema é que tal não só seria demasiado caro como, ainda por cima, teria dificuldade em controlar a qualidade do trabalho. Felizmente há uma alternativa que é perfeita e é gratuita: usar o Excel para simular sondagens.
Tomo como ponto de partida os 34,5% de média das intenções de voto. De seguida, pergunto a 800 células do Excel se votam ou não no PS e dou-lhes instruções para responder ‘Sim’ com uma probabilidade de 34,5% e ‘Não’ com uma probabilidade de 65,5% [i]. No fim, basta-me calcular a percentagem de células que respondeu sim. Isto equivale a oito sondagens, feitas em condições tecnicamente ideais, com oito amostras de 800 eleitores.
Os resultados, que obtive na primeira simulação em que a média deu os mesmos 34,5%, estão ilustrados na figura em baixo. Variações de 3 ou 4 pontos percentuais são perfeitamente normais e a diferença entre a sondagem mais favorável e a menos favorável é superior a 5 pontos percentuais. Estas variações são obtidas a partir de uma população que tem sempre o mesmo valor para o PS: 34,5%. Ou seja, resultam apenas do erro amostral, não há qualquer mudança nas intenções de voto. Repare-se que, como tenho controlo absoluto sobre estas sondagens, posso afirmar o que estou a afirmar com total certeza: não existe qualquer outra fonte de erro.
Daqui retiram-se conclusões muito interessantes. Por exemplo, se amanhã sair uma sondagem que dá ao PS uma subida de 2, 3 ou até 4 pontos percentuais será abusivo retirar grandes ilações sobre isso. São perfeitamente compatíveis com não ter havido nenhuma alteração nas intenções de voto. Ou seja, 99% dos comentários a essas notícias serão bastante tolos. Mais grave, andar a fazer títulos de jornal com variações de décimas é, simplesmente, estúpido.
Fica, no entanto, outra questão interessante por decifrar. Como é possível que a dispersão nas sondagens reais seja muito inferior às das minhas sondagens simuladas, feitas em condições estatisticamente ideais?
Uma explicação possível teria a ver com o tamanho da amostra. É sabido que quanto maior a amostra menor a dispersão esperada. Como expliquei, nas minhas simulações, considerei uma amostra de 800 observações. Ora a Aximage declara na sua ficha técnica que entrevistou cerca de 600 pessoas, ou seja menos do que a minha amostra [ii]. Já a Eurosondagem tem amostras de 1000 pessoas. Mas cerca de 20% dessas pessoas diz que “não sabe” ou “não responde”, pelo que a amostra relevante se reduz para cerca de 800 entrevistados. Assim, esta explicação não colhe.
Sobram então duas hipóteses. Uma é que se trata de um acaso. É possível que, por mera coincidência, estas 8 sondagens tenham dado resultados tão parecidos. Como as coincidências não duram para sempre, já sabem, se, numa próxima sondagem, o PS aparecer com 37% ou com 31% não retirem grandes ilações desse facto.
A outra hipótese é, naturalmente, que estas empresas tenham técnicas de amostragem fabulosas que lhes permitem evitar o erro amostral. Graças a essas técnicas, que desconheço, conseguem obter os mesmos resultados que seriam de esperar com amostras bastante maiores, reduzindo assim bastante os seus custos. Esta é a minha hipótese preferida: como economista, gosto sempre que as empresas sejam eficientes. Para estimar essa eficiência, fiz milhares de simulações, tendo concluído que para eu conseguir consistentemente resultados tão estáveis como os da Aximage e os da Eurosondagem combinados, precisaria de considerar amostras com mais de 2500 observações (ou seja, cerca de três vezes maiores do que as da Eurosondagem e quatro vezes maiores do que as da Aximage). Naturalmente, não é de esperar que os responsáveis das sondagens em Portugal divulguem publicamente tão fabulosas técnicas de amostragem. Afinal, o segredo é a alma do negócio. Mas não posso deixar de lhes endereçar os meus sinceros parabéns.
[i] Tecnicamente, o que fiz foi gerar 800 observações a partir de uma distribuição de Bernoulli com parâmetro 0,345. O leitor com alguns rudimentos de estatística pode experimentar em casa. Para o efeito, a distribuição de Bernoulli ou a Binomial são as ideais.
[ii] Na verdade ao ler a ficha técnica da Aximage, fiquei na dúvida se os 600 entrevistados são obtidos antes ou depois de serem excluídas as pessoas que declararam abster-se (cerca de 33%). Portanto, não é claro se deva considerar uma amostra de 600 pessoas ou de 400. Talvez os responsáveis da Aximage queiram melhorar a qualidade da informação que prestam nas suas fichas técnicas.
