Já foi dito que a estatística é a arte de mentir com números. De fato, os finórios usam a estatística para enganar. Mas muitos erram, por pura ignorância. Porém, só é iludido quem não é capaz de entendê-la corretamente.
Se quero saber meu peso, subo na balança. Para saber se sou mais pesado do que meu amigo, ele sobe e comparamos. Até aqui não há lugar para a estatística. Mas para descobrir se a população da nossa cidade está ficando obesa, pesar a todos não basta. O que fazer diante da montanha de números colecionados? Não passam de um cemitério de cifras?
Precisamos da estatística quando há números demais. Ela nos oferece formas de substituir a pletora de números por valores únicos, resumindo o que poderiam estar dizendo. Por exemplo, a “média aritmética” é um desses “representantes” de coleções de números.
Para saber se os alunos dessa escola aprenderam mais do que os daquela, somamos os escores nos testes e dividimos pelo seu número. Fazemos o mesmo com os da outra. Temos então duas “médias aritméticas”. A maior média mostra a superioridade de uma diante da outra. O caminhão de números é substituído por apenas dois que contam a história escondida neles. (Há também outras medidas, mas não compliquemos o assunto.)
Crescimento, inflação, saúde, educação e nutrição são conceitos abstratos. Só trazem luzes quando traduzidos em fórmulas estatísticas aplicadas aos números coletados. Com eles, entendemos e tomamos decisões. Gostemos ou não, é a única maneira segura e poderosa de lidar com fenômenos descritos por muitos números.
Vejamos um conjunto de exemplos de tolices estatísticas, encontradas em jornais de sólida reputação. São quase todas sobre educação, mas iguais há em todas as áreas.
1) Em um dos melhores jornais do País soou o alarme: “52,98% dos alunos ficaram abaixo da média”. Que estultice! A média está no “meio” da distribuição. Portanto, próximo da metade dos alunos, obrigatoriamente, estará sempre abaixo da média, não importando quanto sabem. É matematicamente impossível ser diferente.
2) “Vejam só, houve uma queda no último Enade! Afundou a qualidade do ensino superior.” Enem e Prova Brasil podem ser comparados de ano a ano. Mas, por razões técnicas, o Enade não é comparável de um ano para o outro. Apenas permite ilações dentro de cada aplicação. Se o ensino superior piorou (pouco provável), não é o Enade que mostraria. Igualmente, se os escores do diploma de Matemática são baixos, será fraqueza dos alunos ou exigências irrealistas da prova?
3) “Sou contra o ranqueamento das escolas!” Vamos entender. Em ciências sociais, não há quilos ou metros, apenas comparações. Os números não têm qualquer significado em si. Portanto, ser contra o “ranqueamento” é ser contra o uso das estatísticas de avaliação, pois estas só adquirem sentido quando comparadas.
Até aqui, falamos de erros grosseiros. Há outros mais sutis. Mas, como dito por Lang e Secic, “tanto os grandes vinhos quanto a bioestatística se caracterizam pelas complexidades e sutilezas. Estas são apenas apreciadas pelos poucos que devotam tempo para dominá-las”. Vejamos exemplos algo mais complexos.
4) “A renda (dos negros) continua desigual em relação à dos um brancos.” É uma denúncia de discriminação no mercado de trabalho! Mas imaginemos o caso de uma empresa que contrata dois funcionários, sem considerar a raça. Pela sua estrutura de cargos e salários, paga mais a quem é mais escolarizado. Se contrata um negro menos educado e um branco mais educado, desavisados poderiam erradamente pensar que o negro foi discriminado. Como a desvantagem resulta da menor escolaridade adicional e não da cor, nada ficamos sabendo de discriminação racial no mercado. Pesquisas cuidadosas mostram que são bem pequenas as diferenças atribuíveis à raça. A cruzada contra a discriminação dará magros resultados, pois a falha maior está nas escolas.
5) “O colégio X obteve 761 pontos, portanto é melhor do que o Y, com apenas 740.” Tecnicamente, é verdade. Mas essa diferença entre o primeiro colocado e o quinto é tão pequena que se perde no ruído estatístico. Apenas as grandes diferenças na pontuação capturam um nível de aprendizado realmente distinto.
6) “Que horror, os alunos apenas acertaram a metade das questões!” A conclusão do jornalista é que a metade dos alunos tem rendimento fraco. Porém, quando uma prova é construída, manda a técnica, é preciso incluir perguntas difíceis, para separar os sabidos dos muito sabidos. Igualmente, é preciso incluir perguntas fáceis, para diferenciar os que nada sabem dos que sabem quase nada. Em uma prova bem-feita, próximo da metade das perguntas serão acertadas. A proporção de acertos nada diz sobre a suficiência ou insuficiência do aprendizado. As autoridades ou o consenso podem definir qual o desempenho mínimo aceitável. Mas acertar a metade das questões é apenas a marca de um teste bem construído.
Os exemplos acima sugerem que mesmo a nossa melhor imprensa comete erros primários. Lidar inteligentemente com estatística ou saber escolher em quem confiar tornaram-se condições de plena cidadania.
*
PH.D., CONSULTOR INDEPENDENTE, É PESQUISADOR EM EDUCAÇÃO
