Pisa na fulô: O PISA deveria ser extinto? Não, apenas está sendo mal interpretado.

O Carta na Escola traz uma reportagem com questionamentos sobre o exame internacional da OCDE de avaliação dos estudantes,o PISA.

As *recomendações* dos relatórios da própria OCDE a partir dos resultados do PISA podem não ser boas. Por exemplo, há algumas comparações esdrúxulas como % do PIB investido em educação. Oras, é só questão de *não* seguir tais recomendações. Ninguém é obrigado a segui-las. Nem mesmo os países da OCDE ou os que se submetem à avaliação.

Dessa forma é estranho o pedido de que o PISA deixe de ser realizado. O problema com o exame seria se ele não medisse o que pretende medir. Segundo a reportagem um indício do problema com o teste é que a Finlândia caiu de posições na edição mais recente. O argumento é que a orientação pedagógica finlandesa é bem estável, isso não deveria levar à queda no desempenho. Só que o ranking do PISA é *relativo*. A queda na posição não reflete necessariamente a diminuição no desempenho absoluto. (Figura 1.)

Figura 1. Evolução da proporção de alunos de 15 anos da Finlândia de acordo com o nível de proficiência em Ciências medido pelo PISA 2006, 2009, 2012.

Há uma pequena queda geral do desempenho dos alunos. Pequena. Isso pode se dever a fatores como variação amostral. Mas os valores são consistentes de uma edição a outra. Não ocorre o salto sugerido pela simples interpretação da posição no ranking: como entre os países de bom desempenho as diferenças não são tão grandes, uma pequena variação no desempenho absoluto pode fazer a posição no ranking variar muito mais.

E claro que o alcance do PISA é limitado na medição da qualidade dos sistemas educacionais a partir do desempenho dos alunos. Sim, as competências aferidas não cobrem toda a gama de serviços prestados pelo sistema educacional. Mas a função do PISA é funcionar como proxy de certos conjuntos de habilidades tidas como necessárias: dentro da Matemática, ser capaz de relacionar grandezas; dentro das Ciências, ser capaz de interpretar tendências; dentro da Leitura, ser capaz de localizar informações - dentre outras dimensões mensuradas pelo teste nas três áreas. Sim, Geografia, Música, Filosofia e várias outras ficam de fora. O PISA é apenas um dos instrumentos disponíveis. No caso do Brasil, ainda temos o ENEM, o IDEB, além de avaliações regionais como o Saresp. É preciso entender o que os exames estão medindo e qual a limitação da validade.

Não é porque estão usando os índices erradamente que os índices sejam ruins. São indicadores e devem ser interpretados dentro do contexto adequado. O presidente do Inep, entrevistado pela reportagem, mas relegado ao final, tem uma posição equilibrada. O indicador é importante para se ter uma ideia do que está ocorrendo na educação.