No início de dezembro foram divulgados os resultados do Pisa 2022. O Exame internacional tem muitas utilidades importantes, mas parece que, para boa parte da imprensa, a principal delas é a prática de um ritual tão previsível quanto estéril de autodepreciação e escândalo, que dura um ou dois dias, para depois retornar à cantilena dos cortes de gastos (inclusive em educação) e da responsabilidade´fiscal, especialmente aquela às custas dos mais pobres. O problema é que, no rastro da cacofonia da autoflagelação educacional, uma série de mitos, falácias e meias verdades sobre a educação e sobre o Brasil são reiteradas. Neste texto, tentaremos repor alguns termos do debate, para que possamos de fato enfrentar, de maneira informada, nossas muitas fragilidades educacionais.
Aprecie com moderação: A pontuação do Pisa (ou de outros testes padronizados) é equivalente à qualidade da educação?
O Pisa compõe um amplo conjunto de iniciativas internacionais (TIMSS, PIRLSS, ERCE, entre outras) e próprias de cada país (SAEB no Brasil, SIMCE no Chile, SIMAVE em MG, SARESP em São Paulo etc.), que procuram avaliar o desempenho dos sistemas educacionais por meio de provas padronizadas aplicadas aos estudantes (geralmente acompanhadas de questionários direcionados aos estudantes, professores e diretores para avaliar fatores contextuais e das condições educacionais relevantes). A disseminação da adoção destas iniciativas se deve ao apelo (e à utilidade efetiva) representado pelo que se percebe como uma medida simples, intuitiva, comparável e objetiva da qualidade dos resultados educacionais, que poderia servir de farol e de parâmetro claro para uma política complexa como a educação.
Mas se isto lhe parece bom demais para ser verdade, é porque de fato é. Há várias limitações neste indicador. Primeiro, para se medir o desempenho do sistema educacional, é preciso ter claro quais são seus objetivos. Poucas políticas públicas têm objetivos tão amplos e variados quanto a educação: o desenvolvimento saudável da personalidade, o aprendizado da convivência pacífica e da tolerância, o diálogo racional e respeitoso; a curiosidade, a autonomia moral, o respeito aos direitos humanos, valores democráticos, empregabilidade, entre outros tantos. E também o domínio de conhecimentos, habilidades e competências acadêmicas a que todos os cidadãos têm direito. No entanto, entre tantos objetivos importantes que as sociedades modernas atribuem à educação, os testes padronizados se propõem a medir apenas este último conjunto, relacionado ao desempenho acadêmico.
Segundo, mesmo em termos estritamente acadêmicos, há várias limitações que a estratégia – testes padronizados de múltipla escolha – impõe à avaliação. As provas de múltipla escolha exigem mais o reconhecimento de uma resposta entre as dadas do que a reflexão sobre o que se pede; as provas avaliam mais o alcance da resposta correta do que o raciocínio desenvolvido; não há como avaliar a capacidade de argumentação, a curiosidade, a autonomia intelectual. Se pensarmos nas funções cognitivas em termos de sua sofisticação e exigência, teríamos, pela ordem: a) reter informação (quais as capitais brasileiras, as organelas celulares, a tabela periódica etc.); b) a aplicação de procedimentos e fórmulas a casos específicos (como a aplicação das fórmulas para cálculo do movimento retilíneo uniforme, resolução de equações etc.); c) análise (ser capaz de tomar um problema ou questão “em estado bruto” e decompô-los nas dimensões mais relevantes, situando-os em um conjunto mais amplo de objetos, conhecimentos e experiências e d) síntese: capacidade de recorrer a conhecimentos de várias fontes e ordens e de combiná-los, a fim de formular uma resposta própria (e, eventualmente, original) a uma questão ou problema. Ora, os testes padronizados de múltipla escolha são muito mais adequados a avaliar a retenção de informação e a aplicação de fórmulas e procedimentos já estabelecidos do que as capacidades de análise e de síntese, justamente as duas mais exigentes e valorizadas, o que pode acabar impactando, inclusive a ênfase daquilo que é ensinado na escola aos estudantes.
Isto quer dizer que os resultados do Pisa e de outros testes não querem dizer nada ou que são inúteis para avaliar a educação? De forma alguma.
É muito importante ter instrumentos que permitam comparar escolas, estados, países, ou seja, sistemas educacionais e situá-los em termos daquilo que seus alunos demonstram ter aprendido. No entanto, a regra aqui é parecida com aquela propaganda de cerveja: aprecie com moderação. Se estes são os aprendizados que conseguimos hoje avaliar em larga escala e de forma comparativa entre sistemas e ao longo do tempo, é melhor saber isto do que pilotar em voo cego. É, porém, fundamental não tratar estes resultados como se fossem “o” desempenho educacional ou refletissem perfeitamente a qualidade do ensino: o que os testes captam é uma aproximação de algumas dimensões do desempenho acadêmico dos estudantes, o que, por sua vez, representa uma parcela bastante limitada (ainda que fundamental) das aprendizagens que se espera que a educação formal promova. Assim, sua interpretação e seu uso na avaliação e planejamento da política deve ser feito com cautela e parcimônia. São uma sinalização importante e útil para educadores, gestores e famílias e talvez sua utilidade maior seja levantar questões, hipóteses e possibilidades, mais do que nos dar respostas definitivas. Mas melhorar a pontuação no Pisa ou em outra prova semelhante não pode ser o foco principal das escolas ou da política educacional, por vários motivos, entre eles o de que isso empobrece tremendamente o sentido mesmo da educação e do processo educacional. Além disso, quando um indicador se torna um alvo, ele deixa de ser um bom indicador, com o risco de que todos os agentes educacionais deixem de buscar os objetivos do currículo e a educação se transforme em um treinamento (um adestramento?) mais ou menos mecânico para a realização de provas.
O Brasil é uma calamidade e está estagnado no Pisa?
Sim e não. Primeiro, é um fato pouco disputado que a situação do Brasil é muito ruim e isto deve ser objeto de grande preocupação e debate, em busca de como melhorar o ensino e garantir o direito à aprendizagem a todas as nossas crianças e adolescentes. A título de ilustração, tome-se a matemática, que se constitui, dentre as áreas avaliadas (matemática, leitura e ciências), aquela em que os estudantes brasileiros têm pior desempenho, expresso no gráfico 1.
Gráfico 1: Distribuição dos estudantes na escala de proficiência em Matemática
Fonte: Pisa 2022, divulgação do Inep
Como o gráfico 1 mostra, o desempenho do Brasil é muito ruim sob vários aspectos: primeiro, nossa pontuação média é muito baixa; segundo, quase 3⁄4 dos estudantes avaliados encontram-se no nível mais baixo (nível 1) de desempenho; terceiro, nosso desempenho é inferior não apenas àquele da OCDE, mas também ao de vizinhos latinoamericanos: Chile, Peru, Uruguai, México. Mesmo Colômbia e Costa Rica têm situação ligeiramente melhor que a nossa, ainda que semelhante, como é o caso da Argentina. Dentre os países latinoamericanos avaliados, apenas o Panamá tem desempenho ainda pior do que o brasileiro, no caso da Matemática.
Um outro problema é saber se, de fato, estamos estagnados neste patamar baixo. Aqui a questão é um pouco mais complicada. Quando se observa isoladamente a evolução de nossa pontuação, de fato, parece que pouca coisa mudou desde o início da participação do Brasil no Pisa, em 2000, como mostra o gráfico 2.
Gráfico 2: Tendências de desempenho em Matemática, Leitura e Ciências (Brasil)
Fonte: Pisa 2022, divulgação do Inep
Como expresso no gráfico 2, houve poucas alterações significativas no desempenho dos estudantes brasileiros ao longo deste século, em quaisquer das disciplinas avaliadas. Como nosso desempenho é baixo, aparentemente esta é uma péssima notícia. E, de fato, não custa repetir, nosso baixo desempenho, mesmo comparado a nossos vizinhos, é muito preocupante. No entanto, antes de nos desesperarmos com estes dados, é preciso ter em conta dois fatores que amenizam esta trajetória. Primeiro, é que nossa incorporação ao Pisa coincide com a expansão do acesso aos anos finais do ensino fundamental e ao ensino médio, especialmente daqueles estudantes historicamente excluídos da educação e que, portanto, sequer eram avaliados. O gráfico 3 permite ter dimensão deste processo.
Gráfico 3: Tendências na proporção de jovens de 15 anos que atingem um nível básico em matemática
Fonte: Pisa 2022, divulgação da OECD
De fato, o gráfico 3 demonstra que em 2003 45% dos jovens brasileiros de 15 anos sequer eram considerados para a amostra do Pisa, pois ou não estavam mais na escola ou não haviam alcançado a escolaridade mínima necessária para fazer parte da amostra; em 2022 somente 24% dos jovens permaneciam não elegíveis para participação no Pisa, uma redução de 20 pontos percentuais dos jovens excluídos. Diante de uma incorporação tão expressiva de segmentos marginalizados ao sistema de ensino, não seria surpreendente (apesar de tampouco desejável) se houvesse uma redução no desempenho médio na prova, mesmo se nenhum grupo específico estivesse pior do que antes: ora, uma baixa proficiência atual pode ser comparativamente “menos ruim” se a situação anterior deste estudante ou segmento era a exclusão da escola e, por óbvio, também do aprendizado escolar. Que o Brasil tenha sido capaz de incorporar um quinto dos jovens ao sistema educacional sem que o desempenho tenha piorado – ainda que seja inaceitavelmente baixo – não deixa de ser um alento. Ainda mais se se observa que aumentou de 14% para 20% a porcentagem de estudantes que estão acima do nível 1 (o mais baixo) de desempenho em matemática.
Em segundo lugar, ao compararmos a trajetória brasileira com a evolução do desempenho médio dos estudantes da OCDE, é possível também verificar que, ao longo do tempo, o Brasil tem reduzido a distância (ainda muito alta) entre seus estudantes nas três disciplinas consideradas, como demonstra o gráfico 4.
Gráfico 4: Pontuação do Brasil no Pisa como porcentagem da média da OCDE (2000-2022)
Fonte: Elaboração própria com base nos dados divulgados pelo Pisa
Como se afirmou anteriormente, não se podem tomar as pontuações do Pisa como a expressão de uma “qualidade” pura e abstrata que, se existir, talvez habite somente o mundo das idéias de Platão, não sendo alcançável pelos mortais. Assim, para dar sentido e contexto aos resultados, é preciso aproveitar justamente aquela que é uma de suas maiores vantagens: a comparabilidade. E, se compararmos nosso desempenho com a média dos países da OCDE, vemos que há uma clara, ainda que modesta, convergência entre o Brasil e aqueles países nas 3 disciplinas avaliadas. Não que seja o melhor dos mundos que a nossa conquista seja ficar no mesmo patamar enquanto os outros pioram, mas a comparação permite colocar nossas dificuldades em perspectiva. E esta é a síntese neste ponto: Estamos longe de uma boa situação e o caminho é muito longo, mas a análise da trajetória, se colocada devidamente em perspectiva, mostra que não é um beco sem saída e nem um atoleiro.
O ensino privado está ok, nosso problema é a escola pública?
Um outro equívoco resultante da interpretação pouco cuidadosa das notas do Pisa é a comparação apressada do desempenho de estudantes da rede pública e das escolas privadas e daí concluir que o ensino privado vai bem, obrigado, que nosso problema são as escolas públicas e o melhor que o país poderia fazer seria ampliar a participação privada na educação básica. Nada mais enganoso. A observação do gráfico 5 permitirá deixar o ponto mais claro.
Gráfico 5: Alunos matriculados em escolas particulares e desempenho médio em leitura
Fonte: Pisa 2018, divulgação da OECD
O gráfico 5, obtido a partir dos dados do PISA 2018, expressa a relação entre a porcentagem de estudantes em escolas privadas em cada país e o desempenho nos testes de leitura. Segundo o relatório da OCDE, os sistemas escolares com maior proporção de alunos em escolas particulares tendem a apresentar desempenho inferior em leitura. Quando se considera o peso do PIB per capita, o coeficiente e a correlação parcial foram de -0,46, ou seja, negativa. Quando se excluem os casos extremos, a correlação permaneceu significativa no nível de 10% (r = -0,22), enquanto a correlação parcial foi de -0,29. Isto significa que, para dizer o mínimo, expandir a participação do setor privado na oferta educacional não parece ser uma solução global adequada para melhorar o desempenho dos países, inclusive o do Brasil.
O que explica então esta ilusão tão disseminada por aqui sobre uma suposta superioridade intrínseca do setor privado? Primeiro, claro, uma longa história de disseminação ideologicamente interessada e patrocinada que associa ao setor público a ineficiência e ao setor privado uma suposta superioridade empreendedora intrínseca, que tem sustentado ao longo dos últimos anos processos – alguns adequados e muitos outros não – de transferência de empresas, patrimônio, protagonismo e recursos materiais e institucionais ao mercado.
Mas outro elemento tem a ver com um dos equívocos mais frequentes que se costuma cometer na interpretação de dados educacionais, que é atribuir todos os resultados e variações à oferta educacional e, mais especificamente, à escola que os alunos frequentam. É uma ilusão que se mantém por diferentes combinações de desconhecimento e interesse. O processo educacional é um longo e complexo sistema de ações e relações entre insumos, regras, instituições, diferentes agentes educacionais, famílias e estudantes e os diferentes contextos locais: elementos internos e externos tanto à unidade escolar quanto ao sistema educacional. Em vista disto, de maneira geral, os efeitos de mudanças em políticas educacionais, aumento ou redução de recursos etc., só se manifestam no médio prazo e de maneira indireta, pois são mediados por vários elementos. De qualquer modo, os fatores que, isoladamente, nas condições atuais e na vasta maioria dos países, mais fortemente determinam, em um dado momento, o desempenho dos estudantes são aqueles relacionados a suas condições socioeconômicas. Como isto não é muito perceptível à maior parte dos observadores, tendemos a associar de maneira muito direta resultados e mudanças à natureza da escola ou a decisões de curto prazo. E o que isto tem a ver com a ilusão de superioridade intrínseca do ensino privado? O gráfico 6, com resultados do Pisa de 2012 para o Brasil ajuda a entender este ponto.
Gráfico 6: Contexto social e desempenho escolar (Brasil)
Fonte: Pisa 2012, divulgação da OECD
O Gráfico 6 exibe a relação entre o índice socioeconômico médio dos estudantes no Brasil e o desempenho de suas escolas no Pisa 2012. Ele permite verificar com clareza a) a forte associação entre os nível socioeconômico e a nota dos estudantes e b) que as escolas privadas têm estudantes com nível socioeconômico muito mais alto, como pode ser percebido no gráfico, pelo fato de que as escolas privadas encontram-se, em sua grande maioria, isoladas nos níveis mais elevados do indicador de status socioeconômico e, por conseguinte, de notas no Pisa.
Esta questão é especificamente analisada no gráfico 7, com os resultados do Pisa de 2018. Nele fica claro que a diferença “bruta” no desempenho dos estudantes de escolas privadas no teste é de quase 100 pontos a mais em relação ao das escolas públicas. Porém, quando se desconta o “peso” do nível socioeconômico dos alunos sobre a nota, ¾ desta diferença desaparece e ela se reduz a pouco mais de 20 pontos, em boa parte explicados pelos infraestrutura melhor das escolas privadas, decorrente do investimento por aluno mais elevado coberto pelas mensalidades que os pais pagam, como pode ser observado no gráfico 8.
Gráfico 7: Performance no Pisa em escolas públicas e privadas (2018)
Fonte: Pisa 2018, divulgação da OECD
Gráfico 8: Percentual de estudantes cujo diretor reportou “muito” ou “até certo ponto” às questões sobre a indisponibilidade e a inadequação de infraestrutura e recursos educacionais, por dependência administrativa (2018)
Fonte: Pisa 2018, divulgação do Inep
Em resumo, é certo que existem escolas privadas excelentes, outras péssimas, outras cujas instalações e equipamentos acabam obscurecendo aos leigos a qualidade duvidosa do coração da escola, que acabam assumindo que as notas mais elevadas (no Pisa, ENEM etc.) se devem à escola e não às condições sociais comparativamente muito favoráveis dos estudantes e de suas famílias. E o mesmo pode ser dito das escolas públicas: seguramente há escolas públicas muito precárias e que não estão à altura da tarefa que a sociedade lhes atribui. Mas há muitas as quais, mesmo com recursos limitados, esforçam-se para garantir uma educação de qualidade, mas este esforço nem sempre é perceptível, pois até hoje não fomos capazes – no Brasil e nem em outros países – de conceber um sistema educacional que seja suficiente para compensar as mazelas de uma sociedade tremendamente desigual como a nossa.
Então o problema da educação no Brasil são os estudantes pobres?
Em uma sociedade em que as opressões de classe, raça e gênero apresentam a rigidez e a violência que marcam a história do Brasil, o caminho mais fácil para fugir ao enfrentamento de problemas que desafiam o status quo é sempre estigmatizar os mais vulneráveis: é assim com o discurso sobre o trabalho precário e o desemprego, foi (e ainda é) no debate sobre ações afirmativas e mérito, sobre a criminalidade e a violência contra jovens periféricos e, também, tem sido cristalinamente exposto na frequência e virulência com que se regurgita o rosário infame do preconceito contra os beneficiários de políticas de transferência de renda e sua suposta preguiça, comodismo e vícios, mais provavelmente uma projeção não assumida sobre si mesmos de quem o vocaliza do que qualquer descrição válida daqueles a quem os insultos se dirigem. O mesmo ocorre quando nos defrontamos com nossos desafios educacionais: neste caso, as vozes bem posicionadas de sempre, às vezes até com alguma condescendência, apontam para os estudantes mais vulneráveis ou pior, para o processo recentíssimo de inclusão educacional, para “explicar” nosso baixo desempenho educacional: seriam os pobres que “puxariam” a média para baixo. Mais uma vez as explicações simples para problemas complexos são não apenas erradas, mas iníquas, como frequentemente ocorre. O gráfico 9 não deixa dúvidas a respeito.
Gráfico 9: Desempenho médio em Matemática, por quintis internacionais de status socioeconômico
Fonte: Pisa 2022, divulgação do Inep
O gráfico compara a pontuação no Pisa 2022 dos estudantes brasileiros de distintos níveis socioeconômicos com aquela de estudantes de nível socioeconômico semelhante em outros países. O que fica claro é que, como se afirmou mais acima, em praticamente todos os países o desempenho nos testes é fortemente influenciado pelas condições socioeconômicas dos estudantes. No entanto, nota-se que no caso do Brasil, em todas as faixas de nível socioeconômico (e não apenas entre os mais pobres) a nota dos estudantes brasileiros é significativamente inferior àquela de seus pares em outros países. Ou seja, se há um problema com a qualidade de nossa educação, ele não está restrito aos estudantes mais pobres ou ao ensino público: é um desafio que tem que ser enfrentado coletivamente.
A falsa dicotomia entre excelência e equidade
Demonstramos na seção anterior que o desempenho do Brasil no PISA combina uma média muito baixa e uma desigualdade muito alta (em termos socioeconômicos). Este ponto tem sido muitas vezes tratado como se desempenho e desigualdade fossem dimensões do sistema educacional não apenas distintas, mas independentes, ou, ainda pior, contraditórias. Ou seja, para alguns, pode-se escolher uma prioridade – melhorar a média ou a desigualdade – sem dar muita atenção à outra, pelo menos em um primeiro momento (é desnecessário dizer, quase sempre a recomendação é deixar a desigualdade para depois). Para outros, haveria uma incompatibilidade entre excelência e equidade e os meios para alcançar a primeira – incentivos, competição, premiação – seriam inequivocamente prejudiciais à segunda, o que seria lamentável, mas inevitável. Estão redondamente equivocados.
Como mostra o Gráfico 10, o alto desempenho e a maior equidade não são mutuamente exclusivos. Mais do que isto, excelência e equidade estão intimamente associadas: as evidências indicam que a capacidade de melhorar o desempenho de todos os alunos, independentemente de sua origem, é condição indispensável para que os países tenham um alto desempenho na proficiência. Assim, estratégias que buscam a excelência educacional priorizando políticas elitistas, que visam premiar e estimular quem já tem um bom desempenho e incentivar a competição, tão em voga nos círculos da chamada Nova Gestão Pública, estão fadadas ao fracasso se o objetivo é criar um sistema educacional sólido. Uma política educacional que não priorize o direito à educação e ao aprendizado dos grupos mais vulneráveis e historicamente excluídos pode ser um instrumento para a reprodução do monopólio de certas elites sobre as posições sociais mais valorizadas, mas seguramente não para a construção da cidadania ou do desenvolvimento sustentável.
Gráfico 10: Proporção de estudantes de 15 anos que alcançam pelo menos o nível mínimo de proficiência (nível 2 no Pisa) em leitura e matemática (2017)
Fonte: Pisa 2017, divulgação da OECD
Em suma
Primeiro, o Pisa (e outros estudos semelhantes) nos diz muita coisa importante, mas não diz tudo e, em relação a algumas dimensões da educação, não nos diz o principal. É um instrumento muito útil em virtude de três características: escala, padronização e comparabilidade, o que, por outro lado, como afirmamos, cobra seu preço em limitações de profundidade, pouca consideração dos contextos e da complexidade das relações e sistemas educacionais. Deve, portanto, ser utilizado como uma das ferramentas de avaliação e planejamento, analisado para além da nota no teste e em conjunto com várias outras variáveis e, principalmente, nunca absolutizado como “A” medida da qualidade educacional e, menos ainda, como “O” objetivo da política.
Segundo, não é verdade que a educação no Brasil esteja estagnada. Apesar do descaso no Governo Temer e das tentativas de desmonte por ação, omissão e inépcia do Governo Bolsonaro, a trajetória da educação básica desde a Constituição de 88 é inequivocamente positiva: foram ampliados a cobertura, o acesso, a permanência e a progressão em todos os níveis, houve melhoria na qualificação dos professores, foram criados mecanismos de financiamento mais potentes e equalizadores, entre outros avanços.
Entretanto, a educação não é nem um bem que se adquire imediatamente após efetuar o pagamento nem um insumo, do qual se tem mais ou menos. A educação é um extraordinariamente complexo e demorado sistema de ação: a relação entre as decisões políticas, a legislação, a alocação de recursos e a obtenção de resultados é operacionalizada, mediada e constrangida por cadeias causais intrincadas e longas, que conectam um sem número níveis de governo, diversos atores, carreiras e perfil docentes, equipamentos, escolas, currículos, contextos socioeconômicos heterogêneos e desiguais. E há sempre muita dependência de trajetória e legado de escolhas prévias. São investimentos, portanto, que têm um prazo de maturação longo, mas que também são duradouros. A sustentabilidade e a estabilidade do esforço educacional têm que se combinar com sua magnitude.
Não se pode também exigir da educação aquilo que ela não pode dar. Basil Bernstein, já há algumas décadas, sintetizou o ponto no título de um artigo famoso: “Education cannot compensate for society” (A educação não pode compensar por toda a sociedade). Como se afirmou, não há até hoje um sistema educacional que neutralize ou anule o peso das condições socioeconômicas e familiares dos estudantes sobre o seu desempenho. Há, porém, sistemas educacionais que reduzem esta influência e isso tem que ser uma busca permanente. De qualquer modo, será muito difícil produzir uma escola justa em uma sociedade muito injusta. Além disso, as condições socioeconômicas muito iníquas e sistemas educacionais segregados limitam as possibilidades da política educacional. Ou seja, em contextos socioeconômicos adversos, é mais “caro” (em dinheiro, insumos, esforço docente, gestão etc) para a política educacional produzir um mesmo desempenho, porque ela tem que compensar a precariedade de recursos materiais e não materiais das famílias, inclusive o capital cultural além de produzir esforços de integração e de enfrentamento à estigmatização maiores. O que não acontece em sociedades que podem contar com contextos familiares com pais escolarizados, recursos educacionais e físicos adequados e tempo disponível para apoiar os estudantes. No final das contas, a luta por uma educação de qualidade é indissociável da luta por uma sociedade mais justa e igualitária. Uma não será exitosa sem a outra.
Autor: Bruno Lazzarotti Diniz Costa
*O Observatório das Desigualdades é um projeto de extensão. O conteúdo e as opiniões expressas não refletem necessariamente o posicionamento da Fundação João Pinheiro ou do CORECON – MG
Referências
[2] https://download.inep.gov.br/acoes_internacionais/pisa/resultados/2022/pisa_2022_brazil_prt.pdf
[3] https://www.oecd.org/publication/pisa-2022-results/country-notes/brazil-61690648/#section-d1e17
[4] https://doi.org/10.1787/888934131880
[6] https://doi.org/10.1787/888934131823
