Robert Slavin: Evidência e política: se você quer fazer uma bolsa de seda, por que não usar… seda?

Robert Slavin: Evidência e política: se você quer fazer uma bolsa de seda, por que não usar… seda?

“Não se pode fazer uma bolsa de seda da orelha de uma porca”. Surgido nos Estados Unidos do século 16, o ditado significa que não dá pra criar algo de alta qualidade se a matéria-prima é de baixa qualidade. No entanto, na política educacional, constantemente tentamos chegar a ótimos resultados por meio de programas pedagógicos com pouca ou  nenhuma eficácia – mesmo quando há alternativas muito melhores e com amplo respaldo.

Veja que não estou criticando os(as) professores(as), eles(as) fazem o melhor que podem. O que me preocupa é a qualidade desses programas pedagógicos e de formação profissional que os professores recebem para ajudá-los a ter sucesso com os(as) alunos(as).

Um excelente exemplo disso é uma série de repasses financeiros, chamados de SIGs, feito pelo programa No Child Left Behind (NCLB), lei de responsabilidade educacional americana criada em 2002. Grandes volumes de recursos foram repassados às escolas de menor desempenho em vários estados. 

Durante a maior parte de sua existência, os SIGs exigiam que as escolas que buscavam financiamento escolhessem entre quatro modelos. Dois deles raramente eram escolhidos – fechamento (school closure) e a transformação da escola no modelo charter (escola privada que é paga pelo governo). Em vez disso, a maioria das escolas optou pelos modelos virada (substituindo o diretor e ao menos 50% da equipe) ou a mais popular, transformação (substituindo o diretor, usando dados para informar instruções, prolongando o dia ou o ano letivo, e avaliação de professores com base no crescimento dos resultados de seus alunos). 

No entanto, uma avaliação em larga escala do SIG feita pela consultoria Mathematica (em inglês) não mostrou benefícios para as escolas que receberam subsídios do SIG, em comparação com escolas semelhantes que não receberam. A SIG gastou mais de US$ 7 bilhões, uma quantia que nós aqui em Baltimore (EUA), pelo menos, consideramos muito dinheiro. A tragédia, no entanto, não é apenas o desperdício de dinheiro, mas também de tantas esperanças de melhorias significativas.

É aqui que entra a analogia da bolsa de seda/orelha da porca. As escolas que recebiam os SIG eram forçadas a escolher entre opções sem eficácia comprovada, algumas até mesmo ineficazes. Se não se tem evidências, por que esperar que os resultados sejam positivos?

Evidências sobre school closure mostram que essa estratégia diminui o desempenho do aluno por alguns anos, após os quais esse desempenho retorna para o ponto anterior. Uma pesquisa recente (em inglês) sobre escolas charter encontrou um efeito nulo (effect size) para charters. A exceção são escolas charter que usam a metodologia no excuses (“sem desculpas”). As escolas dos modelos “virada” e “transformação” exigem uma mudança de diretor, o que é caótico e, até onde sei, não há provas de que melhore o desempenho dos(as) estudantes. O mesmo acontece com a substituição de pelo menos 50% dos professores. Muito caos, nenhuma prova de eficácia. Verificou-se que os outros elementos necessários do modelo de transformação não têm impacto, como por exemplo fazer avaliações de benchmark para informar os professores sobre o progresso (Inns et al., 2019), ou pequenos efeitos, como prolongar o dia ou o ano escolar (Figlio et al., 2018).

O mesmo acontece com a substituição de pelo menos 50% dos professores. Muito caos, nenhuma prova de eficácia. Verificou-se que os outros elementos necessários do modelo de transformação não têm impacto, como por exemplo fazer avaliações de benchmark para informar os professores sobre o progresso (Inns et al., 2019), ou pequenos efeitos, como prolongar o dia ou o ano escolar (Figlio et al., 2018).

Mais importante, ao meu ver, é que ninguém nunca fez uma avaliação de todo o modelo de transformação, com todos os componentes incluídos. Não descobrimos qual era o efeito conjunto até o estudo feito pela consultoria. E adivinha só? Não dá para costurar uma bolsa de seda com orelhas de porcas.

Com uma fração dos US$ 7 bilhões, o Departamento de Educação dos Estados Unidos poderia ter encontrado e testado vários programas feitos com base em evidências científicas e, em seguida, oferecido às escolas SIGs os que funcionassem melhor. Uma seleção de bolsas de seda 100% pura. Não parece uma ideia melhor?

Leia mais

Robert Slavin’s Blog: Por que não o melhor?

Nos próximos posts, falarei mais sobre como o governo federal americano poderia garantir o sucesso de iniciativas educacionais, permitindo que as escolas tenham acesso a recursos federais para adotar e implementar programas pedagógicos comprovados, criados para atingir os objetivos das nossas leis.

Referências

Figlio, D., Holden, K. L., & Ozek, U. (2018). Do students benefit from longer school days? Regression discontinuity evidence from Florida’s additional hour of literacy instruction. Economics of Education Review, 67, 171-183.

Inns, A., Lake, C., Pellegrini, M., & Slavin, R. (2019). A synthesis of quantitative research on programs for struggling readers in elementary schools. Available at www.bestevidence.org. Manuscript submitted for publication.

Tradução: Danilo Aguiar/Américo Amorim.