por Robert Slavin | out 3, 2019 | Educação Infantil, Ensino Fundamental, Gestão escolar, Inovação no Ensino, Pesquisas em educação, Políticas Públicas
“Não se pode fazer uma bolsa de seda da orelha de uma porca”. Surgido nos Estados Unidos do século 16, o ditado significa que não dá pra criar algo de alta qualidade se a matéria-prima é de baixa qualidade. No entanto, na política educacional, constantemente tentamos chegar a ótimos resultados por meio de programas pedagógicos com pouca ou nenhuma eficácia – mesmo quando há alternativas muito melhores e com amplo respaldo.
Veja que não estou criticando os(as) professores(as), eles(as) fazem o melhor que podem. O que me preocupa é a qualidade desses programas pedagógicos e de formação profissional que os professores recebem para ajudá-los a ter sucesso com os(as) alunos(as).
Um excelente exemplo disso é uma série de repasses financeiros, chamados de SIGs, feito pelo programa No Child Left Behind (NCLB), lei de responsabilidade educacional americana criada em 2002. Grandes volumes de recursos foram repassados às escolas de menor desempenho em vários estados.
Durante a maior parte de sua existência, os SIGs exigiam que as escolas que buscavam financiamento escolhessem entre quatro modelos. Dois deles raramente eram escolhidos – fechamento (school closure) e a transformação da escola no modelo charter (escola privada que é paga pelo governo). Em vez disso, a maioria das escolas optou pelos modelos virada (substituindo o diretor e ao menos 50% da equipe) ou a mais popular, transformação (substituindo o diretor, usando dados para informar instruções, prolongando o dia ou o ano letivo, e avaliação de professores com base no crescimento dos resultados de seus alunos).
No entanto, uma avaliação em larga escala do SIG feita pela consultoria Mathematica (em inglês) não mostrou benefícios para as escolas que receberam subsídios do SIG, em comparação com escolas semelhantes que não receberam. A SIG gastou mais de US$ 7 bilhões, uma quantia que nós aqui em Baltimore (EUA), pelo menos, consideramos muito dinheiro. A tragédia, no entanto, não é apenas o desperdício de dinheiro, mas também de tantas esperanças de melhorias significativas.
É aqui que entra a analogia da bolsa de seda/orelha da porca. As escolas que recebiam os SIG eram forçadas a escolher entre opções sem eficácia comprovada, algumas até mesmo ineficazes. Se não se tem evidências, por que esperar que os resultados sejam positivos?
Evidências sobre school closure mostram que essa estratégia diminui o desempenho do aluno por alguns anos, após os quais esse desempenho retorna para o ponto anterior. Uma pesquisa recente (em inglês) sobre escolas charter encontrou um efeito nulo (effect size) para charters. A exceção são escolas charter que usam a metodologia no excuses (“sem desculpas”). As escolas dos modelos “virada” e “transformação” exigem uma mudança de diretor, o que é caótico e, até onde sei, não há provas de que melhore o desempenho dos(as) estudantes. O mesmo acontece com a substituição de pelo menos 50% dos professores. Muito caos, nenhuma prova de eficácia. Verificou-se que os outros elementos necessários do modelo de transformação não têm impacto, como por exemplo fazer avaliações de benchmark para informar os professores sobre o progresso (Inns et al., 2019), ou pequenos efeitos, como prolongar o dia ou o ano escolar (Figlio et al., 2018).
O mesmo acontece com a substituição de pelo menos 50% dos professores. Muito caos, nenhuma prova de eficácia. Verificou-se que os outros elementos necessários do modelo de transformação não têm impacto, como por exemplo fazer avaliações de benchmark para informar os professores sobre o progresso (Inns et al., 2019), ou pequenos efeitos, como prolongar o dia ou o ano escolar (Figlio et al., 2018).
Mais importante, ao meu ver, é que ninguém nunca fez uma avaliação de todo o modelo de transformação, com todos os componentes incluídos. Não descobrimos qual era o efeito conjunto até o estudo feito pela consultoria. E adivinha só? Não dá para costurar uma bolsa de seda com orelhas de porcas.
Com uma fração dos US$ 7 bilhões, o Departamento de Educação dos Estados Unidos poderia ter encontrado e testado vários programas feitos com base em evidências científicas e, em seguida, oferecido às escolas SIGs os que funcionassem melhor. Uma seleção de bolsas de seda 100% pura. Não parece uma ideia melhor?
Leia mais
Robert Slavin’s Blog: Por que não o melhor?
Nos próximos posts, falarei mais sobre como o governo federal americano poderia garantir o sucesso de iniciativas educacionais, permitindo que as escolas tenham acesso a recursos federais para adotar e implementar programas pedagógicos comprovados, criados para atingir os objetivos das nossas leis.
Referências
Figlio, D., Holden, K. L., & Ozek, U. (2018). Do students benefit from longer school days? Regression discontinuity evidence from Florida’s additional hour of literacy instruction. Economics of Education Review, 67, 171-183.
Inns, A., Lake, C., Pellegrini, M., & Slavin, R. (2019). A synthesis of quantitative research on programs for struggling readers in elementary schools. Available at www.bestevidence.org. Manuscript submitted for publication.
Tradução: Danilo Aguiar/Américo Amorim.
Diretor do Centro de Pesquisa e Reforma em Educação da Universidade Johns Hopkins. Ph.D. em Relações Sociais pela Universidade Johns Hopkins, Dr. Slavin é autor ou co-autor de 24 livros e mais de 300 artigos e capítulos de livros sobre reformas na educação baseada em evidências e diversos outros temas relacionados.
por Robert Slavin | set 23, 2019 | Educação Infantil, Ensino Fundamental, Gestão escolar, Inovação no Ensino, Pesquisas em educação, Sem categoria
A partir de hoje, você confere aqui no Blog da Escribo conteúdos exclusivos do educador e psicólogo americano Robert Slavin, pesquisador de políticas educacionais. Ele também é diretor do Centro de Pesquisa e Reforma em Educação da Universidade Johns Hopkins, referência internacional na formação de educadores e pesquisadores educacionais. Neste primeiro texto, Slavin fala sobre a importância de estimularmos a pesquisa e a aplicação de evidências científicas para melhorar cada vez mais a educação.
Tradução: Danilo Aguiar/Américo Amorim.
Em 1879, Thomas Edison inventou a primeira lâmpada. O principal problema que ele enfrentou foi encontrar um filamento que brilhasse, mas não queimasse muito rapidamente. Para encontrá-lo, ele testou mais de 6.000 substâncias que poderiam ser usadas nos filamentos. O algodão carbonizado funcionou muito melhor do que todos os outros (o tungstênio, que usamos atualmente, surgiu muito depois).
A luz incandescente mudou o mundo, claro. Ela substituiu sistemas de iluminação a gás muito mais caros e era muito mais versátil. A lâmpada permitiu fazermos todo tipo de atividade humana de tarde e de noite.
Mas se a lâmpada tivesse sido uma inovação educacional, provavelmente seria vista como uma falha enorme. Os céticos diriam que apenas um em cada seis mil filamentos funcionava. Os pesquisadores teriam calculado que o effect size para todas as 6.000 substâncias seria de apenas +0,000000001. Dificilmente valeria a pena adotar essa inovação (a lâmpada). Se os experimentos de Edison fossem financiados pelo governo, os políticos teriam reclamado que o dinheiro dos contribuintes foi desperdiçado em 5.999 testes. Os economistas teriam calculado as taxas de custo-benefício e concluído que, mesmo que a luz de Edison funcionasse, o custo de fabricar somente uma já era astronômico, sem mencionar o custo incalculável da instalação de sistemas de geração e fiação elétrica nas cidades.
Tudo isso é ridículo, você deve estar dizendo. Mas no mundo da educação baseada em evidências, coisas parecidas acontecem o tempo todo. Em 2003, Borman et al. fez uma meta-análise de 300 estudos que avaliaram 29 projetos de reforma no sistema educacional. Eles identificaram três estudos que foram muito eficazes. Em vez de celebrá-los e divulgá-los (e continuar a pesquisa e desenvolvimento para achar mais deles), o Congresso dos EUA encerrou o financiamento para a disseminação de programas abrangentes de reforma escolar.
Outra prática comum em educação é usar os resultados médios obtidos em meta-análises de toda uma categoria de programas ou políticas, ignorando o fato de que existem alguns programas que são muito diferentes e muito mais eficazes do que a média de todos os programas. Um bom exemplo são as escolas charter (escolas privadas financiadas por recursos públicos). Em uma meta-análise de larga escala, pesquisadores de Stanford (2013) descobriram que na média as escolas charter não produzem efeitos significativos. Uma análise feita em 2015 encontrou effect sizes melhores, mas ainda muito pequenos, nas redes de escolas urbanas (ES = +0,04 na leitura, +0,05 em matemática). Em 2010, a What Works Clearinghouse publicou um artigo após encontrar resultados negativos, porém discretos, em escolas charter do ensino médio. Essas descobertas são úteis porque nos mostram que as escolas charter não são mágicas nem obtêm resultados positivos somente porque são charter. Apesar disso, as descobertas não dizem nada sobre as escolas charter que são extraordinárias e que usam métodos que outras escolas públicas (inclusive não charter) também poderiam usar. Há evidências mais fortes ligadas a escolas com a política “sem desculpas”, como os programas educacionais KIPP e Success Academies (em inglês), mas entre os milhares de escolas do tipo existentes agora, esse é o único formato que vale a pena replicar? Deve haver algumas “luzes brilhantes” entre todas essas “lâmpadas”.
Como um terceiro exemplo, existem muitos programas de tutoria usados por alunos com dificuldades em leitura e matemática. O tamanho médio dos efeitos de todas as formas de tutoria é de cerca de +0,30, tanto na leitura quanto na matemática. Mas existem abordagens de tutoria de leitura com tamanhos de efeito de +0,50 ou mais. Se esses programas estão disponíveis, por que as escolas não adotariam os melhores programas? Escolher práticas pedagógicas “medianas” é útil para fins de pesquisa, já que sempre calculamos custos e possibilidades, mas eu acreditava que toda escola iria querer usar o melhor para as crianças por um bom custo-benefício.
Eu sempre ouvi professores e diretores dizerem que “os pais nos enviam os melhores filhos que eles têm”. Sim, eles fazem isso, e por esse motivo, é nossa responsabilidade como educadores oferecer a esses jovens os melhores programas que pudermos. Costumamos descrever a educação dos alunos como esclarecedora, como “ acender a lâmpada da sabedoria”. Talvez a melhor maneira de criar um pouco mais de luz seja pegar uma idéia de Edison, o grande mestre: experimente incansavelmente até encontrar o que funciona. Aí então, use o melhor que tiver.
Referências
Borman, G.D., Hewes, G.M., Overman, L.T. & Brown, S. (2003). Reforma e aproveitamento escolar abrangentes: uma meta-análise. Revisão da Pesquisa Educacional, 73 (2), 125-230.
Diretor do Centro de Pesquisa e Reforma em Educação da Universidade Johns Hopkins. Ph.D. em Relações Sociais pela Universidade Johns Hopkins, Dr. Slavin é autor ou co-autor de 24 livros e mais de 300 artigos e capítulos de livros sobre reformas na educação baseada em evidências e diversos outros temas relacionados.
Comentários