Mostrando postagens com marcador Avaliação de Políticas Públicas. Mostrar todas as postagens
Mostrando postagens com marcador Avaliação de Políticas Públicas. Mostrar todas as postagens

quinta-feira, 14 de julho de 2011

O Mistério dos Benefícios Perdidos

Um dos textos must-read mais mencionados na área de Avaliação de Programas Sociais é o artigo do professor Martin Ravallion do Banco Mundial: "The Mystery of Vanishing Benefits: Ms Speedy Analyst's introduction to Evaluation". O texto conta as peripécias da senhorita Speedy Analyst, uma aluna recém-formada que acabou de entrar no ministério da fazenda. A história se passa em um país fictício, LABAS e o secretário-chefe de Speedy planeja avaliar um programa de Transferência de Renda Condicionada e passa essa tarefa a promissora Srta. Speedy.

Em 2009, aqui na Fundação João Pinheiro, tomei a frente de uma matéria denominada "Avaliação Social de Projetos". Essa matéria tinha sido reformatada e sua roupagem estava a par com o que de mais novo era ensinado na área. Havia portanto uma demanda por textos didáticos em português (apesar de haver muitos artigos em avaliação de políticas públicas, há muito poucos textos didáticos em português nessa área, e olha que o texto do Ravallion no WBER já tem mais de 10 anos). Conto um pouco da história em uma curta nota inicial da tradução.

Pensei até em fazer uma versão com gravuras e cartuns, mas não teria tempo para transformar e adaptar o texto. Estou disponibilizando o texto em PDF:

O Mistério dos Benefícios Perdidos - Tradução.

Link da publicação original em inglês:

world.bank

domingo, 24 de abril de 2011

Glossário de Termos de Avaliação de Políticas Públicas

Na última semana ministrei dois cursos na Universidade Federal de Viçosa (UFV). Fui à convite da profa. Suely Ramos do depto de Administração. Foi uma experiência extremamente positiva, tanto pelo empenho dos alunos quanto pela receptividade de todos. Um dos cursos, o mini-curso de Marco-Lógico, foi ministrado pela 5ª vez, no que pude colher boas experiências.

Desde o momento em que comecei a disciplina de Avaliação Social de Projetos no curso de graduação de administração pública da Fundação João Pinheiro, senti uma necessidade de um dicionário de termos específicos para aquela disciplina. Isso porque os alunos eram rapidamente inseridos no contexto específico da avaliação de programas e ficavam perdidos, essa área possui um jargão muito próprio. Necessitavam entender rapidamente o que estava sendo dito. Comecei, então, a elaborar uma versão incipiente deste glossário.

Nesse meio tempo, durante um workshop de avaliação de políticas públicas patrocinado pelo FEEI - Fondo Español de Evaluación de Impacto e organizado pelo Banco Mundial, conheci o dicionário da Christel Vermeersch, economista headchief do BM. O dicionário dela mostrou que ter um apanhado de termos para os iniciantes era uma boa idéia identificada por muitos. Pude então me sentir estimulado a dar continuidade ao término do dicionário.

Antes então da 5ª edição do curso, finalizei o dicionário. O resultado pode ser ainda refinado, sendo que conto com a sugestão de colegas da área. Aproveito a oportunidade para divulgar o apoio que tive nas edições anteriores. Aproveitei a oportunidade para fazer o upload de versões recentes das aulas. Agradeço à FEE - Fundação de Economia e Estatística do RS, à sefaz-RS, que apoiaram os empreendimentos iniciais nos seminários de Avaliação da Qualidade do Gasto. Ao pessoal da Rede Brasileira de Monitoramento e Avaliação e ao Banco do Nordeste que organizou a segunda edição do seminário da rede, à Escola de Governo da Fundação João Pinheiro, ao BDMG - Banco de Desenvolvimento de Minas Gerais, que me deu oportunidade de formatar a quarta versão do curso para seu quadro técnico de diretores. E finalmente ao dpto de Administração da UFV, que possibilitou o formato atual.

Um detalhe, em breve, divulgarei aqui a tradução que fiz para o famoso texto do prof. Martin Ravallion "The Mystery of Vanishing Benefits". Também no intuito de divulgar essa cultura de avaliação para iniciantes.

sábado, 26 de junho de 2010

Efeito Jabulani


A bola da atual copa do mundo desde o começo das disputas tem dado o que falar. A pergunta que não quer calar é: "Qual efeito uma bola pode ter nos resultados dos jogos?" Ao que me parece, a Jabulani é uma bola tecnológica. Dentro das especificações mínimas de peso, ela foi feita para ser mais leve e mais "viva" e com isso dar mais agilidade aos jogos e balançar mais vezes as redes. Parece que realmente ela tem dado trabalho aos goleiros, feitos uns e outros frangueiros passarem por alguns vexames.

Até o momento em que estamos, no primeiro jogo das oitavas de finais (Uruguai ganhou de 2x1 da Coréia do Norte), essa copa da África do Sul está conseguindo superar a copa de 1990 em baixa média de gols. A copa da Itália é conhecida como a copa que teve a menor média histórica de gols por partida, apenas 2,21. Entre os analistas de futebol, o que mais ajuda explicar a baixa média de gols da copa de 90 foi uma mudança tática do esporte, os times passaram a valorizar atletas com muito preparo que corriam o campo todo e se defendiam bem, o gol era o detalhe do contra-ataque. A copa de 1990 foi um evento pontual, a média de gols em copas do mundo vêm caindo com mais força desde 1958, que foi o ano do primeiro título do Brasil.

Nessa copa há a questão da nova bola. Nos jogos estão comuns os erros de passes e chutes errados pra fora do gol, chutes que parecem ser devidos a uma falta de adequação entre a prática dos jogadores e as características da nova bola. Aparentemente mais ágil, ela requer mais técnica e menos força. Foram vistos muitos escanteios em que a bola cruzou toda a grande área.

Sem dúvida há um pequeno efeito Jabulani (mínimo mesmo), mas como poderiamos medi-lo com precisão? Essa é uma questão importante e recorrente nas ciências sociais. Não existe contrafactual, ou o contrafactual não faz muito sentido. Imagine que para testar a nova bola alguns jogos fossem realizados com a Jabulani e outros realizados com a Teamgeist (bola da copa anterior). Ao final da copa comparariamos a média de gols por partidas obtidos com cada uma das bolas e veriamos se essa diferença é estatisticamente significativa.

Eu acredito que muito provavelmente não haveria diferença nenhuma, mas o fato é que a mesma bola é usada indistintamente em todas as partidas, então não há como fazer essa comparação. Só dá pra fazê-la daqui em diante, comparar essa copa com as copas seguintes. Se uma bola parecida com a Jabulani for usada na copa do Brasil em 2014, como será a média de gols? Maior, menor ou igual a atual? E se comparássemos a Jabulani com aquelas antigas bolas de couro dos anos 50, será que ainda assim não teriamos diferença?

O ex-jogador Sócrates quer defender um mestrado com uma tese um tanto excêntrica: ele quer mudar o número de jogadores de 11 para 9 (8 além do goleiro). Na verdade, o economista Mario Henrique Simonsen já tinha sugerido uma brincadeira como essa durante a copa de 1990. Sócrates pretende medir algumas características do jogo com e sem essa intervenção, um dia eu assisti entrevista em que ele fala que precisaria de dinheiro e mais ou menos uns trezentos jogos com jogadores profissionais para ver se a medida realmente resultaria naquilo que gostamos de ver: mais dribles, mais movimentação e mais gols. Essa é uma medida mais dramática do que a simples mudança de bola, provavelmente os impactos para o esporte serão tremendos, resta saber se favoráveis.


Mesmo no exemplo mencionado de jogos com Jabulani e jogos com outra bola, a comparação não seria nada fácil. Um jogo Brasil e Portugal não tem as mesmas características de Portugal e Coréia do Norte. Como comparar jogos entre seleções diferentes? As características influentes no resultado de uma partida são tantas que a comparação seria um tanto impossível mesmo se tivessemos Portugal e Brasil (com Jabulani) e Portugal e Brasil (sem Jabulani). Há inumeras variáveis não observáveis. Digamos que a primeira partida fosse o micho 0x0 que ocorreu de fato e a segunda fosse 3x3. Ainda não seria possível creditar o efeito de 6 gols à outra bola. Podem ser circuntânicas outras: time reserva, esquema tático, sorte, gramado, chuva... E se pudessemos fazer vários jogos, 30 por exemplo?

Aí, talvez...

Para as características do futebol teriamos de observar muito mais jogos. É caro e despropositado ver seleções como Portugal e Brasil se enfrentarem 300 vezes apenas pra ver se a tal da bola tem efeito ou não. Elas jogariam por jogar, para fazer número, extremamente diferente dos interesses postos em uma copa. No caso, a Adidas e a FIFA poderiam fazer isso com dois times genéricos pagos para fazer partidas-teste, sem substituições. Depois ampliar o teste para mais times. Mesmo para a empresa e para a FIFA, principais interessadas, isso seria muito caro. Mais caro ainda (menor relação benefício/custo) se o efeito fosse pequeno.

Na natação fez sucesso o novo maiô LZR da speedo, tanto que a suspeita de que ele poderia ter efeito no tempo dos atletas levou a FINA (Federação Internacional de Natação) a suspender o maiô em algumas competições, nem todos os atletas o tinham e dispunham de recursos para comprar. Mesmo aí, levantou-se questionamentos sobre os verdadeiros efeitos do maiô, os testes realizados poderiam não ser suficientes. Paira ainda a dúvida. Mas esse é mais um interessante exemplo de como os recursos tecnológicos podem fazer a diferença no esporte.

Para finalizar a polêmica da bola: ao que me parece, a diferença que pode ser creditada a ela é mínima. Mesmo que a média mais baixa de gols por jogos dessa copa se confirme, isso não é efeito da bola ou da pouca adaptação de alguns jogadores à ela, mas sim uma flutuação em torno da média de 2,5 gols por partida que é o normal das últimas três décadas.

E aí?! Será que vale a pena adotar a sugestão nada ortodoxa do Sócrates?

quinta-feira, 24 de junho de 2010

Mini-Curso de Marco Lógico da II Rede Brasileira de Monitoramento e Avaliação

Semana passada realizou-se em Fortaleza, CE no centro de Treinamento do Banco do Nordeste, o II Seminário da Rede Brasileira de Monitoramento e Avaliação. O seminário contou com apoio de várias instituições e com a participação de novos palestrantes que avaliaram as experiências de monitoramento em avaliação em várias instituições, públicas federais, estaduais e privadas. É importante que a cultura da avaliação e monitoramento esteja tomando corpo no Brasil e a nossa rede de M&A venha se fortalecendo cada vez mais.

Neste seminário, fui convidado pelo João Pedro Azevedo do Banco Mundial para ministrar um pequeno curso de marco-lógico. Apesar de não ser muito grande esse curso foi um desafio, o Marco-Logico de programas tem sido relegado a segundo plano dentro de diversas políticas existentes. Em parte isso se deve a pouca divulgação e conceituação do que vem a ser marco lógico. Há vasta literatura sobre marco-lógico e desenho porém grande parte dos textos concentra seu enfoque na área de pesquisas e avaliações, pouco há sobre a aplicação real disso nos programas.

Para construção do curso tive de adaptar o marco-logico que encontramos geralmente direcionados à pesquisa e fazê-los de uso prático na elaboração de programas. Foram de fundamental ajuda o livro "Real World Evaluation" do Bamberguer, Rugh e Mabry, o livro da Joy Frechtling , do James Davis e o já famoso handbook da Judy Baker. (as referências estão na aula 04). Ainda assim, se minha interpretação de algum ponto estiver equivocada ou para qualquer dúvida, esclarecimento e sugestões, todos serão muito bem vindos.

Felizmente no momento atual tem se percebido o quão importante é esse tópico para a confecção de programas que atuem bem e corretamente, além da importância de um marco lógico bem estruturado para a própria avaliação se os programas estão funcionando de acordo com os objetivos inicialmente previstos. O centro de Redução da Pobreza e Gerenciamento Econômico do Banco Mundial está lançando uma nova série de publicações "Nuts and Bolts" sobre o que está por dentro da implementação dos programas, envolvento M&A e sesign e Marco-Lógico.

Nesse mini-curso pude contar com essencial ajuda da Lycia Lima e do Pedro Olinto, ambos do Banco Mundial. Abaixo seguem a pequena ementa do curso e os quatro power-points.

Descrição: Esse mini-curso objetiva a conceituar Marco Lógico (ML) como uma ferramenta necessária para uma boa avaliação de programas. Para isso será observado como o ML está inserido no planejamento estratégico de longo prazo e quais são as cinco precondições para existência de um programa, assim como os obstáculos e restrições impostas à avaliação. Uso de definições claras e demarcadas para os objetivos e métodos do programa, avaliação da literatura pertinente e do ambiente institucional. Etapas de Desenho, montagem e elaboração do ML para um programa social. O Framework recursivo: como avaliações anteriores, o monitoramento e o feedback dos agentes, podem ajudar na recuperação do ML. Aplicações práticas dos modelos de ML.









Thats All, Folks, Thanks!

terça-feira, 6 de abril de 2010

Video Game e Dever de casa

Li uma interessante e curta matéria no blog marginal revolution sobre um programa Romeno que distribui computadores para famílias pobres. A breve matéria mostra que o programa aumentou o número de computadores nas famílias pobres e perguntou se as crianças usam esses computadores para fazer o dever. A resposta é que não, aparentemente nenhuma mudança.

Aos amigos comentei assim a reportagem:

Interessante!

Porém, meio cedo para afirmar se as consequências do programa serão positivas ou não. Do ponto de vista individual e imediato daqueles que receberam, receber o computador foi uma melhoria, já que eles não revenderam. Ou melhor, a maioria daquelas pessoas desejava um computador, só não tinham dinheiro para comprar.

Uma comparação interessante que foi perdida aí foi de saber se as crianças fazem o dever, independente de ser no computador ou não. Pois com ou sem computador esse percentual já deve ser baixo. E pode ser que a maioria das crianças ainda façam seu dever sem computador, mesmo as que possuem. E teria que ver se o jogo substituiu fazer a lição de casa, estimulou ou indiferente.

Pelo que foi mostrado parece-me que já não faziam o dever e o computador serviu mesmo para aumentar os joguinhos. Sou plenamente a favor do uso didático de video-games, se aprende muita coisa com eles. Mas um pouco avesso a uma política que dá computador para as famílias, apesar de acreditar nos benefícios. Gostaria de ver as justificativas do programa, porque o dinheiro do contribuinte deveria ir para bens de uso privado?

quinta-feira, 19 de novembro de 2009

Desenho do Programa?!

Uma área importante da Avaliação de Programas é o estudo do Marco Lógico, ou do chamado Desenho do Programa. Isso quer dizer um plano geral para o programa seguir, mas mais do que isso, o desenvolvimento de questões relacionadas, um plano lógico de contenção de quais os insumos necessários e quais os produtos pretencem a sua função-objetivo. Em setembro desse ano participei do II seminário sobre Qualidade do Gasto Público promovido pela Secretaria da Fazenda do Rio Grande do Sul. Foi uma excelente oportunidade para falar sobre Marco Lógico. Segue o Slides (No Link há também as demais apresentações, vale a pena conferir).

Essa apresentação só foi possível graças ao bom livro do prof. Michael Bamberger, Jim Rugh, Linda Mabry, o Real World Evaluation. O Bamberger veio à Fundação João Pinheiro em 2008. Além disso, agradeço a Lycia Lima que me passou a dica do livro e por dois slides que usei da aula de Avaliação Social de Projetos do curso de Adminitração Pública da FJP.




E em Junho, tivemos pela Fundação João Pinheiro, FAPEMIG e Banco Mundial, o II Seminário da Rede Brasileira de Monitoramento e Avaliação. Lá tive a idéia da charge abaixo, é meio Calvin e Haroldo, minha intenção era colocá-la logo no final da apresentação aí de cima, mas não tive tempo de digitalizar a imagem que ficou lá na sala. Só hoje consegui e com efeito, publico a charge aqui. Uma dica aos interessados na avaliação de programas é filiar-se à Rede Brasileira de Monitoramento e Avaliação, para entrar em contato com pesquisadores do Brasil e internacionais que se dedicam ao tema. A filiação é de graça, basta apenas colocar a intituição a que pertence e aguradar aprovação do moderador. Bons estudos!

domingo, 15 de novembro de 2009

Sete Mitos sobre a Educação

A Educação é tema muito explorado pelos economistas, o interesse pelo assunto vem desde A. Smith e outros autores clássicos. No século XX essa área cresceu bastante, tanto que as diversas contribuições dos economistas são levadas em conta por as outras áreas que dedicam ao assunto, inclusive na pedagogia.

A tradição sobre a pesquisa no assunto está relacionada com a importância do trabalho para a constituição do valor para a sociedade. O fator humano é essencial para a construção de uma sociedade mais pujante, isso se reflete no PIB e em diversos indicadores sociais que os economistas usam para monitorar e promover o progresso cultural e econômico da sociedade. A educação é componente essencial do trabalho, a criação humana se inspira tanto na criatividade quanto no conhecimento. Uma sociedade ou pais se torna mais próspera quando sabe gerar e aproveitar novos conhecimentos produtivos e idílicos e quando consegue incorporá-los com rapidez e facilidade.

Na última segunda-feira, a Folha de S. Paulo enumerou sete itens, chamados de "mitos", sobre o que pode ser feito para melhorar a qualidade da educação. Para o Brasil essa questão é muito importante, pois além de ser um dos gargalos para o melhor desenvolvimento do país, há inúmeros problemas que precisam ser equacionados para se conseguir um melhor patamar de educação, condizente com países que possuem maior sucesso nesse campo.

Em minha dissertação, estudei o que pode ajudar na formação das melhores e mais eficientes escolas (ou seja, aquelas escolas que conseguem ajudar seus alunos de melhor maneira possível, tendo como referência provas de proficiência em matemática e português). Um dos pontos levantados é que escolas com infraestrutura básica são essenciais para o bom ensino, entretanto, aumentar o 'capital' das escolas per si não garante melhor desempenho como afirma a matéria do jornal. Em artigo síntese escrito para Política Econômica Aplicada, mostramos que alguns itens de infraestrutura em demasia, como televisores, video-cassete, salas multimídia, entre outros, atrapalham o desempenho da média dos alunos. A tese é de que muito provavelmente são itens subaproveitados ou desperdiçados. Na contramão dessa evidência, a presença de computadores e laboratórios parece sim contribuir para um desempenho positivo, mesmo quando a presença dos consumidores ocorre apenas para fins administrativos.

Mas nenhuma solução para a educação é de curto prazo, reproduzo aqui então, os mitos apontados pela folha que apontam pesquisas feitas por vários pesquisadores da área de educação (inclusive economistas) que ajudam a entender o tema, mas não exaurem o assunto nem esgotam as possibilidades de solução. Creio que um dos pontos que faltou ser apontado é o aspecto de gerenciamento das escolas públicas que pode ajudar a explicar muito o papel dessas instituições no Brasil.

Eis aqui os 7 Mitos na Educação:

1. Só pagar melhor o professor já melhora o aprendizado. Pesquisas Nacionais e internacionais indicam que não há relação entre salário do professor e o aprendizado dos alunos no curto prazo, já que não há impacto imediato na maneira de como o professor ensina. No entanto, no longo prazo, alguns especialistas em educação afirmam que isso pode tornar a carreira de professor mais atraente, estimulando os melhores alunos do ensino médio a seguirem essa profissão.

2. Melhorar a Infraestrutura da Escola tem impacto positivo no desempenho dos alunos. Na avaliação de alunos da oitava série na Prova Brasil de 2007, de 14 CEU's avaliados, 9 tiveram nota menor que a média da rede municipal de São Paulo. Uma das hipóteses é que, sem ter professores preparados para ensinar melhor, dispor de facilidades como piscina, teatro e recursos tecnológicos não traz avanço no aprendizado dos alunos.[1]

3. A progressão continuada contribui para piorar a qualidade do Ensino. Nesse sistema, o aluno não está sujeito a repetência ao fim de cada série, mas ao fim de cada ciclo. Segundo pesquisa de Naércio Menezes Filho, os alunos das redes com progressão continuada têm desempenho muito parecido ao dos alunos de escolas com regime seriado. "Além disto, a evasão é muito maior no segundo caso (seriado). [2]

4. Cursos de reciclagem para professores ajudam a melhorar o ensino. Estudos feitos no Brasil e no exterior mostram que os professores que fizeram os chamados cursos de formação continuada não passaram a ensinar melhor. Isso porque eles são muito teóricos e influenciam muito pouco na melhoria do ensino em sala de aula. Mozart Neves, presidente do Todos pela Educação e professor da UFPE, ressalta que o mais indicado seria melhorar a formação nas universidades.

5. Gastar mais com educação é suficiente para aumentar o aprendizado dos alunos. De acordo com levantamento feito por Menezes Filho, municípios que gastam R$ 1.000,00 por aluno no ensino fundamental têm a mesma nota na Prova Brasil do que municípios que gastam R$ 3.000,00. O economista Gustavo Ioschpe lembra ainda que, na maioria dos casos, aumentar os gastos com educação significa elevar os salários dos professores, que não é algo que dá resultados.[3]

6. A escola não pode ajudar filhos de famílias desestruturadas. Para aprender, o aluno deve estar bem emocionalmente, mas isso não quer dizer que a escola deve se eximir de seu papel de educar, diz Magdalena Viggiani Jalbut, do Instituto Superior de Educaçao Vera Cruz. Além disso, mesmo no caso de uma família fora do padrão (quando mãe e pai não estão interessados na educação do filho), qualquer outro parente, até um primo, pode estimular a criança a aprender, segundo estudos feitos na França citados por Maria Letícia Nascimento, da faculdade de Educação da USP.[4]

7. Sistemas de Ensino apostilados tolhem a autonomia do professor. Estudos feitos por Paula Louzano, doutora em educação pela universidade de Harvard (EUA), mostram que municípios de São Paulo que usam esses métodos estruturados (como os do COC e do antigo Anglo, com apostilas) tiveram desempenho superior na Prova Brasil, na comparação com as demais redes municipais. Em entrevista com professores que usam o sistema, 84% disseram que o desempenho melhorou e 36% que o material estimula o aprendizado.

Como podem ver é difícil formular políticas de educação para o país e tentar explicar em detalhes o que pode funcionar ou não, mas um aspecto que considero importante é que hoje educação virou um tema que preocupa a todos os brasileiros, que o vêem agora como uma das prioridades educacionais. No Brasil ponto a ponto, onde brasileiros manifestaram espontaneamente suas preocupações para o desenvolvimento do país, educação é posta em primeiro lugar. Essa "corrente pra frente" na educação, aliado ao componente populacional que tende a aliviar a pressão de recursos no ensino fundamental e médio, fará que o Brasil se torne um país mais desenvolvido nesse aspecto ajudando a superar o gargalo educacional.

[1] A matéria tratou esse ponto de maneira bem rápida, não é tão simples como o colocado. Há evidências de que computadores são de fato importantes, não só pela minha pesquisa, mas também por pesquisas feitas pela FGV. O desenho ao lado desse mito é justamente de um computador. Mas como levantei também no texto dessa postagem, grande parte desse investimento em capital das escolas não necessariamente traz altos retornos em educação. Mas no Brasil onde algumas escolas não tem água, carteiras e energia elétrica não chega, é preciso sim de algumas condições mínimas de infraestrutura.

[2] No começo de setembro tive a oportunidade de ler esse artigo do Naércio Menezes, Ligia Vasconcelos, Sergio Werlang e Roberta Biondi. Os autores mostram que além da rede de progressão continuada não prejudicar significativamente no desempenho a evasão desse sistema é significativa e menor. Então, pelo efeito econômico de quem tem ensino médio concluído garantir maior retorno salarial e de renda, a política de progressão continuada oferece um retorno maior e é desejável socialmente. Há um trade-off em questão sobre a progressão e a qualidade, dado que a progressão não prejudica a qualidade é interessante medida. Convém lembrar que o objetivo de uma boa escola não é reprovar maus alunos, mas sim elevar o nível do maior número de possível de alunos e conseguir aliar essa tarefa primeira com a outra tarefa importante de desenvolver e identificar-encaminhar os talentos individuais excepcionais. Dissertação recente da Luciana Luz da UFMG também explora esse ponto com conclusões também interessantes sobre a progressão continuada.

[3] O Brasil não gasta pouco do seu orçamento com educação, os recursos educacionais são vinculados e há ainda os repasses da União através do FUNDEB para garantir um gasto mínimo para escolas públicas com precariedade de recursos. Em porcentagem do PIB, o país gasta cerca de 4,5% do PIB com educação pública básica (fundamental e médio). Oscilando entre 4% a 5%, tal nível de gastos pode ser considerado em patamares de outros países em desenvolvimento e outros mais desenvolvidos. Uma consideração que há muito engessamento de recursos, a compra de material pelas escolas tem de ser prevista com um ano de antecedência e muitas vezes não se destina para a compra de recursos para os quais a escola mais necessita.

[4] Depois de um longo tempo denotando grande importância para condições familiares, chegando ao extremo de dizer que a escola não importava quase nada no desenvolvimento do aluno, a ciência volta a recuperar o valor da escola e a contextualizar a influencia de fatores familiares e sociais, tentado desvendar como eles atuam no papel educacional.