quarta-feira, 5 de outubro de 2011

Um pequeno modelo de Eficiência nas Universidades

Hoje foi divulgado a classificação das universidades Latino Americanas na QS, uma organização voltada a comparar instituições de ensino em todo mundo. A metodologia deles envolve diversos aspectos, uma classificação geral comparativa que eles chamam de reputação acadêmica, citação dos artigos, "paper citation", pesquisa de percepção dos estudantes e até número de ocorrências na web (web impact). 

Eu mesmo respondi esse ano à pesquisa dirigida aos estudantes. Respondi o questionário pela UFMG, onde agora faço doutorado. Na classificação da América Latina a UFMG ficou em 10º lugar, e na classificação do Brasil em terceiro, atrás apenas de USP e Unicamp, e logo acima da Universidade Nacional de Brasília (UnB, onde me graduei em economia).

Ranking de Algumas Universidades Brasileiras (de acordo com o QS):

1º  USP             11º UFPE
2º  Unicamp         12º UFSC
3º  UFMG            13º PUC-SP
4º  UnB             14º UFPR
5º  UFRGS           15º UFBA
6º  PUC-Rio         16º UFSC
7º  UNESP           17º UERJ
8º  UFRJ            18º UFV
9º  PUC-RS          19º UE Londrina
10º UFSP            20º UE Pelotas

Ao vermos esses rankings de instituições sempre surge a necessidade de relativizá-los e fica aquela pergunta: "Quem faz melhor com os recursos que tem?" Isso diz muito a respeito sobre a eficiência das universidades, pois é sabido que USP e Unicamp são as que possuem mais recursos. Em uma lista de economia, um colega rapidamente levantou os gastos das seis universidades abaixo (tenho ainda de conferir a fonte, para a Federal de Viçosa peguei informações da lei orçamentária de 2012, pois pareceu um valor mais próximo do realizado nas outras). No site do INEP, consegui as matrículas da graduação de 2009. Ao aliar com a nota do ranking temos os seguintes dados:

Tabela de Dados, 2 outputs e 1 input:
Fonte: ver arquivo excel.

Com esses dados é possível construir um modelo de eficiência de análise envoltória bem simples (DEA - Data Envelopment Analysis). Aplicando uma escala de rendimentos constantes, com poucas observações e poucos produtos e insumos, é relativamente prático construir o gráfico em uma planilha de excel. Como os valores são diferentes o gráfico tem o logaritmo dos valores multiplicados por 1.0E+8. O gráfico da fronteira de possibilidades de produção fica:

E dessa forma temos o seguinte ranking de eficiência (orientação produto):

UFRGS   = 1.00
UFV     = 1.00
UFMG    = 0.99
UFRJ    = 0.98
UnB     = 0.97
USP     = 0.90
Unicamp = 0.87

O ranking de eficiência é interessante por mostrar quem faz mais com menos. Ele ajuda nas comparações custo-benefício, ou melhor dizendo: insumo-produto. No caso, quanto melhor a qualidade dos insumos e produtos que se tem em mãos, e quanto melhor o conhecimento sobre a forma funcional da produção, melhor pode ser a análise das informações extraídas dos modelos. Um artigo referência na área sobre universidades federais é Façanha, Resende e Marinho (1997), esse link não apresenta o pdf, mas é possível pegar as referências. Nesse artigo eles encontraram que a UFRJ é eficiente por exemplo. Corbucci (2000) traz mais de uma dezena de indicadores de produtividades das universidades. Vários outros trabalhos revisitam esse tema de uma ou outra maneira. Há até um estudo sobre eficiência em Portugal de Afonso, e Afonso e Aubyn (2005) que realizam uma cross-country

Não faltam estudos nessa área, e muitos rankings de eficiência foram e ainda serão traçados para se compreender o ensino superior. O modelo simples aí acima não permite traçar maiores conclusões. Sabemos que USP e Unicamp são muito boas, mas quem sabe elas não poderiam ter resultados maiores em alunos-ano? Ou então um orçamento mais enxuto. Há muitas variáveis que não estamos captando em termos de pós-graduação e talvez USP e Unicamp não sejam tão comparáveis assim.

É isso, mais detalhes, escrevam nos comentários ou me peçam por mais referências.  
  


3 comentários:

I'm a Rock disse...

Editorial deste domingo sobre o assunto é bem pertinente (09/10/11):

http://www1.folha.uol.com.br/fsp/opiniao/fz0910201101.htm

"Posição ruim

Rankings são relativos, mas o Brasil não deveria ignorar a má colocação de suas universidades nessas listas, o que reflete problemas reais


Na semana passada, mais duas instituições que elaboram classificações internacionais de universidades divulgaram suas listagens.

Na mais abrangente delas, feita pelo britânico Times Higher Education, a USP voltou a figurar entre as 200 melhores do mundo, no 178º lugar, avanço de 54 posições em relação a 2010. Foi a única da América Latina a aparecer neste seleto grupo.

Em outro levantamento britânico -do instituto Quacquarelli Symonds-, restrito à América Latina, oito das 20 melhores instituições são brasileiras, sendo a USP a melhor da região.

Antes de lamentar a pífia presença
brasileira no mundo ou de comemorar a liderança na América Latina, convém considerar que esses rankings variam conforme os critérios que adotam.

Dependendo dos fatores considerados, e do peso dado a cada um deles, a posição de uma universidade pode variar muito. A mesma USP que está no 178º lugar pelo THE, foi considerada recentemente a 19ª melhor pelo grupo espanhol Scimago ou a 471ª pela Universidade de Leiden, da Holanda.

Se o avaliador privilegia, por exemplo, a quantidade de artigos publicados em revistas científicas, a conta é mais favorável a universidades de grande porte, caso da USP. Mas, se for dado maior peso para a repercussão desses trabalhos -medida pela quantidade de vezes que o estudo é citado em outros artigos-, as universidades brasileiras perdem posições, em parte porque publicam pouco em língua inglesa.

Dito isso, é inegável que há muito a avançar. Seria tolice esperar que, em pouco tempo, universidades brasileiras passem a rivalizar com as melhores do mundo, quase todas dos EUA e do Reino Unido.

Mas o exemplo da China, da Coreia do Sul e de Cingapura -nações com melhor desempenho que o Brasil- mostra que, mesmo distante daquele eixo, é possível ter mais instituições de ensino superior figurando entre as melhores.

A visibilidade nesses levantamentos traz prestígio e ajuda a atrair financiamento. Acomodar-se com a desculpa de que rankings são relativos e não ambicionar ter mais universidades em melhores posições seria erro grosseiro.

Incentivar a pesquisa com mais recursos é parte importante deste projeto, mas não suficiente. Vale lembrar que, considerando a média -e não só as universidades de elite-, o Brasil já gasta por aluno no ensino superior público o mesmo que a média de países ricos.

É preciso valorizar quem realiza pesquisa de qualidade e cobrar quem, acomodado com a estabilidade do emprego público, é pouco produtivo, seja quanto à formação de alunos em sala de aula, seja na produção de conhecimento novo.

Essas e outras medidas podem contribuir para aumentar a presença brasileira nas classificações, mas sem que se esperem grandes saltos."

I'm a Rock disse...

Caros, os dados de custos das Universidades são para o ano de 2010, de acordo com o executado da Lei Orçamentária Anual. Esses dados podem ser obtidos "com alguma facilidade" no http://www9.senado.gov.br/portal/page/portal/orcamento_senado/_PortalOrcamento

Tem de ir em Orçamento Anual, ano 2010, Executado. Fazer a consulta por funções e aí escolher dentro das Unidades Orçamentárias as Universidades citadas.

Observação que o valor correto para a UFV é R$ 450.821.486,00. Como isso altera muito pouco na eficiência e também pouco no gráfico, para muito trabalho na reedição do post, achei por bem deixá-lo como está.

Mas o link para o excel está atualizado. Percebi também que a planilha no google docs perde bastante suas características, incluisve o gráfico que ai está. Então, para quem quiser mais detalhes. Mande e-mail para victor.maia@fjp.mg.gov.br que mando a planilha completa, com correção, gráfico, fontes e tudo mais.

Abraços.

I'm a Rock disse...

Thanks, I'm planning back to update this blog with new information this Year, I hope :-)