Post de Fim de Ano do Economia Marginal

Amigos, 

Bem que eu queria ter postado depois de outubro até agora. Há muitos assuntos que gostaria de explorar melhor e comentar, sobre o prêmio nobel de economia desse ano tenho algo sobre o que escrever. Estou querendo ainda fazer o especial sobre previdência social, falar da produção econômica recente em assuntos de interesse. E ainda tem mais uma resenha de leitura com vários livros interessantes. Acabou que o post da cerveja teve de ser o penúltimo do ano, ser blogger não é fácil. Quando o blog conflita com outras tarefas profissionais e acadêmicas é ele que tem de esperar um pouco.

É isso, enquanto eu estiver finalizando a Tese (previsão Março/Abril) o ritmo de postagens será mais lento. Para quem gosta de mensagens de natal e músicas natalinas deem uma olhada no meu outro blog (de desenhos): I'm a Rock.

Abraços e boas festas!

The Frederick Mosteller's Subway Problem

Caros, pequeno post para informar que atualizei o algoritmo de Gale-Shapley que foi mencionado no post "problemas matemáticos interessantes", agora está funcionando perfeitamente para men proposing and women proposing (antes funcionava só até matrizes 6x6), testei até uma matriz 100x100. Está lá no R-Nabble. Também para não perder a oportunidade, segue um outro problema de metrô (uma vez considerei um problema de outra natureza aqui no blog) do livro "Fifty Challenging Problems in Probability" do Frederick Mosteller:

"Marvin sai do serviço em horários aleatórios entre 3 e 5 da tarde. Sua mãe mora no subúrbio e sua namorada no centro. Ele pega o primeiro metrô que aparece em qualquer direção e janta na companhia da pessoa que está na primeira direção do metrô que lhe aparece. Sua mãe reclama que ele nunca vai jantar com ela, mas ele diz que ela tem chance de 50-50. Ele jantou com sua mãe apenas duas vezes durante os últimos 20 dias de trabalho. Explique."

Quem estiver disposto a considerá-lo pensem aí, em breve posto a resposta. Como não podia deixar de ser esse problema lembra Titãs.

Qual o melhor álbum dos Beatles?

Aí está uma pergunta que nunca poderá ser respondida com certeza absoluta. É uma questão muito subjetiva para se ter uma ponderação correta. Mas supondo que conseguíssemos uma solução para o problema, qual técnica adotar? Goste você ou não do Fabulous Four, é possível que ache interessante as técnicas da abordagem que tentarei aqui aplicar para responder qual o melhor disco da banda e é possível aplicá-la a diversas áreas. Essas técnicas são chamadas de "densidades relativas" por Handcock & Morris (1998) ou  "densidade de funções quantílicas" por Parzen (1979). Há ainda a terminologia que a chama de "densidade escalonada" (grade density) ou "razão de densidades" proposta por Cwik & Mielniczuk (1989). Se buscarmos desenvolvimentos mais profundos dessa técnica regressaríamos a autores dos anos 50. Na verdade, se tornou uma literatura aplicada em várias áreas da chamada hoje de "Teoria da Informação", mais adiante explico melhor essas denominações, por ora voltemos ao problema original: "como podemos escolher o melhor álbum dos Beatles"?

Bem, para isso, podemos ouvir a opinião dos fãs. Eu fui na base da amazon.com, lá cada um pode classificar com estrelas de 1 a 5 o quanto gosta de um álbum (dados no final do post). Escolhi a amazon por ser um site grande e com um grande registro de dados, e os "Beatles" por ser a banda mais conhecida do planeta e a favorita de 9 entre 10 pessoas, sobre a qual se possui grande conhecimento dos álbuns e de toda produção. O disco com menos votos é o "With The Beatles (WTB)" com 224 reviews na data de hoje (05/02/2012) em que atualizei os dados, e o disco com mais votos é "Sgt Pepper's" (SGT) com 1338 votos. Por meio do site podemos construir alguns histogramas com o números de estrelas dos albuns. Vejamos alguns exemplos:

Fonte: do site da amazon.com na data de 05/02/2012

Reparem que a proporção de estrelas é diferenciada entre os álbuns, "Sgt Pepper's Lonely Heart Club Band" parece ter uma proporção de uma estrela maior do que o "Abbey Road" (ABR) e "Let it Be" (LIB) tem uma proporção de 3 e 4 estrelas bem maior do que os outros dois. Uma coisa intuitiva que podemos fazer é tirar a média do número de estrelas de cada álbum. Dessa forma, o disco preferido é...

 Álbum |Média de Estrelas| Desvio | Class.

=========================================

-ABR----------4,65---------0,86------1º

-REV----------4,64---------0,95------2º

-RBS----------4,59---------0,99------3º

-HLP----------4,51---------0,90------4º

-HDN----------4,48---------1,11------5º

-BWA----------4,43---------1,12------6º

-MMT----------4,39---------1,10------7º

-SGT----------4,35---------1,18------8º

-YSB----------4,33---------1,17------9º

-TB1----------4,32---------1,15-----10º

-WTB----------4,32---------1,11-----11º

-PPM----------4,30---------1,08-----12º

-LIB----------4,19---------1,04-----13º

-BFS----------4,18---------1,03-----14º

-LIBN---------3,90---------1,30-----15º

_________________________________________

Fonte: cálculos a partir de dados do amazon.com. Data de 05/02/2012

... Abbey Road! Com média de 4,65 estrelas por consumidor, seguido de perto por Revolver (REV) (se você não é Beatlemaníaco a ponto de reconhecer os álbuns pelas abreviaturas, consulte a lista de abreviações na nota no fim desse post). Percebe-se que a média de estrelas é bastante alta, quase todos possuem média maior do que quatro estrelas, isso é muito comum em dados desse tipo, em geral, só votam as pessoas que mais gostam e se interessam por dar sua opinião sobre o trabalho da banda. Mas se estamos interessados nas preferências dos fãs isso não é, de fato, um grande problema. A menor pontuação de estrelas é o Let It Be Naked (LIBN), que não é um disco de carreira dos Beatles, mas sim um lançamento de 2003 sem as masterizações e arranjos de Phil Spector, que fizeram o disco conhecido. Vários fãs puristas rejeitam esse álbum, o próprio Let it Be não tem classificação tão vantajosa, veremos o por quê mais a frente.

Eu não estaria escrevendo isso tudo só para mostrar que você pode tirar a média de estrelas para descobrir qual o melhor álbum. O propósito maior é mostrar como entender as posições e situações por trás das médias, ver como os histogramas falam além do que as médias nos permitem obter, assim como entender outras classificações possíveis e generalizar o método aqui aplicado. Pois bem, se fizermos um histograma com as estrelas para todos os álbuns teríamos algo assim:

 Fonte: do site da amazon.com na data de 05/02/2012

Se ligarmos os topos de cada uma das barras do histograma perceberemos que a tendência de estrelas para os álbuns dos Beatles é crescente. A partir de agora, usaremos essas representações por meio de linhas ligando o topo das barras para as estrelas. Descobrir que essa tendência é crescente é de certa forma óbvio, mas as implicações a partir disso nem tanto. Podemos usar essa tendência para extrairmos informação. Para qualquer disco dos Beatles, e com esses dados, não seria de se esperar que as estrelas estejam distribuídas com uniformidade (20% de votos para cada). Da maneira como vejo, classificar pela média de estrelas é como se estivéssemos esperando que a uniformidade ocorresse e assim, poderíamos tirar a média pela proporção de votos. Outra maneira de encarar os dados é considerar a linha de tendência acima como ocorrência natural e ver como cada álbum se desvia mais ou menos dela.¹

Para fazer isso podemos utilizar as técnicas enunciadas no primeiro parágrafo. Essas técnicas consistem em comparar o histograma de referência, que no caso será o histograma com a proporção de estrelas de todos os álbuns, com um histograma de um álbum qualquer observado. O gráfico abaixo apresenta essas linhas de densidade.

 Fonte: cálculos a partir de dados do amazon.com. Data de 05/02/2012

A densidade relativa é feita pelo cálculo da probabilidade observada (pobs) sobre a probabilidade de referência (pref) para cada estrela. Quando as duas densidades são idênticas, a função de densidade relativa será sempre igual a um. Essa função de densidade relativa é também chamada de g(r), em que r é a posição na quantidade de estrelas, g(r)= (pobs)/(pref).

______________________________________________________________

Nº de Estrelas

função g(r)---1-------2-------3-------4-------5---

==================================================

identidade---1,000---1,000---1,000---1,000---1,000

___________________________________________________________________________________

exemplo------0,707---0,905---2,192---1,876---0,731

___________________________________________________________________________________

 Fonte: cálculos a partir de dados do amazon.com. Data de 05/02/2012

Dessa maneira vamos representar as funções de densidade relativas de alguns dos álbuns e ver o que descobrimos.

Fonte: cálculos a partir de dados do amazon.com. Data de 05/02/2012

Para interpretar o gráfico acima, podemos entender a função relativa como uma indicadora de quantas estrelas a mais (ou a menos) o álbum possui em relação à referência. “Abbey Road” e “Revolver”, se saem bem, pois possuem estrelas 1, 2, 3 e 4 de menos, e um número relativamente maior de 5 estrelas. São discos de alta aprovação e baixa rejeição.

 Fonte: cálculos a partir de dados do amazon.com. Data de 05/02/2012

Os três discos acima são intermediários. “Help” (HLP) se sai melhor, possui poucas estrelas 1,2 e 3, um elevado número de 4 estrelas e número de 5 estrelas bem próximo da referência. “Sgt. Pepper’s Lonely Heart Club Band” possui alta rejeição indicada pelo número maior 1 e 2 estrelas. Tanto o “Sgt. Pepper’s” quanto o “Magical Mystery Tour” (MMT) oscilam em torno da referência.

Por fim, os álbuns classificados ao final da listagem. Começando por “Let it Be”, o penúltimo album dos Beatles (e lançado depois do Abbey Road) já foi meu álbum preferido por longo período, me surpreendeu um pouco estar entre os últimos. Ao que parece, pelos dados disponíveis, muitos fãs consideram “Let it Be” um álbum 3 estrelas, isso traz sua média para baixo e o distancia da referência. “Please, Please Me” (PPM) surpreende da mesma maneira, só que possui uma divisão entre 3 e 4 estrelas mais equânime, aliado a um número menor de 2 estrelas. Mais fácil de explicar é o “Let it Be Naked”, esse álbum é o “Let it Be” sem a masterização, mixagem e arranjos de Phil Spector, é só puro som, sem tratamento nenhum, e por isso o “naked”. Segundo a amazon LIBN foi lançado em 2003, eu só tive conhecimento dele a pouco tempo, creio que em 2009. Se por um lado pode ser bem interessante ver o som sem as intervenções de engenharia sonora, rústico como o Rock ‘n’ Roll, pode se interpretar também que LIBN é uma jogada de marketing e desvirtua a proposta original do grupo. Bom, a julgar pelo excesso de 1 e 2 estrelas é um disco com alta rejeição e por isso é o único que tem média abaixo de 4.

Fonte: cálculos a partir de dados do amazon.com. Data de 05/02/2012

Para finalizar, o método acima serve também para classificar de uma maneira diferente os álbuns, não somente pela média.  Podemos pegar uma estatística que calcula a distância da função de densidade relativa à sua função de referência. Essa estatística é chamada de KL devido ao seu desenvolvimento por Kullback & Leibler (1951):

KL(fobs;fref ) = ∑ g(r)ln(g(r))

Em que f(r) é uma função discreta que relaciona as probabilidades para cada estrela na distribuição observada e na de referência (g(r) pode ser escrita como g(r) = fobs(r)/fref(r)). O r assume valores de 1 até 5. Com a estatística KL é possível fazer uma classificação da "distância" (ou divergência) entre um álbum e sua referência. Para isso é necessário uma transformação para limitar os valores entre 0 e 1, vamos chamar de Índice de Densidade Relativa (IDR).

Se mobs > mref:

IDR= +∑ g(r)ln(g(r))/KLmax

Se mobs < mref:

IDR= -∑ g(r)ln(g(r))/KLmax

Onde mobs é a média da distribuição observada e mref é média da distribuição de referência, KLmax = 0,129. A classificação segundo o IDR é a seguinte:

     Álbum |--IDR- | Class. média*

============================

-REV----0,461--------2º

-RBS----0,292--------3º

-ABR----0,291--------1º

-HLP----0,271--------4º

-HDN----0,151--------5º

-BWA----0,035--------6º

-MMT----0,042--------7º

-SGT----0,045--------8º

-YSB----0,050--------9º

-TB1----0,056-------10º

-WTB----0,139-------11º

-PPM----0,301-------12º

-LIB----0,852-------13º

-BFS----0,940-------14º

-LIBN---1,000-------15º

____________________________

* Classificação pela média

Fonte: cálculos a partir de dados do amazon.com. Data de 05/02/2012

Vemos então que apenas os 3 primeiros álbuns trocam de posições, sendo que por essa técnica "Revolver" é o melhor álbum, "Rubber Soul" é o segundo, e "Abbey Road" figurando apenas como terceiro. O mais importante que essa técnica ensina não são as classificações per si, ou a mudança de classificação, mas sim porque os discos nos primeiros lugares estão lá, ou porque os piores estão classificados assim. Ao aliar as notas de "Let it Be Naked" com os comentários escritos no site é possível ter uma idéia mais qualitativa de porque esse disco é o último. Assim como uma ideia melhor para todos os outros álbuns. 

A utilidade da teoria de densidades relativas é mostrar coisas além da média e o desvio padrão, usar uma referência que não seja plana, ou seja, uma referência que inclui um conceito por trás. No caso da referência usada, encaramos como fato dado que a distribuição de estrelas votadas pelos fãs estarão mais concentradas entre 4 e 5 estrelas. Outras referências poderiam ser usadas. Caso usássemos uma referência uniforme de 1 a 5, a função de densidade relativa reproduziria igualmente as proporções já reveladas no histograma comum, ou poderíamos usar uma referência de 'beatlemaníaco', em que só conta o número relativo de 5 estrelas.

Usada em outros fins, a estatística KL (e o IDR) pode ser decomposta em efeito "locação" e "forma", no qual se separa a diferença pela média da diferença de composição da densidade de uma e outra distribuição, para maiores detalhes sobre isso sugiro consultar Handcock & Morris (1999). Diversos detalhes da construção acima podem ser melhor elucidados, para isso, consultem as referências utilizadas, os textos e links complementares, ou entrem em contato com o autor deste blog, ficarei feliz em compartilhar as dúvidas e prestar maiores esclarecimentos.

NOTAS:

[1] A simetria da distribuição é também importante, em distribuições assimétricas é bastante importante recorrer à medidas além da primeira ordem, métodos gráficos e demais ferramentos para se tratar com melhor compreensão os dados.

LISTA DE ABREVIATURAS: 

DADOS:

Fonte: amazon.com 05/02/2012

REFERÊNCIAS:

CWIK, J.; MIELNICZUK. “Estimating Density Ratio with Application to Discriminant Analysis.” Communications in Statistics 18:3057-69, 1989.

HANDCOCK, M.S.; MORRIS, M. “Relative distribution methods”. Sociological Methodology, Vol. 28, (1998). pp. 53-97.

HANDCOCK, M.S.; MORRIS, M. Relative distribution methods in the social sciences. New York: Springer-Verlag, 1999.

KULLBACK, S.; LEIBLER, R. A. “On Information and Sufficiency” The Annals of Mathematical Statistics, Vol. 22, No.1, Mar. (1951). pp. 79-86.

PARZEN, E. "Nonparametrical Statistical Data Modeling" Journal of the American Statistical Association, Vol. 74, No. 365 (Mar., 1979), pp. 105-121.

LEITURA COMPLEMENTAR:

GUIMARÃES, R.R.M. “Análise da distribuição salarial entre setor público e privado no Brasil (1987-2005) com aplicações para a reforma administrativa do governo federal”. Monografia (Graduação) – Departamento de Ciências Econômicas, Universidade Federal de Minas Gerais, Belo Horizonte, 2007.

RODRIGUES, C.G. “A Relação entre a expansão do acesso ao ensino e o desempenho escolar no Brasil: evidências com base no SAEB para o período de 1997 a 2005.” Tese de Doutorado do Cedeplar, defendida em 2009.

http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence (Verbete da estatística KL no wikipedia)

http://videolectures.net/nips09_verdu_re/ (video aula de uma hora sobre entropia relativa)

Imagine

John Lennon era um cara e tanto, está sem dúvida entre as 20 personalidades mais influentes do século XX e continua vivo para todos aqueles que apreciam sua música e seu pensamento. Apesar de se dizer comunista, ninguém esteve tão longe em vida dos ideais comunistas quanto o músico que começou de uma vida difícil e pobre, fez fortuna e propagou suas ideias por meio de um descumunal talento, esforço, dedicação e senso para o sucesso e foi assassinado por um lunático aficionado por sua personalidade inquieta. Mas Lennon está para o comunismo assim como a Terra está para a GRB-090423, a estrela mais distante do universo conhecida até agora.

A máxima disso está evidenciada na letra de Imagine de 1971. Costumo a interpretar que a letra de "Imagine" é um sonho libertário possível pelo capitalismo e não um sonho comunista possível pelo socialismo, mesmo tendo Lennon afirmado que a música é anti-capitalista.

Ouçamos:

IMAGINE

John Lennon

Imagine there's no heaven
It's easy if you try
No hell below us
Above us only sky
Imagine all the people
Living for today
Imagine there's no countries
It isn't hard to do
Nothing to kill or die for
And no religion too
Imagine all the people
Living life in peace
You may say
I'm a dreamer
But I'm not the only one
I hope some day
You'll join us
And the world will be as one
Imagine no possessions
I wonder if you can
No need for greed or hunger
A brotherhood of man
Imagine all the people
Sharing all the world
You may say,
I'm a dreamer
But I'm not the only one
I hope some day
You'll join us
And the world will live as one

Vejamos então trecho por trecho:

"Imagine there's no heaven, It's easy if you try, No hell below us, Above us only sky..."

- No mundo de Lennon não há céu nem inferno, na verdade, ao longo da letra veremos que ele prega o céu na Terra, ou seja, um mundo de convivência harmônica e pacífica com abundância material, "acima de nós apenas o céu", a natureza é o limite, esse é o sonho libertário também.

"... Imagine all the people Living for today".

- "Carpe diem", um princípio hedonista! Em verdade isso que o Lennon tá dizendo é muito usado por pessoas que querem na verdade criticar o capitalismo, as pessoas viverem só pelo hoje, mas viver pelo hoje é a lógica correta em um mundo que tenha alcançado a abundância material.

"Imagine there's no countries, It isn't hard to do, Nothing to kill or die for..."

- Um mundo sem fronteiras é o paradigma final de uma plena globalização. Um mundo de pleno comércio requer que sejam baixadas aduanas e que a convivência seja pacífica. É isso que os libertários mais apregoam. Um mundo com livre mobilidade de pessoas, você pode ir da Inglaterra à Índia quando quiser e será bem vindo... Apesar de alguns lucrarem com guerras, no longo prazo, elas só atrapalham o livre comércio. Há uma relação clara entre paz e prosperidade.

"... And no religion too, Imagine all the people, Living life in peace"

- Não há religião. Esse é um efeito do secularismo efeito do progresso material. No secularismo a liberdade de religião é plenamente permitida, inclusive a liberdade de não religião. O comércio justo não vê cor, ideologia, comportamento, crença ou religião, é liberdade. E com um motivo a menos para as pessoas brigarem a vida se torna mais pacífica.

"You may say, I'm a dreamer, But I'm not the only one, I hope some day, You'll join us, And the world will be as one."

- Nós libertários somos sonhadores, mas não estamos sós, junte-se a nós e o sonho de um mundo mais próspero, justo, livre e unificado será cada vez mais real.

"Imagine no possessions, I wonder if you can, No need for greed or hunger, A brotherhood of man, Imagine all the people, Sharing all the world"

- Um mundo sem posses! Esse é um ponto sensível para a interpretação libertária de Imagine. Comecemos pelo 'Sharing all the World': em um mundo com progresso material capitalista (que não descarta a propriedade) as pessoas chegarão a esse resultado. Imagine que todas as posses tenham suas contrapartidas em ações, títulos e serviços.

O resultado final aqui é mais ou menos um mundo onde todas as propriedades são de empresas e as pessoas pagam aluguéis e serviços sobre tudo o que utilizam. O indivíduo não teria mais posse de nada, mas ao mesmo tempo seria dono de tudo, pois cada pessoa seria acionista de várias empresas, isso é possível com a evolução material trazendo mais riqueza para todos. O resultado final desse mundo em que todo o patrimônio líquido fica a cargo de entidades como empresas que possuem milhares de acionistas (que são todos da população) é que todas as pessoas teriam ações desde o mais pobre até o mais rico (na verdade nem faria muito sentido pensar assim, pois nessa riqueza e liberdade a diferença entre ricos e pobres não seria tão grande). Então, nesse mundo , as pessoas escolheriam as empresas sobre as quais participar de acordo com suas livres preferências individuais, e independente do que ela escolha, ela sempre teria um aporte de recursos advindos de pessoas como ela com composições ligeiramente diferente sobre as empresas sobre as quais é dono.

Isso é um mundo com todas e nenhumas das posses! Todos partilhando a riqueza de acordo com suas preferências.

E novamente o bordão: "You may say, I'm a dreamer, But I'm not the only one, I hope some day You'll join us, And the world will live as one..."

É possível, vamos lá, estude mais economia, veja as inúmeras evidencias onde um comércio livre traz mais liberdade econômica e pessoal, lute pela concorrência leal e justa, pela posse e propriedade de empresas por acionistas minoritários, pela diminuição de aduanas, pelo livre e acessível movimento de pessoas e formação humana...

E para quem me disser que Lennon está revirando no túmulo eu retruco que ele não acreditava em vida após a morte (Lennon está vivo apenas na cabeça de quem ainda vive).