Dados, dados por todos os lados

A informao passou da escassez superabundncia. Isso traz novos benefcios gigantescos, diz Kenneth Cukier (entrevistado
aqui) mas tambm grades dores de cabea
25 de Fevereiro de 2010 (Fonte: The Economist / Link: www.economist.com/node/15557443)
Traduo e grifos: Lucas Reis de Souza

Quando a Pesquisa Sloan Digital Sky comeou em 2000, seu telescpio no estado do Novo Mxico (EUA), coletou mais dados em
suas primeiras semanas do que o que j havia sido compilado em toda a histria da astronomia. Agora, uma dcada depois, seu
arquivo contm impressionantes 140 terabytes de informao. Um sucessor, o Telescpio Large Synoptic Survey, que deve ser
inaugurado no Chile em 2016, ir obter essa quantidade de dados a cada cinco dias.
Tais quantidades astronmicas de informao tambm podem ser encontradas prximas Terra. O Walmart, um gigante do varejo,
lida com mais de 1 milho de transaes de clientes a cada hora, alimentando bancos de dados estimados em mais de 2.5 petabytes
o equivalente a 167 vezes os livros na Biblioteca do Congresso Americano. O Facebook hospeda mais de 40 bilhes de fotos. E a
decodificao do genoma humano envolve a anlise de 3 bilhes de pares-base o que levou dez anos na primeira vez em que foi
realizado, em 2003, mas agora pode ser feito em uma semana.
Todos esses exemplos contam a mesma estria: que o mundo contm uma quantidade de informao digital inimaginavelmente
vasta que est crescendo rapidamente a cada dia. Isso torna possvel fazer muitas coisas que no se podia fazer anteriormente:
identificar tendncias de mercado, prevenir doenas, combater o crime e assim por diante. Bem gerenciados, dados podem ser
utilizados para atingir novas fontes de valor econmico, prover insights novos para questes cientficas e responsabilizar os
governos pelas atitudes que tomam.
Mas eles tambm esto criando uma gama de novos problemas. Apesar da
abundncia de ferramentas para capturar, processar e compartilhar toda
essa informao sensores, computadores, telefones celulares, e outros a
informao existente j excede a capacidade de armazenamento disponvel
(ver grfico ao lado.) Alm disso, est cada vez mais difcil assegurar a
segurana da informao e a proteo da privacidade dos indivduos, uma
vez que as informaes se multiplicam e so compartilhadas cada vez mais
amplamente ao redor do mundo.

Alex Szalay, astrofsico na Universidade Johns Hopkins (EUA), nota que a

proliferao de dados est fazendo com que eles se tornem crescentemente
inacessveis. Como se garante que tantos dados faam sentido? As pessoas
tm que estar preocupadas em treinar a prxima gerao, no apenas os
cientistas, mas pessoas no governo e nas indstrias, diz.
Estamos em uma poca diferente por causa de tanta informao, diz James Cortada da IBM, que j escrevem duas dzias de livros
sobre a histria da informao na sociedade. Joe Hellerstein, um cientista da computao na Universidade da Califrnia em Berkeley,
chama isso de a revoluo industrial dos dados. O efeito est sendo sentido em todos os lugares, dos negcios cincia, do
governo s artes. Cientistas e engenheiros da computao cunharam um novo termo para esse fenmeno big data (grandes
dados).
Em termos epistemolgicos, a informao composta de uma coleo de dados enquanto o conhecimento composto de
diferentes vertentes de informao. Mas esta reportagem especial utiliza dados e informao sinonimamente porque, como vai
argumentar, est cada vez mais difcil diferenci-los. Caso haja dados primrios suficientes, os poderosos algoritmos e computadores
de hoje podem revelar novos insights que no poderiam ser obtidos no passado.
O negcio de gerenciamento de informao ajudar organizaes a entender sua quantidade crescente de dados est crescendo
rapidamente. Nos ltimos anos, Oracle, IBM, Microsoft e SAP j gastaram mais de $15 bilhes de dlares na compra de empresas de
software especializadas em anlise e gerenciamento de dados. Essa indstria tem um valor estimado de mais de $100 bilhoes de
dlares e est crescendo a quase 10% ao ano, quase duas vezes mais rpido que a indstria de software como um todo.
Chief Informations Officers (CIOs) os diretores de informao das empresas se tornaram mais proeminentes no mundo
executivo, de alguma forma, e um novo tipo de profissional emergiu, o cientista de dados, que combina as habilidades de
programador, estatstico e contador de histrias/artista para extrair as pepitas de ouro escondidas sob montanhas de dados. Hal
Varian, Economista-chefe do Google, prev que o Estatstico se tornar o profissional mais desejado de todos. Dados, ele explica,
esto amplamente disponveis; o que est escassa a habilidade de extrair conhecimento deles.
Mais de tudo
H muitas razes para a exploso de informaes. A mais bvia a tecnologia. medida em que as capacidades de aparelhos
digitais aumentam e os preos caem, sensores e bugigangas esto digitalizando muito mais informao que o que estava disponvel
anteriormente. E muito mais pessoas tm acesso a ferramentas muito mais poderosas. Por exemplo, h 4,6 bilhes de linhas
telefnicas mveis no mundo (apesar de que muitas pessoas tm mais de uma, ento os 6.8 bilhes de pessoas no mundo no so
to bem supridos como esses valores sugerem), e entre 1 e 2 bilhes de pessoas usam a internet.
Alm disso, h muito mais pessoas interagindo com informao. Entre 1990 e 2005 mais de 1 bilho de pessoas no mundo inteiro
entraram na classe mdia. medida em que essas pessoas enriquecem tambm se tornam mais educadas, o que abastece o
crescimento da informao, aponta o Sr. Cortada. Os resultados esto aparecendo na poltica, na economia e tambm no direito.
Revolues na cincia frequentemente foram precedidas por revolues na medio diz Sinan Aral, um professor de negcios na
Universidade de Nova York. Da mesma forma que o microscpio transformou a biologia ao expor os germes, e o microscpio
eletrnico mudou a fsica, todos esses dados esto virando as cincias sociais de cabea pra baixo, ele explica. Atualmente,
pesquisadores podem entender o comportamento humano no nvel da populao e no apenas no nvel do indivduo.
A quantidade de informao digital aumenta em dez vezes a cada cinco anos. A Lei de Moore, qual a indstria da informtica hoje
j no d tanta importncia, diz que a capacidade de processamento e armazenamento de chips de computador dobre ou seus
preos caem pela metade a cada 18 meses, aproximadamente. Os softwares esto melhorando tambm. Edward Felten, um
cientista da computao na Universidade de Princeton, considera que as melhorias nos algoritmos que esto por trs dos aplicativos
de computadores tiveram um papel to importante quanto a Lei de Moore por vrias dcadas.
Uma vasta quantidade dessa informao compartilhada. At 2013 a quantidade de trfego na internet anualmente vai alcanar
667 exabytes, de acordo com a Cisco, uma empresa de aparelhos de comunicao. E a quantidade de dados continua a crescer mais
rapidamente que a habilidade da rede em transportar com tudo isso.
H muito tempo as pessoas j reclamam que esto sobrecarregadas de informao. Em 1917 um gerente de uma firma
manufatureira do estado de Connecticut (EUA) reclamou sobre os efeitos do telefone: Perde-se tempo, h muitas confuses e
gasta-se dinheiro. No entanto o que est acontecendo agora vai muito alm de um crescimento incremental. A mudana
quantitativa j comeou a fazer uma diferena qualitativa.
Essa mudana da escassez abastana de informao tem efeitos amplos. O que estamos vendo a possibilidade de que
economias se formem baseadas em dados e isso para mim a grande mudana ao nvel social e at mesmo ao nvel
macroeconmico, diz Craig Mundie, chefe de pesquisa e estratgia na Microsoft. Dados esto se tornando a nova matria-prima
dos negcios: um insumo econmico quase to importante quanto Capital e Trabalho. Todos os dias eu acordo e me pergunto,
como posso organizar, gerenciar e analisar dados de uma forma melhor? diz Rollin Ford, o CIO do Wal-Mart.
A anlise quantitativa sofisticada est sendo aplicada a muitos aspectos da vida, no apenas trajetrias de msseis ou estratgias de
hedging financeiro, como ocorria no passado. Por exemplo, Farecast, uma parte da ferramenta de busca da Microsoft Bing, pode
sugerir se um consumidor deve comprar uma passagem area agora ou esperar o preo baixar com base na anlise de 225 bilhes
de registros de voos e preos. A mesma ideia se estende a quartos de hotel, carros e itens similares. Sites de finanas pessoais e
bancos esto agregando os dados de seus consumidores para encontrar tendncias macroeconmicas, que podem se desenvolver e
tornar-se outros negcios, independentes dessas empresas. Especialistas em nmeros j foram capazes at mesmo de desvendar
resultados combinados no sum Japons.
Transformando Impurezas em Ouro
Exausto de dados a trilha de cliques que os usurios de internet deixam para trs e da qual valor pode ser extrado est se
tornando uma mola mestra na economia da internet. Um exemplo a ferramenta de busca do Google, que parcialmente guiada
pelo nmero de cliques em um item para ajudar a determinar sua relevncia para um pedido de busca. Se o oitavo item do resultado
de uma busca o mais clicado pelos usurios, os algoritmos o fazem subir na lista.
 medida em que o mundo se torna crescentemente digital, provvel que a agregao e anlise de dados tambm sejam capazes
de trazer benefcios gigantescos para outras reas. Por exemplo, o Sr. Mundie da Microsoft e Eric Schimdt, o chefe do Google, fazem
parte de uma fora-tarefa presidencial para reformar o sistema de sade norte-americano. No incio desse processo o Eric e eu
ambos dissemos: Veja, se voc realmente quer transformar o sistema de sade, voc tem que basicamente criar um tipo de
economia do sistema de sade baseado nos dados que representam as pessoas, explica o Sr. Mundie. Voc no pode apenas
pensar nos dados como subprodutos da prestao de servios de sade, eles tm, na verdade, que se tornar o ativo principal na
tentativa de definir como podemos melhorar cada aspecto do sistema de sade. uma inverso, de alguma forma.
Para se certificar, registros digitais devem facilitar as vidas de mdicos, reduzir custos de fornecedores e pacientes e melhorar a
qualidade do servio. Mas no agregado os dados podem tambm ser minados para identificar interaes medicamentosas
indesejadas, identificar os tratamentos mais eficazes e prever o comeo de doenas antes que surjam seus sintomas. Os
computadores j tentam fazer essas coisas, mas precisam ser programados para tal. Em um mundo de big data as correlaes
emergem praticamente sozinhas.
Algumas vezes esses dados revelam mais do que se esperava inicialmente. Por exemplo, a cidade de Oakland, na Califrnia, publica
informaes sobre onde e quando foram feitas prises, o que posto em um site privado, o Oakland Crimespotting. Em
determinado momento alguns cliques revelaram que a polcia coibiu a prostituio em toda uma avenida movimentada da cidade
todas as noites exceto s quartas-feiras, uma ttica que eles provavelmente no tinham a inteno de divulgar.
Mas os grandes dados podem ter consequncias muito mais srias que essa. Durante a recente crise financeira ficou claro que
bancos e agncias de rating vinham se baseando at ento em modelos que, apesar de exigir uma vasta quantidade de informaes
para funcionarem, falharam em identificar o risco financeiro no mundo real. Essa foi a primeira crise deflagrada por grandes dados
e haver outras.
A forma como a informao gerenciada tange todas as reas da vida. Na virada do sculo 20 novos fluxos de informao atravs de
meios como telefone e telgrafo apoiaram a produo em massa. Hoje a disponibilidade de dados abundantes permite que
empresas consigam atender a pequenos mercados de nicho em qualquer lugar do mundo. A produo econmica era baseada na
fbrica, onde os gerentes se debruavam sobre cada processo e mquina para torna-los mais eficientes. Agora os estatsticos minam
as informaes geradas pelo negcio para ter novas ideias.
A economia centrada em dados est apenas nascendo, admite o Sr. Mundie da Microsoft. Voc pode ver sua forma, mas as
implicaes tcnicas, infraestruturais e at mesmo de modelagem de negcios no foram muito bem entendidas at agora.