Conceitualmente, Big Data é a habilidade de capturar, armazenar e processar grandes quantidades de dados em busca de correlações. É um método de se lidar com volumes de qualquer tamanho de dados, com uma grande variedade no formato desses dados e com maior velocidade do que soluções tradicionais.
A grande novidade aqui é lidar com dados não-estruturados como posts no Facebook, tweets, videos, geolocalização e comportamento de clientes que dependem de contexto para fazer sentido. Esses dados não-estruturados correspondem hoje por 85% das informações disponíveis atualmente para análise.
A grande diferença entre “Big Data” e “buscar uma agulha num palheiro”, é que no segundo caso procuramos uma agulha, e no primeiro nós não sabemos exatamente o que estamos procurando até encontrarmos. É uma aventura de descobertas através do cruzamento de números e estatísticas que revelam tendências, modelos de comportamento, etc.
Usos do Big Data
Um caso foi de uma empresa de varejo que monitora a combinação dos produtos que seus clientes põe nos carrinhos de compra. Além do enorme ganho de eficácia, acabou mostrando algumas curiosidades, como quem bebe Gatorade tem mais chances de comprar laxante.
Noutro caso, no terremoto que ocorreu no Haiti, a atuação das equipes de ajuda humanitária foi facilitada pelo monitoramento dos dados de geolocalização de mais de 2 milhões de chips SIM dos celulares que saíram rapidamente de Porto Príncipe.
Num terceiro caso, uma empresa conduziu uma pesquisa para obter um método de prever se um carro usado terá ou não problemas, antes de comprá-lo em um leilão. Como em casos de leilão você não pode examinar detalhadamente o carro antes de dar o lance, estabelecer este método poderia significar uma vantagem competitiva muito grande, embora fosse uma questão bem difícil de ser alcançada.
Nesta pesquisa, os analistas cruzaram toneladas de informações e dados históricos, chegando a uma conclusão bizarra: carros cor de laranja são os com menor probabilidades de apresentar problemas. Eles não procuravam por “carros laranja”. Estavam cruzando dados de origem, fabricante, marca, ano, modelo, tipo de roda, tipo de câmbio, tamanho, local de compra, preço, cor, etc., e acabou que encontraram uma correlação entre a quantidade de problemas e a cor.
Mas por que a cor? Seria porque carros laranja são mais visíveis e se envolvem menos em acidentes? Ou porque donos de carros laranja buscam coisas diferenciadas e as mantém com mais cuidado? A resposta dolorida é: não interessa o porquê. Talvez nunca saibamos, mas os números dizem a verdade: nos USA, carros laranja tem 50% menos problemas que outras cores. As correlações detectadas nos números são fatos, e para quem está buscando o resultado, o porquê pouco importa; mas o que fazer com a informação, sim, isto importa – e muito.
Quer outros exemplos de onde podemos coletar esses dados?
- Por dia, são geradas mais de 10.000 transações de cartões de pagamento em todo o mundo
- Cerca de 4000 tweets são gerados por segundo. Por dia são quase 340 milhões
- Mais de 5 bilhões de pessoas fazem ligações telefônicas, enviando mensagens, tweets e navegando através de dispositivos móveis
- Só o Facebook tem praticamente 1 bilhão de usuários ativos gerando dados sociais
Esses exemplos mostram bem o conceito do Big Data funcionando. Mas ele também tem facetas comerciais, como prever tendências de compras e preços, além de um lado sombrio onde a privacidade e o uso de dados analíticos começam a ser questionados, pois desde a expansão dos acessos à internet e a imensa popularização das redes sociais, torna-se relativamente fácil observar e armazenar o comportamento de uma pessoa em seu dia a dia.
Desafios
Muitas organizações estão preocupadas com o fato de que a quantidade de dados acumulados está se tornando tão grande que é difícil encontrar as informações mais valiosas.
- E se o seu volume de dados torna-se tão grande e variado que você não sabe como lidar com isso?
- Você armazena todos os seus dados?
- Você analisa tudo isso?
- Como você pode descobrir quais dados são realmente importantes?
- Como você pode usá-los para seu melhor proveito?
A verdadeira questão não é que você está coletando grandes quantidades de dados, mas sim o que você faz com eles. As organizações terão que ser capazes de aproveitar os dados relevantes e usá-los para tomar as melhores decisões. As Tecnologias não só apoiam a coleta e o armazenamento de grandes volumes de dados, elas fornecem a capacidade de compreender e obter valor, o que ajuda as organizações a operar de forma mais eficiente e rentável.
As empresas tem de partir do problema que pretendem resolver e aí sim buscar a análise dos dados. Monitorar e gerir dados é uma iniciativa que deve vir da área de negócios e não de tecnologia.
Fontes: http://pt.wikipedia.org/wiki/Big_data e http://exame.abril.com.br/topicos/big-data