Poderá ser mais uma “moda” deslumbradora de techies, de maníacos das tecnologias; poderão os mais sisudos olhar com algum desdém, como, recentemente, em relação à Cloud, que rapidamente passou a ser muito mais do que moda. A Big Data poderá ser isso, um hype mediático, mas seguramente veio para ficar. E o impacto será enorme, ao nível económico, societal e, desde logo, geopolítico. Sem qualquer exagero.

Vejamos do que se trata. Big Data tem a ver com três “V”: volume (enormes dimensões que atingem os conjuntos de dados, data sets), velocidade (enorme velocidade a que os dados são adquiridos) e variedade (enorme quantidade de fontes de dados independentes). Mas a Big Data só pode surgir enquanto tal, nas escalas em que o faz, porque as infraestruturas computacionais, a começar pelos cada vez mais enormes centros de dados (data centers), permitem a constituição de clouds, isto é, a congregação e partilha dinâmica de meios imensos, até recentemente inimagináveis, onde residem quantidades astronómicas de dados que por toda a parte e em todos os setores das nossas vidas e sociedades vão sendo recolhidos.
Só por si, no entanto, os dados armazenados nos enormes ficheiros eletrónicos que são os data centers – das agências de intelligence (como a CIA e a NSA, mas elas estendem-se a todo o mundo), dos departamentos de impostos, dos operadores de telecomunicações, dos fornecedores de energia elétrica e, num outro registo, pelos negócios da internet dos mamutes de informação, como a Google e a Amazon, entre outros congéneres/semelhantes – não têm valor. Sem serem sujeitos a operações de mineração/análise por instituições e empresas interessadas, esses dados acumulados de pouco ou nada valem; mais valeria apagar tudo. Só que bastava a enumeração das entidades acima referidas, e são muitas mais, para entender que não é este o caso. E vai fazendo caminho referir o conjunto desses gigantescos armazéns de dados como as novas minas de ouro!
Novas “minas”, fisicamente superconcentradas em imensos armazéns de dados eletrónicos, cujo equivalente seria absolutamente impraticável, quer em tabuinhas de argila, como no Crescente Fértil da Antiguidade, quer em arquivos de papel empregues até ao século XX – muitos deles desmantelados, não só pelas incomportáveis dimensões em edifícios e arquivos superprotegidos, mas, sobretudo, pelos custos económicos sem valor de troca. Quem se esqueceu da recente destruição sistemática, pelas editoras modernas, de milhares de cópias dos “seus” livros?

Capacidade preditiva. Mas o “ouro” sem utilização requerida também não pode ter valor de troca no mercado, ser mesmo referência universal de valor, se não for extraído e tratado para os negócios (na sua aceção ampla) que o requeiram, desde depósitos de valor de instituições de finança a objetos de bijutaria ou religiosos, passando por componentes de smartphones.
Ora, os processos para a utilização de dados na versão Big Data têm vindo a ser desenvolvidos com presteza. Por agora, duas parecem ser as características principais desses processos: por um lado, os dados de um universo são todos utilizados (por exemplo, todas as notas de Matemática dos alunos de um liceu desde que há registo), por outro, a determinação da simples “correlação” entre as variáveis requeridas.
O conceito de tratamento de amostras ou testes estatísticos complexos parece que não tem tido grande lugar nos universos totais da Big Data. Contudo, nos exemplos de análises conhecidos, é reconhecida a sua rigorosa capacidade preditiva, implicando até novas questões de privacidade.
Enfim, um novo mundo parece abrir-se diante de nós! Veremos...

Francisco Silva