Lembro-me que o banco não tinha sistema de correio eletrónico e dizia-se que não tinha, nem ia ter. Internet estava, como devem imaginar, completamente fora de causa.
Os dados que estávamos interessados nessa altura eram os dados de mercado, preços de ações, obrigações, moedas, etc. para se conseguir valorizar instrumentos financeiros e estabelecer uma gestão correta dos vários riscos que o banco estaria exposto. Pouca variedade no “espaço”, muita variedade no “tempo”. Quantidades de dados verdadeiramente impressionantes para a altura. O objetivo era juntar aquilo que era informação interna, aquela que decorria naturalmente das operações do banco, com a externa, de forma a conseguir saber mais do que se sabia juntando mais e mais informação no tempo, mais histórico para cada um dos ativos.
Do ponto de vista técnico, atendendo à tecnologia disponível na altura, foi um sucesso. Era perfeitamente possível associar cada uma das séries temporais aos ativos em causa e estes aos derivados sobre esses ativos. Tirar a partir daí uma série de métricas estatísticas era muito simples. O único problema é que tínhamos tudo isso, mas a realidade, ou melhor, aquele conjunto de mecanismos que constitui a realidade que se queria representar com o sistema, era outra. A física do sistema financeiro não se coadunava com a matemática que foi construída.
Hoje, vinte anos depois, esta descrição faz parte da arqueologia dos sistemas de análise de dados, que hoje lidam com quantidades de várias ordens de grandeza superiores e com dados não estruturados. Para além de podermos montar sistemas que crescem no “tempo”, como as séries temporais, fazemos sistemas que crescem no “tempo” e no “espaço” usando algoritmos de aprendizagem que selecionam eles mesmo as variáveis que devem usar por sorteio e otimização. E, mais uma vez, se constroem sistemas que são um sucesso do ponto de vista técnico, dezenas de métricas se conseguem facilmente dos dados, mas a mesmas questões se colocam. Aquilo que elas representam corresponde ao conjunto de mecanismos que queremos representar? A resposta é “depende”.
Gosto sempre de usar a minha disciplina de formação, a Física, para conseguir organizar o problema. Nós, físicos, temos uma forma interessante de encarar a estatística. Primeiro temos de garantir que se aplica e só depois é que olhamos para ela de uma forma séria. E é exatamente isso que está em causa quando olhamos para uma base de dados como aquelas que hoje se conseguem montar com a massificação do correio eletrónico e das redes sociais. Temos a garantia que as técnicas estatísticas são aplicáveis? Podemos aplicar algoritmos de aprendizagem sobre a gigantesca quantidade de dados que hoje temos disponíveis?
Tomemos o caso do mercado de telemóveis para ter um exemplo que toda a gente conhece. Se um novo cliente entra num site para comprar um telemóvel sabemos com que probabilidade ele vai comprar um determinado modelo. A distribuição dessa probabilidade é bem conhecida, e vai escolher com maior probabilidade o modelo da marca da maçã e com cerca de metade da probabilidade o segundo mais vendido. O detalhe desta afirmação é que eu não faço a mais pequena ideia da quota de mercado das marcas, apenas que a marca da maçã é a mais vendida. Como posso pedir mais dados ao meu cliente, vou encher a base de dados com as suas características para que, quando aparecer um novo, já sei que marca vai comprar. Certo? Errado.
Errado, porque a física do problema que me dispensou acima de saber quotas de mercado, é a mesma que me impede de usar distribuições deste tipo para fazer estatística ou aprendizagem. E depois de comprar o modelo da maçã, também não sei que modelo vai comprar a seguir. Certo? Errado outra vez, depois de ele ter comprado o primeiro, essa nova informação vai transformar o “espaço” dos dados de tal forma que a distribuição passa a ser passível de aprendizagem novamente. Do ponto de vista teórico, é demonstrável a razão pela qual acontece e esta pequena “peça” de teoria que é, na verdade, a peça mais importante de todo o sistema. É por isso que os sites de compras são tão bem-sucedidos em sugerir-lhe um novo produto depois de comprar o primeiro, porque conseguiram transformar o problema de forma que os dados passam a ser adequados. Mas se só lhes der as suas características pessoais, só lhe sugerem disparates, razão pela qual muitos optam por meter pessoas atraentes nos “banners”, que continuam a ser uma fórmula de sucesso.
Tal como há vinte anos nos debatíamos com as nossas crenças, desenvolvendo tecnologia miraculosa para a altura, de onde conseguíamos extrair medidas dos dados que cinco anos antes ninguém imaginava possível, hoje estamos numa escala ainda mais impressionante.
As medidas que conseguimos extrair dos dados seriam inimagináveis na altura, mas a questão mantém-se. São essas medidas reflexo da realidade e daquilo que queremos saber? E essa é a beleza da Era dos Dados que nós vivemos. É que hoje abriu-se um novo campo de desenvolvimento teórico que não existia na altura em que comecei. Nessa altura, o conhecimento que tínhamos do universo humano era ridículo quando comparado com os dias de hoje. Hoje sabemos que os dados só têm aderência à realidade se esse enquadramento teórico estiver garantido. E hoje há mais valor em perceber que transformação é relevante para a aprendizagem do que conseguir armazenar mais dois ou três terabytes de dados. Como sempre foi, em todas as Eras, em todas as tecnologias. Fazemos as máquinas em função da teoria e não o contrário. Aproveitemos por isso a Era de inovação que vivemos, nunca sabemos quando a próxima virá.
Por João Pires da Cruz,
PhD em física, cofundador e partner da Closer