Quem nunca se deparou com este cenário: aquele momento em que o relatório crucial demora mais tempo a chegar do que o esperado; ou quando um dashboard de confiança apresenta inconsistências no meio de uma análise importante; ou até quando a equipa de dados parece demonstrar uma certa inflexibilidade na hora de acomodar um pedido de alteração aparentemente pequeno.

Esta constante quebra de expectativas caminha de mãos dadas com uma disparidade crescente entre o valor percebido dos dados e o custo real de produzi-los de forma fidedigna e em escala. Aliadas ainda a  uma falta de manutenção das bases que suportam a infraestrutura dos produtos da equipa leva a uma constante corrida atrás do prejuízo.

Para produzir soluções escaláveis, equipas têm que montar cadeias de produção que requerem constante atenção e algum carinho a cada par de meses com um revamp aqui, ou ali. Começando pela ingestão, os dados ainda não se materializam magicamente nas bases de dados; apesar do crescimento de ferramentas como Airbyte e Fivetran ainda não existe uma solução one size fits all para equipas ou empresas. O trabalho por trás de arquiteturas de streaming ou batch é um desenho delicado que equilibra performance e custo, do qual fazem também parte Data Contracts.

Este é um ponto importante de interseção de diferentes equipas, onde uma quebra destes contratos – que definem o “formato” (schema) dos dados – pode levar à quebra das pipelines, que no pior dos cenários resultam na perda de dados. Um outro desafio é a qualidade dos dados nas suas fontes – muitas vezes os dados são um second thought, se o produto correr como esperado “é o que importa”.

Dados que não são estritamente funcionais para um produto são ignorados, deitados fora ou guardados em objectos de schema incerto, ou pior ainda, nos quais os caminhos para o mesmo campo variam. Mas é aqui que Engenheiros de Dados brilham, com modelação de dados estruturam e refinam os datasets brutos, limpando e enriquecendo os dados com lógica de negócio.

Testes são também uma peça importante deste processo, além dos testes feitos durante o desenvolvimento, testes de monitorização são implementados, e muitas vezes alertam os engenheiros antes do stakeholder dar por ela. O objetivo é garantir a qualidade, consistência e otimização dos dados finais para que sejam consumidos diretamente por ferramentas de Business Intelligence, modelos de Machine Learning e outras aplicações operacionais. Este processo acarreta também um benefício de custo, uma query mal formada pode custar centenas de euros à empresa em segundos, a modelação protege-nos destes riscos. Por último, mas não menos importante, isto permite às equipas backend e frontend serem mais ágeis, podendo-se focar maioritariamente no que é a melhor arquitetura para o produto e não para a equipa de dados.

Outra preocupação é a existência e manutenção de uma fonte de verdade singular, conceitos como um utilizador ativo são facilmente fragmentados em diferentes definições entre equipas e áreas de negócio que levam a falhas de comunicação, que podem sair caras. Este é um dos grandes desafios da equipa, criar um modelo de dados holístico que representa uma singular fonte de verdade.

Em empresas de maior dimensão com equipas de dados dispersas e desconexas, o desafio cresce, levando não só à perda desta fonte de verdade, mas também à duplicação de trabalho, onde o mesmo data point é colhido e tratado por diversas equipas, todas elas à sua maneira.

Por fim, o culminar de todo o esforço, data products – cuidadosamente curados para o consumo do stakeholder – guiam, mas dão também autonomia ao utilizador de fazer as suas próprias análises, seguro de que os resultados serão fidedignos. Analistas usam o seu conhecimento do negócio para colocar as questões mais pertinentes e transmitem aos seus stakeholders análises dos resultados. Data Scientists usando também um profundo conhecimento do negócio criam modelos que aconselham campanhas de marketing, a UI dos nosso produtos, e muitas vezes as próprias funcionalidades do produto.

Todo este esforço requer tempo para construir um modelo de dados centralizado e fidedigno, para criar pipelines eficientes e escaláveis e para a manutenção de toda a infraestrutura. Mas este é um esforço coletivo.

Um melhor entendimento e colaboração com os stakeholders — tanto consumidores quanto geradores de dados — é a chave para desenhar planos realistas e criar o espaço necessário para amadurecer e manter a infraestrutura. A base da agilidade do negócio não é medida pela rapidez do pedido, mas pela confiança e sustentabilidade da infraestrutura que construímos em conjunto.

O Observador associa-se à comunidade PortugueseWomeninTech para dar voz às mulheres que compõe o ecossistema tecnológico português. O artigo representa a opinião pessoal do autor enquadrada nos valores da comunidade.