Capacidades / Engenharia e arrumação de dados
Engenharia e arrumação de dados
O dado bom o bastante para a decisão que você quer tomar, não o data lake perfeito que nunca fica pronto.
Existe um conselho comum no mercado: arrume toda a sua casa de dados antes de pensar em IA. Já custou anos a muita empresa. A Tourium faz o contrário: arruma o dado que o primeiro caso de uso precisa, coloca esse caso no ar, e usa o valor gerado para financiar o próximo pedaço. Fundação de dados que se paga por partida, não projeto de dois anos sem entrega no meio.
O que costuma travar
- "Cliente existe em quatro sistemas com quatro definições diferentes, e cada área defende a sua."
- "O relatório da diretoria e o do comercial nunca batem, e a reunião vira discussão sobre número em vez de decisão."
- "Ninguém sabe dizer quem é o dono daquela base. A base não tem dono, tem lenda."
- "Investimos pesado em plataforma de dados e continuamos decidindo por planilha."
Como a gente entra
Começar pela decisão, não pela tabela
A gente pergunta qual decisão você quer tomar melhor e trabalha para trás a partir dela. Isso define quanto histórico é necessário, qual definição de cada entidade vale e o que pode ficar bagunçado por enquanto sem prejudicar ninguém.
Fonte de verdade por entidade crítica
Escolher uma definição de cliente, de produto, de pedido, e assumir o custo político de dizer que as outras não valem. Esse passo é mais de conversa do que de código, e é o que trava quase todo projeto de dados que não anda.
Pipeline versionado, com dono e rastro
Ingestão, transformação e qualidade em código versionado, com teste, com dono nomeado por base e com rastreabilidade do que entrou e do que saiu. Quando o número der estranho (e vai dar), você reconstrói o caminho em minutos em vez de abrir uma investigação.
Como está o mercado
45%
Parcela do tempo que profissionais de dados dizem gastar só preparando o dado (carga e limpeza) antes de conseguir usá-lo para modelo ou visualização.
Fonte: Anaconda, State of Data Science 2020, 2020.Estimativa autodeclarada de 2.360 respondentes em mais de 100 países, pesquisa conduzida por um fornecedor de plataforma de dados. É de 2020 e as ondas seguintes apontam número menor. Não é o famoso "80%", que não se sustenta.
7%
Parcela das empresas que dizem ter o dado completamente pronto para adotar IA. Outras 27% dizem que o dado está pouco ou nada pronto.
Fonte: Harvard Business Review Analytic Services (patrocínio Cloudera), Taming the Complexity of AI Data Readiness, 2025.Amostra pequena e autosselecionada (pouco mais de 230 leitores da HBR), prontidão autodeclarada, patrocínio de um fornecedor de infraestrutura de dados. Dado global.
56%
Maior obstáculo citado para preparar dado para IA: informação em silos e dificuldade de integração. Falta de estratégia clara vem depois (44%), e qualidade e viés do dado em terceiro (41%).
Fonte: Harvard Business Review Analytic Services (patrocínio Cloudera), Taming the Complexity of AI Data Readiness, 2025.Mesma amostra do dado acima. Vale ler o que ele diz de fato: o problema número um é o dado estar espalhado, não o dado estar sujo.
Perguntas que sempre aparecem
Talvez, mais tarde. Para o primeiro caso de uso, quase nunca. A pergunta útil é: o dado que essa decisão consome está acessível, tem dono e tem definição? Se sim, você já pode começar.
Capacidades