Existe um conselho comum no mercado que diz o seguinte: arrume toda a sua casa de dados antes de pensar em IA. É um conselho que soa responsável e que já custou anos a muita empresa. A versão útil é mais chata e mais barata: arrume o dado que o primeiro caso de uso precisa, e só ele.
Data lake completo, catálogo corporativo e governança de ponta a ponta são projetos de dois anos. Se a sua IA depende deles pra começar, ela não vai começar. E o pior é que, dois anos depois, o caso de uso que motivou tudo já mudou.
O mínimo que precisa estar de pé
- Uma fonte de verdade por entidade crítica. Se cliente existe em quatro sistemas com quatro definições, escolha uma e assuma o custo político de dizer que as outras três não valem.
- Histórico suficiente pro caso de uso. Previsão de demanda pede anos de série. Classificação de chamado pede alguns milhares de exemplos. Não confunda os dois.
- Um dono nomeado pra cada base que o projeto vai tocar. Sem nome, sem sobrenome e sem telefone, a base não tem dono, tem lenda.
- Rastreabilidade do que entrou e do que saiu. Quando o modelo errar, e ele vai errar, você precisa reconstruir a decisão sem depender da memória de alguém.
Dado perfeito não existe em lugar nenhum. O que existe é dado bom o bastante pra decisão que você quer tomar, e isso é uma pergunta de negócio, não de tecnologia.
Jaimes Patrick, presidente e fundador da Tourium
A conta dos 80% é folclore, e a verdadeira já basta
Você já ouviu que 80% do tempo de um cientista de dados vai pra limpar dado. Vale saber de onde isso veio. A frase nasceu numa reportagem do New York Times de 2014 que falava em "estimativas de especialistas" entre 50% e 80%, sem pesquisa nenhuma por trás. O topo dessa faixa virou o número. Dois anos depois, uma empresa que vendia enriquecimento de dados publicou uma survey com cerca de 80 respondentes e chegou a 60% limpando mais 19% coletando, e o 79% resultante fechou a profecia. Daí em diante o número passou de blog em blog, perdendo a amostra e o nome do fornecedor em cada salto.
A medição séria existe e é bem menos glamourosa, o que só a torna mais útil pra quem vai aprovar o orçamento.
45%
Parcela do tempo que profissionais de dados dizem gastar preparando o dado (carregar e limpar) antes de conseguir usá-lo pra desenvolver modelos e visualizações. Pesquisa global, mais de 100 países.
Fonte: Anaconda, 2020 State of Data Science: Moving From Hype Toward Maturity, 2020.Autorreportado, n = 2.360, campo entre fevereiro e abril de 2020. Pesquisa do fornecedor Anaconda, com respondentes recrutados entre usuários de ferramentas de ciência de dados. As ondas seguintes da mesma pesquisa apontam parcela menor, então o número não deve ser lido como "hoje".
Quase metade do tempo já é grave o bastante. E, diferente do 80%, esse número sobrevive a um cliente perguntando de onde ele saiu.
O teste de dois dias
Antes de aprovar qualquer orçamento, peça uma coisa ao seu time: extrair, em dois dias, uma amostra real dos dados que o caso de uso vai consumir. Se em dois dias ninguém conseguir dizer onde o dado está, quem é o dono e qual a definição do campo, você não tem um problema de IA. Tem um problema de organização, e nenhum modelo resolve isso por você.
