14 ago Qualidade de dados: o custo de decidir com a base suja
Qualidade de dados é o assunto que aparece tarde demais: normalmente na reunião em que dois relatórios mostram números diferentes para a mesma pergunta e a discussão sobre a decisão é substituída por uma discussão sobre quem está certo. O painel não errou a conta. Ele somou fielmente registros que já estavam errados quando entraram.
Este texto trata do defeito no dado em si. Quais são os tipos de defeito que aparecem em toda base corporativa, como cada um viaja do cadastro até o slide da diretoria, quais dimensões você precisa saber olhar para diagnosticar, por onde começar a limpeza sem parar a operação e como manter a base limpa depois da faxina — porque limpeza sem manutenção volta ao ponto inicial.
Uma distinção importante antes de começar. Governança de dados responde quem manda no dado: quem é o dono, qual é a regra, qual é a política, quem aprova mudança. É um tema próprio, e a Better já tratou dele em o que muda quando dados passam a ter dono, método e governança. Qualidade de dados é outra coisa: é o estado do registro. Uma empresa pode ter governança escrita e bonita e continuar com a base suja, porque a política não corrige o cadastro que já está lá.
Qualidade de dados não é governança de dados
Vale insistir na diferença, porque ela muda o tipo de trabalho que você vai contratar.
Governança define papéis, decisões e limites. Ela responde a perguntas como: quem pode criar um cliente novo, quem aprova a mudança de um preço, quem pode acessar a base de contratos, o que é dado sensível. É estrutura de poder e responsabilidade sobre a informação.
Qualidade descreve o dado que está no banco agora. Ela responde a perguntas como: quantos clientes estão cadastrados duas vezes, quantos pedidos não têm vendedor associado, quantas datas estão fora de qualquer intervalo plausível, quantos valores foram lançados em unidade diferente da que o campo espera.
As duas coisas se sustentam mutuamente, mas resolver uma não resolve a outra. Governança sem qualidade é regra escrita para uma base que ninguém confia. Qualidade sem governança é faxina que se desfaz sozinha, porque nada impede que os mesmos defeitos entrem de novo amanhã.
Na prática, o roteiro que funciona é diagnosticar a qualidade primeiro, porque o diagnóstico mostra exatamente onde a governança está faltando. Cada defeito recorrente aponta para um processo sem dono.
Os defeitos que aparecem em quase toda base corporativa
Você não precisa de ferramenta sofisticada para encontrar a maior parte deles. Precisa saber o que procurar.
- Duplicidade de cadastro. O mesmo cliente entra como razão social num sistema e nome fantasia no outro, com e sem ponto no documento, com e sem acento. O faturamento fica dividido entre dois registros e o cliente parece menor do que é.
- Campo obrigatório vazio. Segmento, origem, região, vendedor responsável, motivo de perda. Quando o campo é opcional na tela, ele fica vazio; quando é obrigatório mas sem validação, alguém preenche com ponto ou traço só para conseguir salvar.
- Cadastro divergente entre sistemas. O endereço de entrega atualizado no atendimento não voltou ao ERP, e a nota sai com o endereço antigo. Nenhum dos dois está errado internamente; eles só discordam.
- Unidade de medida trocada. Valor lançado em milhar num lugar e em unidade no outro, peso em quilo e em grama, moeda diferente sem indicação. Esse é o defeito mais perigoso, porque o número continua parecendo razoável.
- Categoria digitada à mão. Onde deveria haver lista fechada, existe campo de texto. O mesmo segmento aparece com cinco grafias, e qualquer agrupamento fica fragmentado.
- Data implausível ou fora de ordem. Pedido com data de entrega anterior à emissão, contrato com início posterior ao término, registro com data de criação futura porque alguém digitou o ano errado.
- Registro morto que continua ativo. Cliente que encerrou contrato, produto descontinuado, filial fechada. Como ninguém inativou, tudo isso segue entrando em média, em base de comparação e em lista de disparo.
- Valor fora do domínio esperado. Status que não existe mais no processo, código de produto de um sistema legado, campo numérico com texto dentro.
- Relacionamento quebrado. Pedido que aponta para um cliente que não existe mais, chamado sem contrato vinculado, item sem produto pai.
Repare que quase nenhum desses defeitos gera erro na tela. O sistema aceita, salva e devolve confirmação. Por isso a base suja é silenciosa: ela só se manifesta quando alguém tenta somar.
Como o defeito viaja do cadastro até o slide da diretoria
O trajeto é sempre parecido, e entendê-lo explica por que ajustar o painel nunca resolve.
Tudo começa na captura. Alguém digita, importa uma planilha ou recebe um registro por integração. Nesse instante o defeito entra: um campo em branco, uma grafia diferente, uma unidade trocada.
Em seguida vem o armazenamento. O banco guarda o que recebeu. Se não há restrição de unicidade, o duplicado fica. Se não há lista fechada, a grafia livre fica. O sistema não tem opinião sobre o conteúdo.
Depois vem a transformação, que é onde o estrago se multiplica. Alguém escreve uma regra para agrupar clientes por segmento, e a regra encontra cinco grafias em vez de uma. Alguém junta a base de vendas com a de atendimento pela chave que existe, e metade dos chamados não encontra par. Nesse ponto, o defeito deixa de ser um registro errado e vira um agregado errado.
Então vem a apresentação. O painel mostra um total, uma média, uma variação. Ele mostra com a mesma segurança visual com que mostraria um número correto: sem asterisco, sem aviso, sem intervalo de incerteza.
E por fim vem a decisão. Alguém corta investimento numa região que parecia fraca porque metade dos pedidos daquela região estava sem preenchimento de região. Alguém prioriza um cliente pequeno que na verdade era grande, dividido em dois cadastros. Alguém comemora um crescimento que era só a inativação que não foi feita.
A decisão errada é o custo real da base suja, e ela costuma ser invisível justamente porque nunca é atribuída ao dado. É atribuída ao mercado, ao time, à sorte. O post quando o BI deixa de ser dashboard e vira parte da estratégia trata do outro lado dessa moeda: o que muda quando o número passa a ter consequência.
Antes da decisão errada, porém, existe um custo mais barato de enxergar e igualmente caro de sustentar: o retrabalho. Alguém precisa conferir o relatório antes de apresentá-lo. Alguém precisa refazer a planilha porque o corte não bateu. Alguém precisa ligar para a área que preencheu para entender o que aquele status significava. Esse tempo não aparece em nenhuma linha de orçamento, mas consome as pessoas mais caras da operação e, pior, cria o hábito de tratar o sistema como rascunho e a planilha paralela como verdade.
Há ainda um terceiro custo, mais lento: a perda de confiança. Depois que a diretoria descobre um erro no painel, ela passa a duvidar de todos os números, inclusive dos corretos. A partir daí, cada reunião gasta tempo defendendo o dado em vez de usá-lo, e a empresa volta a decidir por opinião — só que agora com um investimento em ferramenta já feito.
As dimensões de qualidade de dados que você precisa saber olhar
Diagnosticar sem vocabulário vira reclamação genérica. Estas dimensões dão nome ao que está quebrado e, com isso, indicam o conserto.
- Completude pergunta se os campos que a decisão exige estão preenchidos. Note que a pergunta é sobre os campos que a decisão exige, não sobre todos: base cheia de campo obrigatório inútil também é um problema, porque o operador aprende a preencher qualquer coisa.
- Unicidade pergunta se cada entidade do mundo real aparece uma única vez na base. É a dimensão da duplicidade.
- Consistência pergunta se os sistemas concordam entre si sobre o mesmo fato, e se um registro não se contradiz internamente.
- Validade pergunta se o valor pertence ao conjunto de valores possíveis: status que existe, código que consta na lista, número dentro de um intervalo que faz sentido no negócio.
- Acurácia pergunta se o valor corresponde à realidade. É a mais difícil, porque exige uma fonte externa de comparação — o documento, o contrato assinado, a conferência física.
- Atualidade pergunta há quanto tempo aquele registro reflete o mundo. Um cadastro correto no ano passado pode estar errado hoje sem que nada nele tenha mudado.
- Rastreabilidade pergunta se você consegue dizer de onde veio cada número e por quais transformações ele passou. Sem isso, corrigir é adivinhação.
Escolha as dimensões que importam para as decisões que a empresa realmente toma. Perseguir todas ao mesmo tempo, em todas as tabelas, é a forma mais confiável de nunca terminar.
Por onde começar a limpeza sem parar a operação
A tentação é começar pela tabela maior. É o caminho mais rápido para um projeto que consome meses e não muda nenhuma decisão.
Comece pela decisão, não pela base. Escolha uma pergunta que a diretoria faz com frequência e que hoje gera desconfiança. Suba dessa pergunta até os campos que a alimentam — normalmente são poucos. Esses campos são o seu escopo inicial.
Meça antes de corrigir. Conte os registros defeituosos por tipo de defeito e guarde esse retrato. Sem ponto de partida você não consegue mostrar progresso, e projeto de qualidade sem progresso visível perde patrocínio rápido.
Separe o que é correção do que é prevenção. Corrigir é tratar os registros que já estão lá. Prevenir é impedir que o mesmo defeito entre de novo: lista fechada em vez de campo livre, validação na tela, obrigatoriedade onde faz diferença, checagem de duplicidade no momento da criação. Fazer só a correção garante que você vai refazer o trabalho.
Priorize por consequência, não por volume. Mil registros com o campo de observação vazio podem não afetar nenhuma decisão; dez cadastros duplicados de clientes grandes distorcem o ranking inteiro. Volume impressiona em relatório de projeto e engana na priorização.
Envolva quem preenche. Boa parte dos defeitos existe porque a tela pede uma informação que o operador não tem no momento em que precisa salvar, ou porque o campo não faz sentido para o trabalho dele. Corrigir sem mudar isso é enxugar gelo com hora extra.
E corrija na origem, nunca no painel. Ajuste feito na camada de relatório resolve aquela tela e deixa todas as outras erradas, além de criar uma regra escondida que ninguém vai lembrar de manter. A discussão sobre onde cada camada deve começar está em estrutura de dados e Business Intelligence como base de resultado consistente.
Como manter a base limpa depois da faxina
Qualidade não é estado, é rotina. Sem manutenção, a base volta ao ponto anterior no ritmo em que a empresa opera.
Transforme as verificações que você fez no diagnóstico em checagens periódicas automáticas. Cada uma delas responde sempre à mesma pergunta e devolve sempre a mesma contagem de registros fora do padrão. Não precisa ser sofisticado: precisa rodar sozinho e sempre.
Coloque essas contagens onde alguém olha. Se o resultado da checagem vive num arquivo que ninguém abre, ele não existe. Levar duas ou três dessas contagens para a reunião de indicadores costuma ser mais eficaz que qualquer política escrita.
Dê dono a cada checagem. Não ao time de dados inteiro: a uma pessoa, com prazo combinado para atuar quando o número sair da faixa aceita.
Trate o defeito recorrente como falha de processo, não como descuido. Se o mesmo campo volta a ficar vazio todo mês, o problema é a tela, o treinamento ou a ordem das etapas — não a pessoa.
E registre a decisão de qualidade junto com a decisão de negócio. Quando a diretoria souber que aquele número tem uma limitação conhecida, ela decide melhor do que quando acredita numa precisão que não existe.
Checklist de qualidade de dados para a próxima semana
Este é o recorte mínimo para sair da reclamação e entrar no diagnóstico.
- Escolha uma pergunta de negócio que hoje gera desconfiança e liste os campos que a alimentam.
- Conte quantos desses campos estão vazios, e verifique se a obrigatoriedade na tela corresponde à importância real do campo.
- Procure duplicidade pela chave que deveria ser única, testando também as variações de grafia e de pontuação.
- Compare o mesmo cadastro em dois sistemas diferentes e conte as divergências.
- Verifique se algum campo numérico está recebendo unidades diferentes sem indicação.
- Liste os campos de texto livre que deveriam ser lista fechada.
- Identifique registros que deveriam estar inativos e continuam ativos.
- Guarde essas contagens como retrato inicial e defina quem olha cada uma daqui em diante.
- Para cada defeito encontrado, escreva a correção e a prevenção separadamente.
- Leve as duas contagens mais críticas para a próxima reunião de indicadores, com nome de responsável.
Próximo passo
Base suja não se resolve com uma limpeza heroica seguida de silêncio. Resolve-se ligando cada defeito a uma decisão que ele estraga, corrigindo na origem e transformando a verificação em rotina com dono.
A Better Consultoria atua nesse desenho: identificar quais dados sustentam as decisões que a sua empresa realmente toma, medir o estado desses dados, corrigir onde nasce o defeito e montar a estrutura que impede a reincidência. Se você quer sair da discussão sobre qual relatório está certo e voltar a discutir a decisão, o caminho começa pelo serviço de estrutura de dados da Better Consultoria — e você pode agendar um diagnóstico com a Better Consultoria levando o checklist acima já respondido.