Qualidade e governança de dados
Meça a qualidade dos dados, bloqueie cargas inválidas com contratos e proteja dados pessoais com acesso e retenção definidos.
Cerca de 16 min · Revisado em
Ao final, você vai conseguir
- Classificar problemas pelas dimensões de qualidade: completude, unicidade, validade, atualidade e consistência
- Escrever checagens em SQL para duplicados, nulos e registros órfãos
- Validar um lote contra um contrato de dados e bloquear a carga quando ele não bate
- Diferenciar dado pessoal, sensível, anonimizado e pseudonimizado segundo a LGPD
- Aplicar o menor privilégio e a retenção ao decidir quem acessa cada tabela
Um painel bonito com um número errado é pior do que nenhum painel: alguém vai tomar uma decisão com ele. E uma tabela com CPF e diagnóstico aberta para a empresa inteira pode virar multa e manchete. Qualidade e governança são as práticas que fazem as pessoas confiarem nos dados e garantem que eles sejam usados do jeito certo, por quem deve. É o que separa um pipeline que funciona de um pipeline em que dá para apostar o negócio.
O que é um dado de qualidade
Com dados é igual. “Dado ruim” é vago demais para ser testado, então a área divide qualidade em dimensões, cada uma com uma pergunta objetiva que vira uma checagem automática.
| Dimensão | Pergunta | Exemplo de checagem |
|---|---|---|
| Completude | Está faltando alguma coisa? | Nenhum pedido sem valor; chegaram as 27 UFs |
| Unicidade | Algo aparece repetido? | Cada pedido_id aparece uma vez só |
| Validade | O valor respeita as regras? | valor maior que zero; CEP com 8 dígitos; status numa lista |
| Atualidade | O dado chegou a tempo? | A carga de ontem terminou antes das 6h |
| Consistência | Bate com outras fontes ou tabelas? | A soma dos itens é igual ao total do pedido |
Que dimensão de qualidade cada problema fere?
Completude · Unicidade · Validade · Atualidade
- Metade dos clientes está sem cidade
- O arquivo de ontem trouxe 12 lojas, mas são 40
- O mesmo Pix aparece duas vezes no extrato
- Dois cadastros com o mesmo CPF
- Uma idade de 230 anos
- Data de entrega
2026-02-31 - O painel das 8h ainda mostra os números de anteontem
- A tabela de estoque não é atualizada há 3 dias
No sistema de vendas, o pedido 5531 custa R$ 89,90. No data warehouse, o mesmo pedido aparece com R$ 8.990,00. Cada tabela, sozinha, parece válida. Qual dimensão está em jogo?
- Consistência
- Completude
- Unicidade
Checagens que você escreve em SQL
A maioria das checagens de qualidade é uma consulta que procura linhas problemáticas: se ela volta vazia, está tudo certo. É a mesma ideia dos testes do dbt, que você viu na aula anterior, só que escrita à mão. Vamos investigar uma tabela de pedidos que acabou de chegar.
Caça aos duplicados
A consulta conta quantas vezes cada pedido_id aparece. Acrescente um HAVING para mostrar só os pedidos que aparecem mais de uma vez.
SELECT pedido_id, COUNT(*) AS vezes
FROM pedidos
GROUP BY pedido_id;- Só os pedidos repetidos aparecem (2 linhas)
- São os pedidos 1002 e 1005
- O resultado mostra quantas vezes cada um aparece
Complete a checagem de completude: quantos pedidos estão sem valor? Cuidado: em SQL, nada é igual a NULL, nem o próprio NULL.
SELECT COUNT(*) AS sem_valor
FROM pedidos
WHERE valor ____;Pedidos órfãos
Um pedido órfão aponta para um cliente que não existe. Troque o JOIN por LEFT JOIN e filtre as linhas em que o cliente não foi encontrado (c.id IS NULL).
SELECT p.pedido_id, p.cliente_id
FROM pedidos p
JOIN clientes c ON c.id = p.cliente_id;- Encontrou 2 pedidos órfãos
- São os pedidos 1004 e 1007
Uma checagem de atualidade: a última carga foi há mais de 26 horas?
SELECT
MAX(carregado_em) AS ultima_carga,
CASE
WHEN MAX(carregado_em) < datetime('now', '-26 hours') THEN 'ATRASADO'
ELSE 'ok'
END AS situacao
FROM controle_cargas
WHERE tabela = 'pedidos';Contratos de dados
Um contrato de dados é esse combinado entre quem produz uma tabela (o time do sistema de pedidos) e quem consome (você, o financeiro, o painel). Ele diz quais colunas existem, de que tipo, que regras valem, até que horas os dados chegam e quem é o dono. Mudanças que quebram o combinado precisam de aviso e de uma nova versão.
Um contrato simples para a tabela de pedidos
contrato: pedidos
versao: 2
dono: time-checkout
colunas:
- nome: pedido_id
tipo: integer
obrigatoria: true
unica: true
- nome: valor
tipo: decimal
regra: maior que zero
- nome: status
tipo: string
valores: [pago, pendente, estornado]
atualidade: dados do dia anterior disponíveis até 06:00
dados_pessoais: [cliente_id]
retencao: 5 anos- Versão: Renomear ou remover uma coluna quebra quem consome. Isso exige uma nova versão e um período em que as duas convivem.
- Dono: A quem recorrer quando algo quebra. Sem dono, um problema de qualidade vira uma discussão sem fim.
- Esquema: Nome, tipo e regras de cada coluna. É o que o pipeline confere antes de aceitar um lote: se não bate, a carga é bloqueada.
- Valores aceitos: Se o sistema começar a mandar
entregue, o contrato foi quebrado, e você sabe exatamente qual regra. - Prazo: O compromisso de horário vira uma checagem de atualidade com alerta.
- Privacidade: Quais colunas identificam pessoas e por quanto tempo os dados podem ser guardados. Você vai ver o porquê na seção sobre LGPD.
O portão do contrato
Complete validar: para cada coluna do contrato, registre um erro com o nome da coluna se ela estiver ausente ou com o tipo errado (isinstance). Registre também um erro se o status não estiver em STATUS_VALIDOS. Se mais de 20% do lote falhar, a carga deve ser bloqueada.
contrato = {
"pedido_id": int,
"cliente_id": int,
"valor": float,
"status": str,
}
STATUS_VALIDOS = {"pago", "pendente", "estornado"}
lote = [
{"pedido_id": 2001, "cliente_id": 1, "valor": 59.9, "status": "pago"},
{"pedido_id": 2002, "cliente_id": 2, "valor": "120,00", "status": "pago"},
{"pedido_id": 2003, "cliente_id": 3, "valor": 35.0, "status": "entregue"},
{"pedido_id": 2004, "valor": 80.0, "status": "pendente"},
{"pedido_id": 2005, "cliente_id": 4, "valor": 15.5, "status": "estornado"},
]
def validar(registro):
erros = []
# TODO 1: para cada coluna e tipo do contrato,
# se a coluna não existir: erros.append(f"{coluna} ausente")
# se o tipo estiver errado: erros.append(f"{coluna} com tipo errado")
# TODO 2: se o status não estiver em STATUS_VALIDOS, registre um erro
return erros
problemas = {}
for registro in lote:
erros = validar(registro)
if erros:
problemas[registro["pedido_id"]] = erros
if len(problemas) / len(lote) > 0.2:
print(f"CARGA BLOQUEADA: {len(problemas)} de {len(lote)} registros fora do contrato")
else:
print("Carga liberada")
for pedido, erros in problemas.items():
print(pedido, erros)
- Os pedidos 2002, 2003 e 2004 foram barrados
- O erro do pedido 2004 diz que falta
cliente_id - Um registro correto passa sem erros
- A carga foi bloqueada
O time de checkout quer renomear a coluna valor para valor_total. Com um contrato de dados em vigor, o que deveria acontecer?
- Publicar uma nova versão, avisar os consumidores e manter as duas colunas por um período
- Renomear de uma vez; o pipeline de dados se adapta
- Proibir a mudança, porque contrato não se altera
Catálogo e linhagem
Numa empresa com centenas de tabelas, a pergunta mais comum é “qual tabela eu uso para faturamento?”. Um catálogo de dados responde: lista as tabelas com descrição, dono, colunas, data da última atualização e quem pode acessar. A documentação que o dbt gera já é um catálogo inicial.
Linhagem é o mapa de onde cada dado vem e para onde vai: a coluna faturamento do painel vem de fct_vendas_diarias, que vem de stg_pedidos, que vem da tabela bruta. Ela responde duas perguntas: “de onde veio este número estranho?” e “o que quebra se eu mexer nesta tabela?”.
Você precisa remover a coluna desconto de stg_pedidos. Antes de mexer, o que a linhagem permite descobrir?
- Quais modelos e painéis usam essa coluna e vão quebrar
- Se a coluna tem valores nulos
- Quem criou a coluna originalmente
O painel mostra o faturamento de ontem 40% abaixo do normal. Como a linhagem ajuda a investigar?
Você segue as setas para trás, conferindo cada etapa: o mart tem menos linhas? O staging? A tabela bruta? Na etapa em que a contagem cai está o problema, por exemplo uma loja cujo arquivo não chegou. Sem linhagem, você teria que adivinhar por onde começar.
Dados pessoais e a LGPD
A LGPD (Lei Geral de Proteção de Dados, Lei 13.709/2018) regula o uso de dados pessoais no Brasil. Para quem trabalha com dados, ela muda o dia a dia: você precisa saber quais colunas identificam pessoas, guardar só o necessário e pelo tempo necessário, e proteger o acesso.
- Dado pessoal
- Qualquer informação que identifica uma pessoa ou permite identificá-la: nome, CPF, e-mail, telefone, endereço, placa do carro, até um ID de cliente ligado a esses dados.
- Dado pessoal sensível
- Uma categoria com proteção extra: origem racial ou étnica, religião, opinião política, filiação sindical, saúde, vida sexual, dados genéticos e biométricos.
- Minimização
- Coletar e guardar só o que é necessário para a finalidade. Se o painel de vendas por cidade não precisa do nome, o nome não deveria chegar até ele.
Como a LGPD classifica cada informação?
Dado pessoal · Dado pessoal sensível · Não é dado pessoal
- CPF
- E-mail
ana.souza@email.com - Endereço com CEP e número
- Diagnóstico de diabetes num prontuário
- Religião informada num cadastro
- Biometria facial do app do banco
- Total de vendas por estado no mês
- Preço médio do pão francês em Recife
| Anonimização | Pseudonimização | |
|---|---|---|
| O que faz | Remove a possibilidade de chegar à pessoa por meios razoáveis | Troca o identificador por um código; quem tem a chave volta à pessoa |
| Exemplo | Publicar só “vendas por estado”, sem nenhum identificador | Trocar o CPF por cli_8f3a e guardar a tabela de conversão em outro lugar |
| Para a LGPD | Deixa de ser dado pessoal | Continua sendo dado pessoal, com risco menor |
Para “anonimizar”, um colega troca cada CPF pelo hash SHA-256 do CPF. Isso é anonimização?
- Não. Existem só cerca de 1 bilhão de CPFs possíveis: dá para calcular o hash de todos e reverter
- Sim, porque um hash não pode ser desfeito
- Sim, desde que ninguém de fora saiba qual algoritmo foi usado
Quem pode ver, e por quanto tempo
O princípio que guia o controle de acesso é o do menor privilégio: cada pessoa ou sistema acessa só o que precisa para o seu trabalho. Na prática, você não dá permissões pessoa por pessoa; cria papéis (roles), como analistas, e dá permissões ao papel.
No PostgreSQL: analistas leem os marts, mas não o bruto, e veem e-mails mascarados
CREATE ROLE analistas;
GRANT USAGE ON SCHEMA marts TO analistas;
GRANT SELECT ON ALL TABLES IN SCHEMA marts TO analistas;
-- nenhuma permissão no schema bruto, onde ficam CPF e e-mail
CREATE VIEW marts.clientes_mascarados AS
SELECT
cliente_id,
cidade,
left(email, 2) || '***@' || split_part(email, '@', 2) AS email
FROM tratado.clientes;Acesso também tem prazo. Retenção é por quanto tempo cada dado pode ser guardado; depois disso, ele deve ser apagado ou anonimizado. Tabelas particionadas por data facilitam: apagar o que passou do prazo vira remover as partições antigas. E os logs de acesso registram quem consultou o quê, para auditoria.
Uma analista de marketing precisa saber quantos clientes existem por cidade. Que acesso faz mais sentido?
- Leitura numa tabela de marts agregada por cidade, sem dados pessoais
- Leitura em todo o banco, para não precisar pedir de novo depois
- O usuário e a senha do time de dados
- Um CSV da tabela de clientes enviado por e-mail
Fechamento
- Qualidade se mede por dimensões objetivas: completude, unicidade, validade, atualidade e consistência, cada uma virando uma checagem.
- A maioria das checagens é uma consulta que procura linhas problemáticas; erros graves bloqueiam a carga, os leves geram aviso para o dono.
- Um contrato de dados combina esquema, regras, prazo e dono entre quem produz e quem consome; mudanças incompatíveis viram nova versão.
- Catálogo responde “o que é e de quem é esta tabela”; linhagem responde “de onde vem e o que quebra se eu mexer”.
- Pela LGPD, dados pessoais e sensíveis exigem minimização, retenção definida e acesso por menor privilégio; pseudonimizar não é anonimizar.
Um portão de qualidade no seu pipeline
Use o pipeline local que você já construiu, com dados públicos ou sintéticos, e acrescente checagens, contrato e documentação de acesso.
- Escreva um contrato em YAML para a tabela principal: colunas, tipos, valores aceitos, prazo e dono
- Faça o pipeline validar cada lote contra o contrato e bloquear a carga quando o esquema não bater
- Crie checagens em SQL ou testes dbt para duplicados, nulos na chave e órfãos
- Adicione uma checagem de atualidade que registre um alerta no log quando a última carga passar do prazo
- Liste as colunas com dados pessoais e troque-as por dados sintéticos ou remova-as das camadas analíticas
- Documente no README quem pode ler cada camada e por quanto tempo os dados são guardados