Qualidade e governança de dados

Meça a qualidade dos dados, bloqueie cargas inválidas com contratos e proteja dados pessoais com acesso e retenção definidos.

Cerca de 16 min · Revisado em

Ao final, você vai conseguir

  • Classificar problemas pelas dimensões de qualidade: completude, unicidade, validade, atualidade e consistência
  • Escrever checagens em SQL para duplicados, nulos e registros órfãos
  • Validar um lote contra um contrato de dados e bloquear a carga quando ele não bate
  • Diferenciar dado pessoal, sensível, anonimizado e pseudonimizado segundo a LGPD
  • Aplicar o menor privilégio e a retenção ao decidir quem acessa cada tabela

Um painel bonito com um número errado é pior do que nenhum painel: alguém vai tomar uma decisão com ele. E uma tabela com CPF e diagnóstico aberta para a empresa inteira pode virar multa e manchete. Qualidade e governança são as práticas que fazem as pessoas confiarem nos dados e garantem que eles sejam usados do jeito certo, por quem deve. É o que separa um pipeline que funciona de um pipeline em que dá para apostar o negócio.

O que é um dado de qualidade

Com dados é igual. “Dado ruim” é vago demais para ser testado, então a área divide qualidade em dimensões, cada uma com uma pergunta objetiva que vira uma checagem automática.

As dimensões de qualidade mais usadas
DimensãoPerguntaExemplo de checagem
CompletudeEstá faltando alguma coisa?Nenhum pedido sem valor; chegaram as 27 UFs
UnicidadeAlgo aparece repetido?Cada pedido_id aparece uma vez só
ValidadeO valor respeita as regras?valor maior que zero; CEP com 8 dígitos; status numa lista
AtualidadeO dado chegou a tempo?A carga de ontem terminou antes das 6h
ConsistênciaBate com outras fontes ou tabelas?A soma dos itens é igual ao total do pedido

Que dimensão de qualidade cada problema fere?

Completude · Unicidade · Validade · Atualidade

  • Metade dos clientes está sem cidade
  • O arquivo de ontem trouxe 12 lojas, mas são 40
  • O mesmo Pix aparece duas vezes no extrato
  • Dois cadastros com o mesmo CPF
  • Uma idade de 230 anos
  • Data de entrega 2026-02-31
  • O painel das 8h ainda mostra os números de anteontem
  • A tabela de estoque não é atualizada há 3 dias

No sistema de vendas, o pedido 5531 custa R$ 89,90. No data warehouse, o mesmo pedido aparece com R$ 8.990,00. Cada tabela, sozinha, parece válida. Qual dimensão está em jogo?

  • Consistência
  • Completude
  • Unicidade

Checagens que você escreve em SQL

A maioria das checagens de qualidade é uma consulta que procura linhas problemáticas: se ela volta vazia, está tudo certo. É a mesma ideia dos testes do dbt, que você viu na aula anterior, só que escrita à mão. Vamos investigar uma tabela de pedidos que acabou de chegar.

Caça aos duplicados

A consulta conta quantas vezes cada pedido_id aparece. Acrescente um HAVING para mostrar só os pedidos que aparecem mais de uma vez.

SELECT pedido_id, COUNT(*) AS vezes
FROM pedidos
GROUP BY pedido_id;
  • Só os pedidos repetidos aparecem (2 linhas)
  • São os pedidos 1002 e 1005
  • O resultado mostra quantas vezes cada um aparece

Complete a checagem de completude: quantos pedidos estão sem valor? Cuidado: em SQL, nada é igual a NULL, nem o próprio NULL.

SELECT COUNT(*) AS sem_valor
FROM pedidos
WHERE valor ____;

Pedidos órfãos

Um pedido órfão aponta para um cliente que não existe. Troque o JOIN por LEFT JOIN e filtre as linhas em que o cliente não foi encontrado (c.id IS NULL).

SELECT p.pedido_id, p.cliente_id
FROM pedidos p
JOIN clientes c ON c.id = p.cliente_id;
  • Encontrou 2 pedidos órfãos
  • São os pedidos 1004 e 1007

Uma checagem de atualidade: a última carga foi há mais de 26 horas?

SELECT
  MAX(carregado_em) AS ultima_carga,
  CASE
    WHEN MAX(carregado_em) < datetime('now', '-26 hours') THEN 'ATRASADO'
    ELSE 'ok'
  END AS situacao
FROM controle_cargas
WHERE tabela = 'pedidos';

Contratos de dados

Um contrato de dados é esse combinado entre quem produz uma tabela (o time do sistema de pedidos) e quem consome (você, o financeiro, o painel). Ele diz quais colunas existem, de que tipo, que regras valem, até que horas os dados chegam e quem é o dono. Mudanças que quebram o combinado precisam de aviso e de uma nova versão.

Um contrato simples para a tabela de pedidos

contrato: pedidos
versao: 2
dono: time-checkout
colunas:
  - nome: pedido_id
    tipo: integer
    obrigatoria: true
    unica: true
  - nome: valor
    tipo: decimal
    regra: maior que zero
  - nome: status
    tipo: string
    valores: [pago, pendente, estornado]
atualidade: dados do dia anterior disponíveis até 06:00
dados_pessoais: [cliente_id]
retencao: 5 anos
  • Versão: Renomear ou remover uma coluna quebra quem consome. Isso exige uma nova versão e um período em que as duas convivem.
  • Dono: A quem recorrer quando algo quebra. Sem dono, um problema de qualidade vira uma discussão sem fim.
  • Esquema: Nome, tipo e regras de cada coluna. É o que o pipeline confere antes de aceitar um lote: se não bate, a carga é bloqueada.
  • Valores aceitos: Se o sistema começar a mandar entregue, o contrato foi quebrado, e você sabe exatamente qual regra.
  • Prazo: O compromisso de horário vira uma checagem de atualidade com alerta.
  • Privacidade: Quais colunas identificam pessoas e por quanto tempo os dados podem ser guardados. Você vai ver o porquê na seção sobre LGPD.

O portão do contrato

Complete validar: para cada coluna do contrato, registre um erro com o nome da coluna se ela estiver ausente ou com o tipo errado (isinstance). Registre também um erro se o status não estiver em STATUS_VALIDOS. Se mais de 20% do lote falhar, a carga deve ser bloqueada.

contrato = {
    "pedido_id": int,
    "cliente_id": int,
    "valor": float,
    "status": str,
}
STATUS_VALIDOS = {"pago", "pendente", "estornado"}

lote = [
    {"pedido_id": 2001, "cliente_id": 1, "valor": 59.9, "status": "pago"},
    {"pedido_id": 2002, "cliente_id": 2, "valor": "120,00", "status": "pago"},
    {"pedido_id": 2003, "cliente_id": 3, "valor": 35.0, "status": "entregue"},
    {"pedido_id": 2004, "valor": 80.0, "status": "pendente"},
    {"pedido_id": 2005, "cliente_id": 4, "valor": 15.5, "status": "estornado"},
]


def validar(registro):
    erros = []
    # TODO 1: para cada coluna e tipo do contrato,
    #   se a coluna não existir: erros.append(f"{coluna} ausente")
    #   se o tipo estiver errado: erros.append(f"{coluna} com tipo errado")
    # TODO 2: se o status não estiver em STATUS_VALIDOS, registre um erro
    return erros


problemas = {}
for registro in lote:
    erros = validar(registro)
    if erros:
        problemas[registro["pedido_id"]] = erros

if len(problemas) / len(lote) > 0.2:
    print(f"CARGA BLOQUEADA: {len(problemas)} de {len(lote)} registros fora do contrato")
else:
    print("Carga liberada")
for pedido, erros in problemas.items():
    print(pedido, erros)
  • Os pedidos 2002, 2003 e 2004 foram barrados
  • O erro do pedido 2004 diz que falta cliente_id
  • Um registro correto passa sem erros
  • A carga foi bloqueada

O time de checkout quer renomear a coluna valor para valor_total. Com um contrato de dados em vigor, o que deveria acontecer?

  • Publicar uma nova versão, avisar os consumidores e manter as duas colunas por um período
  • Renomear de uma vez; o pipeline de dados se adapta
  • Proibir a mudança, porque contrato não se altera

Catálogo e linhagem

Numa empresa com centenas de tabelas, a pergunta mais comum é “qual tabela eu uso para faturamento?”. Um catálogo de dados responde: lista as tabelas com descrição, dono, colunas, data da última atualização e quem pode acessar. A documentação que o dbt gera já é um catálogo inicial.

Linhagem é o mapa de onde cada dado vem e para onde vai: a coluna faturamento do painel vem de fct_vendas_diarias, que vem de stg_pedidos, que vem da tabela bruta. Ela responde duas perguntas: “de onde veio este número estranho?” e “o que quebra se eu mexer nesta tabela?”.

Você precisa remover a coluna desconto de stg_pedidos. Antes de mexer, o que a linhagem permite descobrir?

  • Quais modelos e painéis usam essa coluna e vão quebrar
  • Se a coluna tem valores nulos
  • Quem criou a coluna originalmente
O painel mostra o faturamento de ontem 40% abaixo do normal. Como a linhagem ajuda a investigar?

Você segue as setas para trás, conferindo cada etapa: o mart tem menos linhas? O staging? A tabela bruta? Na etapa em que a contagem cai está o problema, por exemplo uma loja cujo arquivo não chegou. Sem linhagem, você teria que adivinhar por onde começar.

Dados pessoais e a LGPD

A LGPD (Lei Geral de Proteção de Dados, Lei 13.709/2018) regula o uso de dados pessoais no Brasil. Para quem trabalha com dados, ela muda o dia a dia: você precisa saber quais colunas identificam pessoas, guardar só o necessário e pelo tempo necessário, e proteger o acesso.

Dado pessoal
Qualquer informação que identifica uma pessoa ou permite identificá-la: nome, CPF, e-mail, telefone, endereço, placa do carro, até um ID de cliente ligado a esses dados.
Dado pessoal sensível
Uma categoria com proteção extra: origem racial ou étnica, religião, opinião política, filiação sindical, saúde, vida sexual, dados genéticos e biométricos.
Minimização
Coletar e guardar só o que é necessário para a finalidade. Se o painel de vendas por cidade não precisa do nome, o nome não deveria chegar até ele.

Como a LGPD classifica cada informação?

Dado pessoal · Dado pessoal sensível · Não é dado pessoal

  • CPF
  • E-mail ana.souza@email.com
  • Endereço com CEP e número
  • Diagnóstico de diabetes num prontuário
  • Religião informada num cadastro
  • Biometria facial do app do banco
  • Total de vendas por estado no mês
  • Preço médio do pão francês em Recife
Duas técnicas que costumam ser confundidas
AnonimizaçãoPseudonimização
O que fazRemove a possibilidade de chegar à pessoa por meios razoáveisTroca o identificador por um código; quem tem a chave volta à pessoa
ExemploPublicar só “vendas por estado”, sem nenhum identificadorTrocar o CPF por cli_8f3a e guardar a tabela de conversão em outro lugar
Para a LGPDDeixa de ser dado pessoalContinua sendo dado pessoal, com risco menor

Para “anonimizar”, um colega troca cada CPF pelo hash SHA-256 do CPF. Isso é anonimização?

  • Não. Existem só cerca de 1 bilhão de CPFs possíveis: dá para calcular o hash de todos e reverter
  • Sim, porque um hash não pode ser desfeito
  • Sim, desde que ninguém de fora saiba qual algoritmo foi usado

Quem pode ver, e por quanto tempo

O princípio que guia o controle de acesso é o do menor privilégio: cada pessoa ou sistema acessa só o que precisa para o seu trabalho. Na prática, você não dá permissões pessoa por pessoa; cria papéis (roles), como analistas, e dá permissões ao papel.

No PostgreSQL: analistas leem os marts, mas não o bruto, e veem e-mails mascarados

CREATE ROLE analistas;
GRANT USAGE ON SCHEMA marts TO analistas;
GRANT SELECT ON ALL TABLES IN SCHEMA marts TO analistas;
-- nenhuma permissão no schema bruto, onde ficam CPF e e-mail

CREATE VIEW marts.clientes_mascarados AS
SELECT
  cliente_id,
  cidade,
  left(email, 2) || '***@' || split_part(email, '@', 2) AS email
FROM tratado.clientes;

Acesso também tem prazo. Retenção é por quanto tempo cada dado pode ser guardado; depois disso, ele deve ser apagado ou anonimizado. Tabelas particionadas por data facilitam: apagar o que passou do prazo vira remover as partições antigas. E os logs de acesso registram quem consultou o quê, para auditoria.

Uma analista de marketing precisa saber quantos clientes existem por cidade. Que acesso faz mais sentido?

  • Leitura numa tabela de marts agregada por cidade, sem dados pessoais
  • Leitura em todo o banco, para não precisar pedir de novo depois
  • O usuário e a senha do time de dados
  • Um CSV da tabela de clientes enviado por e-mail

Fechamento

  • Qualidade se mede por dimensões objetivas: completude, unicidade, validade, atualidade e consistência, cada uma virando uma checagem.
  • A maioria das checagens é uma consulta que procura linhas problemáticas; erros graves bloqueiam a carga, os leves geram aviso para o dono.
  • Um contrato de dados combina esquema, regras, prazo e dono entre quem produz e quem consome; mudanças incompatíveis viram nova versão.
  • Catálogo responde “o que é e de quem é esta tabela”; linhagem responde “de onde vem e o que quebra se eu mexer”.
  • Pela LGPD, dados pessoais e sensíveis exigem minimização, retenção definida e acesso por menor privilégio; pseudonimizar não é anonimizar.

Um portão de qualidade no seu pipeline

Use o pipeline local que você já construiu, com dados públicos ou sintéticos, e acrescente checagens, contrato e documentação de acesso.

  1. Escreva um contrato em YAML para a tabela principal: colunas, tipos, valores aceitos, prazo e dono
  2. Faça o pipeline validar cada lote contra o contrato e bloquear a carga quando o esquema não bater
  3. Crie checagens em SQL ou testes dbt para duplicados, nulos na chave e órfãos
  4. Adicione uma checagem de atualidade que registre um alerta no log quando a última carga passar do prazo
  5. Liste as colunas com dados pessoais e troque-as por dados sintéticos ou remova-as das camadas analíticas
  6. Documente no README quem pode ler cada camada e por quanto tempo os dados são guardados

Referências

Cursos relacionados