Pipelines idempotentes e backfill

Como fazer um pipeline que pode rodar de novo sem duplicar nem perder dados.

7 min de leitura · Intermediário · Revisado em

O pipeline vai falhar. E depois?

A API de origem cai, o disco enche, alguém corrige um bug e precisa reprocessar o mês passado. Um pipeline idempotente pode rodar de novo, quantas vezes for, e o resultado é o mesmo de rodar uma vez. Sem isso, cada nova execução duplica ou perde dados.

Não idempotente

Acrescentar sempre

Rodou duas vezes para o dia 12, as vendas do dia 12 aparecem em dobro.

INSERT INTO vendas_diarias
SELECT * FROM staging_vendas
WHERE dia = '2026-10-12';

Idempotente

Substituir a partição

Apaga o dia e grava de novo, na mesma transação. Rodar de novo dá o mesmo resultado.

BEGIN;
DELETE FROM vendas_diarias
WHERE dia = '2026-10-12';
INSERT INTO vendas_diarias
SELECT * FROM staging_vendas
WHERE dia = '2026-10-12';
COMMIT;

Técnicas que garantem idempotência

Processar por intervalo
Cada execução cuida de um intervalo fixo, como "o dia 12", recebido como parâmetro. Nunca "desde a última vez" nem "agora".
Sobrescrever a partição
Grave o resultado substituindo a partição inteira do intervalo, como no exemplo acima.
MERGE ou upsert por chave
Quando não há partição, atualize se a chave existe e insira se não existe.
Escrever e depois trocar
Grave num local temporário e só no final mova para o destino. Uma falha no meio não deixa arquivo pela metade.

Upsert por chave no PostgreSQL

INSERT INTO clientes (id, nome, atualizado_em)
SELECT id, nome, atualizado_em FROM staging_clientes
ON CONFLICT (id) DO UPDATE
SET nome = EXCLUDED.nome,
    atualizado_em = EXCLUDED.atualizado_em;

Reprocessar o passado (backfill)

No Airflow, a data lógica da execução define o intervalo

@task
def carregar_vendas(ds=None):
    # ds = '2026-10-12', a data lógica, não a data de hoje
    dados = extrair_vendas(dia=ds)
    substituir_particao('vendas_diarias', dia=ds, dados=dados)

Reprocessar setembro inteiro, um dia por execução

airflow dags backfill vendas \
  --start-date 2026-09-01 \
  --end-date 2026-09-30

Pipeline pronto para falhar

  • Cada execução recebe o intervalo que vai processar.
  • Rodar a mesma execução duas vezes não muda o resultado.
  • Escritas substituem a partição ou fazem upsert por chave.
  • Nenhuma tarefa depende de now() ou do horário em que roda.
  • Falhas têm novas tentativas automáticas, com intervalo entre elas.
  • Existe uma verificação de contagem ou soma depois da carga.

Referências

Trilhas relacionadas