Pipelines idempotentes e backfill
Como fazer um pipeline que pode rodar de novo sem duplicar nem perder dados.
7 min de leitura · Intermediário · Revisado em
O pipeline vai falhar. E depois?
A API de origem cai, o disco enche, alguém corrige um bug e precisa reprocessar o mês passado. Um pipeline idempotente pode rodar de novo, quantas vezes for, e o resultado é o mesmo de rodar uma vez. Sem isso, cada nova execução duplica ou perde dados.
Não idempotente
Acrescentar sempre
Rodou duas vezes para o dia 12, as vendas do dia 12 aparecem em dobro.
INSERT INTO vendas_diarias
SELECT * FROM staging_vendas
WHERE dia = '2026-10-12';Idempotente
Substituir a partição
Apaga o dia e grava de novo, na mesma transação. Rodar de novo dá o mesmo resultado.
BEGIN;
DELETE FROM vendas_diarias
WHERE dia = '2026-10-12';
INSERT INTO vendas_diarias
SELECT * FROM staging_vendas
WHERE dia = '2026-10-12';
COMMIT;Técnicas que garantem idempotência
- Processar por intervalo
- Cada execução cuida de um intervalo fixo, como "o dia 12", recebido como parâmetro. Nunca "desde a última vez" nem "agora".
- Sobrescrever a partição
- Grave o resultado substituindo a partição inteira do intervalo, como no exemplo acima.
- MERGE ou upsert por chave
- Quando não há partição, atualize se a chave existe e insira se não existe.
- Escrever e depois trocar
- Grave num local temporário e só no final mova para o destino. Uma falha no meio não deixa arquivo pela metade.
Upsert por chave no PostgreSQL
INSERT INTO clientes (id, nome, atualizado_em)
SELECT id, nome, atualizado_em FROM staging_clientes
ON CONFLICT (id) DO UPDATE
SET nome = EXCLUDED.nome,
atualizado_em = EXCLUDED.atualizado_em;Reprocessar o passado (backfill)
No Airflow, a data lógica da execução define o intervalo
@task
def carregar_vendas(ds=None):
# ds = '2026-10-12', a data lógica, não a data de hoje
dados = extrair_vendas(dia=ds)
substituir_particao('vendas_diarias', dia=ds, dados=dados)Reprocessar setembro inteiro, um dia por execução
airflow dags backfill vendas \
--start-date 2026-09-01 \
--end-date 2026-09-30Pipeline pronto para falhar
- Cada execução recebe o intervalo que vai processar.
- Rodar a mesma execução duas vezes não muda o resultado.
- Escritas substituem a partição ou fazem upsert por chave.
- Nenhuma tarefa depende de
now()ou do horário em que roda. - Falhas têm novas tentativas automáticas, com intervalo entre elas.
- Existe uma verificação de contagem ou soma depois da carga.