Airflow 3 e o novo padrão de Catchup

No Airflow, o termo catchup se refere ao comportamento do scheduler de executar DAGs para datas no passado, preenchendo execuções perdidas.Esse mecanismo é fundamental para processar dados históricos e pode ser feito manualmente também com o backfill.

O Airflow 3 ficou mais seguro por padrão. Você só usa catchup quando realmente precisa, sem risco de disparar execuções antigas sem querer.

🔹 O que mudou?

• Airflow 2 → catchup=True por padrão.

• Airflow 3 → catchup=False por padrão ([scheduler].catchup_by_default).

Isso significa que, ao criar novos DAGs, você não precisa mais se preocupar com catchup habilitado automaticamente.

🔹 Configurações possíveis

1. Reproduzir o comportamento antigo (Airflow 2):Defina [scheduler].catchup_by_default = True.

2. Controlar por DAG:Defina catchup=True ou False na própria DAG, de forma granular.

3. Backfill manual:No Airflow 3, você pode criar execuções históricas direto pela UI ou API, com observabilidade total — como se fossem runs normais.

🎬 Analogias do dia a dia

• Airflow 2 (catchup=True por padrão) É como abrir a Netflix depois de 1 semana sem assistir sua série.O app automaticamente te sugere todos os episódios que você perdeu para você maratonar.

• Airflow 3 (catchup=False por padrão) Agora a Netflix só mostra o episódio mais recente. Se você quiser ver os antigos, precisa escolher manualmente (UI ou API → backfill).

• BackfillÉ como decidir fazer uma maratona manualmente:“Quero reassistir todos os episódios desde a primeira temporada”.