Apache Airflow Objašnjen: Vodič Prilagođen Početnicima

Uvod

Moderne tvrtke vođene podacima sve se oslanjaju na podatkovne tokove koji dohvaćaju, transformiraju, obogaćuju i prenose informacije s jednog mjesta na drugo. Ti podatkovni tokovi mogu uključivati mnoge korake (izvlačenje sirovih podataka, čišćenje, treniranje modela strojnog učenja, izrada nadzornih ploča itd.). Osim toga, oni moraju funkcionirati u vrlo određenom redoslijedu. Alati za orkestraciju radnih tokova poput Apache Airflowa pomažu osigurati da svi ovi koraci teku u pravo vrijeme i u ispravnom redoslijedu. Također, oni olakšavaju praćenje i upravljanje tokovima.

Airflow je razvijen u Airbnbu 2014. godine i postao je jedna od najpopularnijih open‑source platformi za orkestraciju radnih procesa. Koristi ga tisuće organizacija za automatizaciju i nadzor batch procesa. U ovom članku objašnjavamo Apache Airflow od temelja. Teme koje ćemo obuhvatiti uključuju:

• Što je Airflow, što radi i zašto ga timovi za podatke koriste.
• Osnovni pojmovi i komponente Airflowa, te kako se međusobno povezuju.
• Kako se cjevovodi definiraju kao usmjereni aciklični grafovi (DAG) i prikaz jednostavnog DAG-a u akciji.
• Uobičajeni scenariji upotrebe poput ETL/ELT-a, MLOps-a i drugih.

Nadamo se da će ovo biti praktičan uvod u Apache Airflow, vođen primjerima, namijenjen inženjerima, studentima i timovima koji započinju s orkestracijom radnih tokova.

Ključne informacije

• Apache Airflow je platforma za orkestraciju radnih tokova temeljena na Pythonu koja upravlja, zakazuje i nadgleda složene podatkovne cjevovode koristeći DAG-ove (usmjereni aciklički grafovi).
• DAG-ovi definiraju zadatke i njihove ovisnosti, omogućujući Airflowu da izvrši svaki korak u ispravnom redoslijedu s ugrađenim ponovnim pokušajima, zapisivanjem i praćenjem.
• Arhitektura Airflowa (Scheduler, Executor, Worker, Metadata DB, Web UI) omogućuje skalabilno, distribuirano izvršavanje i nadzor pipeline-a u stvarnom vremenu.
• Airflow se ističe u batch radnim tokovima, kao što su ETL/ELT poslovi, ML trening pipeline-ovi, provjere kvalitete podataka i zakazana analitika — ali nije idealan za real-time ili ultra-visoke frekvencije radnih opterećenja.
• Alternative poput Prefect, Dagster, Luigija, Argo Workflows i Mage AI mogu biti bolje prilagođene ovisno o potrebama poput radnih tokova pokretanih događajima, izvršavanja u Kubernetesu ili modernih sučelja prijateljskih prema programerima.

Što je Apache Airflow?

Apache Airflow je open-source sustav za stvaranje, planiranje i praćenje radnih tokova. Airflow radni tok je DAG (usmjereni aciklički graf), što je niz zadataka s jasno definiranim odnosima (ovisnostima) i bez ciklusa (zadaci se ne mogu ponavljati uzlazno). Temeljna filozofija Airflowa je „konfiguracija kao kod“, pa umjesto korištenja sučelja s povuci-i-ispusti, stvarate Python skripte za predstavljanje radnih tokova. Ovakav pristup pruža značajnu fleksibilnost inženjerima: možete se povezati s gotovo bilo kojom tehnologijom putem Airflow operatora i Python biblioteka. Također možete primijeniti najbolje prakse iz softverskog inženjerstva (kontrola verzija, testiranje itd.) na definicije svojih pipeova.

Zašto je koordinacija radnog tijeka važna?

Ključna stvar je da često imate više koraka u bilo kojem podatkovnom tijeku koji se moraju izvršavati u nizu. Jednostavan primjer je ETL (Extract/Transform/Load) pipeline. Pipelines mogu brzo postati složeniji kako dodajete više zadataka, ovisnosti, grananja i slično, a također trebaju raditi u redovitom ritmu. Ručna intervencija ili jednostavni alati za raspoređivanje često postaju nedovoljni u tim slučajevima. Airflow to rješava tako da djeluje kao središnji orkestrator. Ima usmjereni aciklički graf (DAG) zadataka (čvorova) s ovisnostima (rubovima). Zna kada izvršiti koji zadatak (čekajući da se prethodne ovisnosti završe prije pokretanja), uključujući raspoređivanje (periodično izvršavanje), rukovanje pogreškama (automatsko ponavljanje, obavijesti) i zapisivanje.

Ako cijeli podatkovni proces smatramo receptom, tada je svaki pojedinačni zadatak podkorak (sjeckanje, kuhanje, slaganje na tanjur itd.). Airflow je poput voditelja kuhinje koji poznaje recepte i prati sve različite podkorake u svakoj kuhinji, osiguravajući da se sve odvija u ispravnom redoslijedu i u pravo vrijeme.

Bez orkestracije tijeka rada, možete imati sve kuhare i sastojke, ali oni nisu koordinirani. Airflow pruža tu koordinaciju, omogućujući proizvodnju željenog „jela“ (izvršavanje tijeka rada).

Zašto timovi za podatke koriste Airflow?

Airflow je postao popularan među inženjerima podataka, ML inženjerima i DevOps timovima jer zadovoljava mnoge potrebe složenih podatkovnih cjevovoda. Evo nekoliko glavnih razloga zašto timovi biraju Airflow:

• Orkestracija složenih radnih tokova i ovisnosti: Airflow je dizajniran za radne tokove s velikim brojem međuzavisnih koraka. Airflow olakšava deklariranje prethodnih i naknadnih zahtjeva, osiguravajući da se zadaci izvršavaju u ispravnom redoslijedu. Ako zadatak C ovisi o zadacima A i B, Airflow planer je svjestan tih odnosa i osigurava da se A i B izvrše (potencijalno paralelno) prije nego što se pokrene C. Airflow može upravljati složenim ovisnostima, logikom grananja itd.
• Centralizirano raspoređivanje (Cron na steroidima): Pruža planer koji vam omogućuje izvršavanje zadataka prema određivanom rasporedu. Možete definirati desetke ili stotine pipelineova koji pokreću zadatke u različito vrijeme (svaki sat, dnevno, mjesečno) koristeći Airflowov planer. Airflow razumije odnose između zadataka. Može inteligentno raspoređivati i pokretati zadatke. Centralizirani planer oslobađa vas potrebe da pišete različite skripte na različitim poslužiteljima.

• Skalabilnost i distribuirano izvršavanje: Airflow se također može skalirati s vašim radnim tokovima. Može se konfigurirati za izvršavanje zadataka paralelno preko više radnih procesa ili računala. Također pruža više izvršitelja (o kojima će biti riječi kasnije u ovom članku) koji mogu pokretati zadatke na distribuiranim sustavima poput Celeryja ili Kubernetesa preko skupa čvorova. To znači da možete paralelizirati teške zadatke (obrada velikih podataka) i imati više pipelineova koji se izvršavaju istovremeno.
• Nadzor, zapisivanje i upozorenja: Dolazi s bogatim web korisničkim sučeljem koje pruža pregled u stvarnom vremenu vaših tokova rada. Možete vidjeti koje su zadatke uspješno obavljene, a koje nisu, te pregledati zapisnike za svaki zadatak. Čak možete ručno pokretati i/ili ponovo pokušavati zadatke putem web sučelja.

Ključne komponente protoka zraka

Ispod je kratki pregled osnovnih građevnih blokova Apache Airflowa. Koristite ovu tablicu kao brzi vodič za razumijevanje što je koja komponenta i što radi.

Kako Airflow radi (Arhitektura)

Evo detaljnog pregleda kako Airflow obrađuje tijek rada (DAG):

• Izrada DAG-a: Autor DAG-a piše Python skriptu koja definira DAG. Ta skripta uključuje stvari poput rasporeda (npr., „pokreći svakodnevno u 9 ujutro“) ili ručnih postavki okidanja. Također sadrži definicije zadataka (putem operatora ili @task funkcija), kao i ovisnosti zadataka (npr. task1 >> task2 (task2 čeka da task1 završi)). Python datoteka se sprema u Airflow-ov folder DAG-ova kako bi je Airflow mogao pronaći. Airflow će periodički čitati (parsirati) ovu datoteku kako bi učitao definiciju DAG-a.
• Raspoređivanje i parsiranje DAG-a: Airflow Scheduler je proces koji kontinuirano radi u pozadini. Provjerava treba li se svaki DAG pokrenuti na temelju njegovog rasporeda ili okidača. Na primjer, DAG s rasporedom "dnevno" može biti preuzet od strane schedulera, koji primjećuje da se novo izvršavanje mora zakazati u ponoć. Airflow Scheduler također provjerava jesu li zadaci unutar DAG-a spremni za pokretanje – što znači da su sve njihove prethodne ovisnosti dovršene i da je njihov zakazani vrijeme (logički datum) stiglo.
• Izvršavanje zadataka: Svaki zadatak koji treba izvršiti dodjeljuje se Izvršitelju od strane Planera. Izvršitelj odlučuje gdje i kako će se zadatak izvršiti. Može se izvršiti lokalno ili poslati u red čekanja radnika. Za distribuiranu arhitekturu, zadatak će biti dodan u red čekanja, a zatim ga odaberu radni procesi koji izvršavaju zadatke.
• Ažuriranje stanja i rukovanje pogreškama: Svaka instanca zadatka izvještava o svom statusu (uspjeh, neuspjeh itd.) natrag scheduleru nakon što završi, a scheduler ažurira svoju bazu metapodataka s stanjem zadatka.
  Praćenje stanja omogućuje scheduleru da zna što napraviti sljedeće – na primjer, ako je Zadatak A uspješno završen, zna da sada može zakazati Zadatak B, ili ako je Zadatak A neuspješno završen, a preostali su pokušaji, scheduler zakazuje ponovni pokušaj, ili ako nije preostalo pokušaja, označava pokretanje DAG-a kao neuspješno. Ako zadatak ne uspije, Airflow ima logiku za automatski ponovni pokušaj zadatka ako je konfiguriran za pokušaje ponavljanja. Ako zadatak i dalje ne uspije nakon ponovnih pokušaja, Airflow može poslati upozorenje o neuspjehu (slanje e-maila ili poruke na Slack itd.). Sve ovo je konfigurabilno kao dio parametara DAG-a ili zadatka (na primjer, broj ponovnih pokušaja, odgoda između ponovnih pokušaja, e-mail za slanje upozorenja).
• Nadzor i intervencija: Airflow Web UI pruža sučelje u stvarnom vremenu za gore opisani proces. Možete vidjeti pokretanje DAG-a (na primjer, novi red u prikazu stabla za današnje pokretanje) i pratiti kako se statusi zadataka mijenjaju dok napreduju. Prikaz grafa vizualizira zadatke DAG-a i prikazuje koji su dovršeni ili su naišli na pogrešku.
• Čišćenje i sljedeće pokretanje: Kada se pokretanje DAG-a završi (svi zadaci su uspješno izvršeni ili su preskočeni/neuspjeli), Airflow nastavlja sa sljedećim zakazanim pokretanjem. Svi podaci o prethodnim pokretanjima i dalje se čuvaju u bazi podataka, te uvijek možete provjeriti povijest. Scheduler će nastaviti pokretati nova pokretanja prema rasporedu ili ručnim pokretanjem. Ovaj se proces ponavlja dok se Airflow proces ne zaustavi.

Razumijevanje DAG-ova u Airflowu

DAG u Airflowu definira raspored te zadatke i ovisnosti potrebne za izvršavanje tijeka rada. DAG ne mora znati što se nalazi unutar svakog zadatka; samo treba definirati kada i kojim redoslijedom trebaju biti izvršeni.

Zadaci, operatori i senzori

Zadaci su osnovne jedinice rada u Airflowu. U Airflowu, zadaci su instance operatora, koji su predlošci za unaprijed definirane akcije. Airflow dolazi s raznim osnovnim operatorima. BashOperator omogućuje vam izvršavanje shell naredbi, a PythonOperator omogućuje pozivanje Python funkcija. Airflow također pruža dekorator @task, koji vam omogućuje da običnu Python funkciju pretvorite u zadatak.

Osim operatora, Airflow pruža senzore. Senzori su zadaci koji čekaju da se određeni uvjet ili događaj ispune prije nego što uspiju. Mogu se koristiti za stvari poput čekanja da se pojavi datoteka ili da se popuni tablica.

Ovisnosti zadataka

Za deklariranje ovisnosti između zadataka koristite >> i << operatore (preporučeno) ili metode poput set_upstream i set_downstream. Također je moguće povezivati zadatke, stvarati međuzavisnosti po smjeru dolje, pa čak i dinamički stvarati liste zadataka. DAG bez ikakvih ovisnosti bio bi samo neovisni skup zadataka.

Najbolje prakse za dizajn DAG-a

Tablica u nastavku prikazuje nekoliko smjernica koje treba imati na umu prilikom dizajniranja DAG-ova.

Primjer: Jednostavan Airflow DAG

Ništa ne učvršćuje pojmove bolje od primjera. Prođimo kroz jednostavan Airflow DAG kod i objasnimo njegove dijelove. Ovaj primjer će stvoriti mali tok rada s dva zadatka u nizu:

from datetime import datetime
from airflow import DAG
from airflow.operators.bash import BashOperator

# Define the DAG and its schedule
with DAG(
    dag_id="example_dag",
    description="A simple example DAG",
    start_date=datetime(2025, 1, 1),
    schedule_interval="@daily",  # runs daily
    catchup=False
) as dag:
    # Task 1: Print current date
    task1 = BashOperator(
        task_id="print_date",
        bash_command="date"
    )
    # Task 2: Echo a message
    task2 = BashOperator(
        task_id="echo_hello",
        bash_command="echo 'Hello, Airflow!'"
    )
    # Define dependency: task1 must run before task2
    task1 >> task2

Razložimo što se ovdje događa:

• uvozimo potrebne klase DAG (za definiranje DAG-a) i BashOperator (za izvršavanje shell/bash naredbi u zadacima). Također uvozimo datetime za određivanje početnog datuma DAG-a.
• Kreiramo DAG objekt pomoću upravitelja konteksta (with DAG(…) as dag:). DAG-u dodijelite jedinstveni ID „example_dag“ (mora biti jedinstven u Airflow okruženju), opis (opcionalno, kako bi ljudima bilo lakše čitati), start_date i schedule_interval. Ovdje postavljamo ugrađeni schedule_interval preset (@daily) i start_date=datetime(2025,1,1). Također smo postavili catchup=False kako bismo spriječili popunjavanje propuštenih pokretanja između start_date i današnjeg dana (željeli bismo da se izvršava samo od sada pa nadalje, svaki dan). Ovaj cijeli blok stvara DAG koji će Airflow prepoznati i pokretati svakodnevno na početku dana.
• Zatim definiramo dva zadatka u kontekstu DAG-a:
• task1 je definiran korištenjem BashOperatora za izvršavanje bash naredbe (date). task_id je “print_date” i bit će korišten za identifikaciju ovog zadatka u korisničkom sučelju i dnevnicima. Kada se pokrene, ovaj zadatak će jednostavno ispisati trenutno vrijeme/datum (u dnevnik zadatka).
• task2 također koristi BashOperator s task_id=“echo_hello ”, i naredbom=echo ‘Hello, Airflow!’. Ovo će ispisati lijepu poruku. Trenutno su ove zadatke samo definirane, još nisu povezane.
• Posljednji redak (task1 >> task2) označava ovisnost (tok): task1 prelazi u task2. To znači da će task 1 biti izvršen i završiti uspješno prije nego što se task 2 može razmotriti za raspoređivanje izvođenja. Grafički, u DAG grafu, bit će strelica koja pokazuje s task1 na task2.

Nekoliko stvari koje treba primijetiti u ovom primjeru:

• Za jednostavnost smo koristili samo BashOperator, ali mogli smo koristiti DAG s različitim vrstama operatora. Mogli bismo imati PythonOperator za pozivanje Python funkcije, ili SimpleHttpOperator za pinganje API-ja, i tako dalje.
• Konstrukcija with DAG(…) as dag: je uobičajen način za stvaranje instance DAG-a. Sve zadatke koji se kreiraju unutar nje automatski se povezuje s tim DAG-om.
• catchup=False je parametar koji se koristi u mnogim DAG-ovima s start_date u prošlosti, kada ne želite da se pokreće za sve prošle datume. Ako bismo ostavili catchup=True (zadano) i danas je bio 10. siječnja 2025., Airflow bi pokušao pokrenuti DAG za 1., 2., 3., … sve do 10. siječnja, nadoknađujući propuštene dane u zaostatku. Ovdje smo ga isključili radi jednostavnosti.
• Ovaj primjer koristi relativnu putanju uvoza za BashOperator. U Airflow 2, mnogi operatori su premješteni pod airflow.providers. Ovaj primjer je napisan pod pretpostavkom da su ti provideri instalirani (BashOperator se nalazi u samom Airflow jezgru).

Ovaj jednostavan primjer može se lako proširiti – možete dodati dodatne zadatke (možda izvršiti API poziv, zatim učitati rezultate u bazu podataka, a potom poslati obavijest). Također možete dodati složeniju logiku (poput grananja – Airflow podržava grananje u stilu if/else koristeći BranchOperator, na primjer).

Kako vaši DAG-ovi postaju veći, Airflow-ovo korisničko sučelje i zapisivanje postaju neprocjenjivi za shvaćanje što se događa. U ovom primjeru, zapis za print_date sadržavao bi sustavni datum koji je ispisan, a zapis za echo_hello sadržavao bi „Hello, Airflow!“. Ako bi print_date propao (možda nije mogao pronaći naredbu za datum, u hipotetskom scenariju), tada echo_hello nikada ne bi bio izvršen (zbog ovisnosti), a izvršavanje DAG-a bi bilo označeno kao neuspješno. Zatim biste mogli pregledati zapis, popraviti problem i ponovno pokrenuti taj zadatak ili cijeli DAG.

Uobičajeni slučajevi korištenja Airflowa

Ispod je strukturirani sažetak uobičajenih slučajeva korištenja Apache Airflowa. Tablica ističe što svaki slučaj korištenja uključuje i kako Airflow dodaje vrijednost u tom kontekstu.

Kada NE koristiti Airflow

Iako je Airflow moćan, nije pravi alat za svaku situaciju. Razumijevanje njegovih ograničenja pomaže vam u odabiru ispravnog pristupa orkestraciji:

• Radna opterećenja u stvarnom vremenu ili strujna: Airflow je orijentiran na obradu u serijama s jasno definiranim početkom i krajem. Nije prikladan za dugotrajna, događajem pokretana ili strujna radna opterećenja. Ako unosite kontinuirane tokove događaja (klikove korisnika, IoT senzore itd.) i trebate ih obrađivati s vrlo niskom latencijom u stvarnom vremenu, Airflow nije najbolji izbor.
• Zadaci visoke učestalosti ili mnogi kratki zadaci: Ovo je još jedan slučaj u kojem Airflow možda neće raditi, ili barem ne učinkovito. Airflow zadaci imaju određeni overhead (u praćenju u bazi podataka itd.), pa ako trebate pokretati nešto svake nekoliko sekundi ili imate tisuće malih zadataka, Airflow se možda neće dobro skalirati.
• Potpuno na događajima temeljen radni tijekovi: Ovo je slično slučaju korištenja streaminga, ali za nešto što bi trebalo biti pokrenuto događajem. „Kad god se dogodi događaj X, učini Y“ je potpuno validan slučaj korištenja za Airflow, ali ako je jedina stvar koja bi to trebala pokrenuti događaj (npr. „kad god stigne datoteka u S3 bucket, učini X“), tada Airflow nije najlakše rješenje u ovom slučaju. Airflow općenito koristi senzore (S3KeySensor, na primjer) za 'osjećanje' prisutnosti datoteka/događaja. Senzori imaju nedostatke jer se oslanjaju na ispitivanje. Problemi sa senzorima uključuju pokretanje na postojećim datotekama i ne nužno reagiranje na događaje (npr. ispitivanje se događa u intervalima).

Ukratko, Airflow je prikladan za radne tokove koji su periodični, orijentirani na serije ili složeni za definiranje i upravljanje. Možda nije dobar izbor ako vaš slučaj upotrebe zahtijeva obradu u stvarnom vremenu ili kontinuiranu obradu, ultra-frekventne zadatke ili vrlo jednostavne radne tokove koji ne trebaju Airflowov dodatni sloj. Ako je to slučaj, možda biste trebali istražiti druge opcije ili pojednostaviti svoje rješenje.

Alternativa za Airflow

Prostor orkestracije radnih tokova eksplodirao je posljednjih godina, i dok je Airflow vodeći, postoji nekoliko alternativnih alata koje vrijedi poznati:

Airflow nije jedina opcija koja postoji, a najbolji izbor ovisi o vašem slučaju korištenja. Luigi, Prefect i Dagster često se navode kao glavne druge open-source opcije u istom području (orkestratori radnih tokova temeljeni na Pythonu). Ako vam je Airflow-ovo zastarjelo korisničko sučelje ili neka druga ograničenja nezgodna, trebali biste razmotriti procjenu ovih alternativa. Prefect pokušava biti "bolji" ili "jednostavniji" Airflow, Dagster nastoji biti više "strukturirani" orkestrator s naglaskom na podatkovne resurse, a Luigi je jednostavniji prethodnik Airflow-a. S druge strane, ako se vaš slučaj korištenja značajno razlikuje (npr. streaming u stvarnom vremenu ili potpuno cloud-native), možda uopće nećete koristiti Airflow i možete izravno razmotriti platforme za streaming ili upravljane orkestracijske usluge.

Završne misli

Apache Airflow je open-source platforma za orkestraciju složenih računalnih tijekova rada i pipelines za obradu podataka. Izvorno razvijen u Airbnbu, stekao je značajnu popularnost u zajednicama za podatkovni inženjering i strojno učenje. Komponente Airflowa uključuju planer, izvršitelj, radnike, bazu podataka za metapodatke i web-sučelje. To omogućava timovima jednostavno pokretanje i održavanje ETL, MLOps i infrastrukturalnih pipelines spremnih za proizvodnju. Airflowova DAG (usmjereni aciklički graf) apstrakcija omogućuje da tijekovi rada budu eksplicitni, testabilni i održivi tijekom vremena. Ekosustav platforme koji uključuje operatore i providere izgrađene od strane zajednice također pojednostavljuje orkestraciju tijekova rada koji ovise o bilo kojoj tehnologiji ili alatu.

Međutim, to nije rješenje koje odgovara svima. Najbolje funkcionira s paketnim ili mikro-paketnim cjevovodima, a korisnici moraju biti upoznati s Pythonom. Za streamanje ili radne tokove velike učestalosti postoje druga rješenja prikladnija od Airflowa. Za podatkovne znanstvenike ili timove koji preferiraju pisanje deklarativnih cjevovoda, možda bi bilo vrijedno razmotriti alternativne alate umjesto Airflowa.

Airflow se i dalje aktivno razvija, a nove značajke se dodaju s vremenom, kao što su raspoređivanje događaja, skupovi podataka i izvori. Koncepti i najbolje prakse predstavljeni u ovom vodiču trebali bi vam pomoći, bez obzira na vaše iskustvo, da shvatite kako funkcionira orkestracija radnih tokova i kada bi se Airflow trebao koristiti (ili ne). Nadamo se da će ovo poslužiti kao odskočna daska za daljnje istraživanje ovog bogatog svijeta.

Reference

• Apache Airflow
• Što je Airflow?
• Apache Airflow: Primjeri korištenja, arhitektura i 6 savjeta za uspjeh
• Uvod za početnike u Airflow s Dockerom — podatkovni tokovi u oblaku (I)
• 8 alternativa Airflowu - primjeri korištenja
• Pregled arhitekture
• Raspoređivač

Hvala što učite s Linux-Console.net zajednicom.