DAGs. Airflowssa DAG – tai a suunnattu asyklinen kaavio – on kokoelma kaikkia suoritettavia tehtäviä, jotka on järjestetty tavalla, joka kuvastaa heidän suhteitaan ja riippuvuuksiaan.
Kuinka teet DAG:t Airflow:ssa?
Jos haluat luoda DAG:n Airflow:ssa, täytyy aina tuoda DAG-luokka DAG-luokan jälkeen tulevat Operaattorien tuonti. Periaatteessa jokaiselle operaattorille, jota haluat käyttää, sinun on tehtävä vastaava tuonti. Jos esimerkiksi haluat suorittaa Python-funktion, sinun on tuotava PythonOperator.
Mistä Airflow etsii DAG:ita?
Airflow etsii DAGS_FOLDER moduuleista, jotka sisältävät DAG-objekteja globaalissa nimiavaruudessaan ja lisää löytämänsä objektit DagBagista.
Miten Airflow säilyttää DAG:t?
Apache Airflow -metadatatietokanta:
Metatietokanta tallentaa kokoonpanot, kuten muuttujat ja yhteydet Se myös tallentaa käyttäjätiedot, roolit ja käytännöt. Lopuksi Scheduler jäsentää kaikki DAG:t ja tallentaa asiaankuuluvat metatiedot, kuten aikatauluvälit, tilastot kustakin ajosta ja niiden tehtävät.
Onko Airflow ETL-työkalu?
Airflow ei ole ETL-työkalu sinänsä. Mutta se hallitsee, jäsentää ja järjestää ETL-putkia käyttämällä jotain nimeltään Directed Acyclic Graphs (DAG). … Metatietokanta tallentaa työnkulkuja/tehtäviä (DAG:t).
