使用 Apache Airflow 的环境变量

Apache Airflow 是什么?

Apache Airflow是一种开源的工作流管理工具。它使用有向非循环图(DAG)创建工作流,可以进行数据导入、处理等各种处理的工作流控制。
此外,云供应商如AWS等提供了Apache Airflow的托管服务,使其成为相对容易引入和使用的工具。
本文使用Airflow 2.2版本。

使用Apache Airflow的环境变量。

在Apache Airflow中,可以通过Airflow UI的管理界面设置DAG可使用的环境变量(Variables)。

設定環境變數。

mwaa-handson-var-6.png

在DAG的代码中使用环境变量。

在DAG的代码中,首先需要导入Variable。您可以使用Variable.get(Key值)来获取环境变量的值。

from airflow.models import DAG, Variable
output_table_name = Variable.get("output_table")
bannerAds