如何使用Cloud Composer安排外部集群中的Kubernetes工作负载
我打算使用Google Cloud Composer（Apache Airflow）来管理我们的数据管道。某些处理步骤在Docker映像中定义，我希望触发这些映像以在Google Kubernetes Engine上运行。这些处理步骤通常是resourc... 阅读全文
kubernetes google-kubernetes-engine airflow google-cloud-composer如何让Google Cloud Composer (airflow)在另一个kubernetes群集上运行作业
我想让我的Cloud Composer环境（Google Cloud的托管Apache Airflow服务）在另一个kubernetes群集上启动pod。我应该怎么做？ 请注意，Cloud composer在kubernetes集群上运行气流。该群集被认... 阅读全文
kubernetes google-cloud-platform airflow google-cloud-composerApache的气流Golang客户library支持
我使用谷歌云composer基本上给你一个Apache的气流环境。由于我的应用程序是用Golang，我一直在寻找一个golang客户library创建和云Composer气流环境中执行的DAG。请让我知道，如果有任何。 阅读全文
go google-cloud-platform airflow google-cloud-composer如何使用bash批量检索Airflow连接 (Google Composer)
我正在尝试使用基础结构作为代码的方式创建一个作曲者环境。 为此，我需要能够以编程方式存储和检索气流变量，并将其版本化。 以下命令可让我列出指定$COMPOSER_ENV内的所有连接 gcloud composer environments run `$C... 阅读全文
bash awk google-cloud-platform airflow google-cloud-composer如何将嵌套词典作为ENV变量传递给Kubernetes Pod操作员
在DAG脚本中 PARAM = { 'key1' : 'value1', 'key2' : 'value2' } t1 = KubernetesPodOperator( task_id=task_id, name=task_name, cmds=["pi... 阅读全文
docker kubernetes airflow google-cloud-composer