HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Airflow任务流调度

Airflow是Airbnb内部发起的一个工作流管理平台。使用Python编写实现的任务管理、调度、监控工作流平台。Airflow的调度依赖于crontab命令,与crontab相比,Airflow可以方便地查看任务的执行状况(执行是否成功、执行时间、执行依赖等),可追踪任务历史执行情况,任务执行失

Airflow快速学习入门

一、Airflow简介Airflow是一个使用Python语言编写的DataPipeline调度和监控工作流的平台。Airflow是通过DAG(Directedacyclicgraph有向无环图)来管理任务流程的任务调度工具,不需要知道业务数据的具体内容,设置任

Kubernetes部署弹性Airflow集群

在本文中,我将演示如何构建一个弹性Airflow集群,当负载低于阈值时,该集群可以在高负载下安全地横向扩展。通过水平Pod自动缩放器支持Kubernetes中的自动缩放。使用HPA,可以直接进行横向扩展,HPA可以为部署增加副本,并可以创建其他worker来共享工作负载。但是,伸缩是问题所在,伸

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。