距离上一篇airflow 进阶居然过了两个月了，
不得不说从上线 airflow 以来问题出了一些，这篇我就来分享下使用过程中踩过的坑，
也欢迎有兴趣的同学发信分享你遇到的问题或者解决办法。
继续阅读 »
最近发现 airflow 任务执行顺序有些奇怪，于是看了下 airflow 关于权重的处理，解答了心中的疑问。
以最新的稳定版(v1.8-stable)为例，代码总共就这么一小段
python
@property
def priority_weight_total(self):
return sum([
t.priority_weight
for t in self.get_flat_relatives(upstream=False)
]) + self.priority_weight
继续阅读 »
Table of Contents
{:toc}
最近被线上任务折磨得不行了，总是隔三差五出各种问题，导致日志丢了或者脚本没跑成功，
出了问题就需要手动去修复，比如手动把少的日志补齐，重跑失败的脚本。有些脚本之间有依赖关系，
手动跑起来就比较复杂，需要隔一会看一眼脚本有没有跑完，再接着跑下一个，严重影响效率。
所以我想如果有个程序能帮我定义好我的任务依赖关系，由它来自动解决运行时的依赖，
如果能有可视化界面看到执行状态，管理任务就更好了。
最近找到一个满足现在这些需求的开源项目—— airflow。
继续阅读 »
Table of Contents
{:toc}
上一篇介绍了 airflow 的基本概念和操作，隔了两个月，终于觉得要写些进阶内容了，
同时也在公司内开始摸索着使用了起来，中间也是遇到了许多问题，如这个项目的网址所表达的，
现在仍是一个孵化项目，使用在线上仍需谨慎。我就来做回吃螃蟹的人，分享下最近使用的心得，
以及遇到的一些问题。
继续阅读 »
最近在写 airflow 的脚本时遇到一个问题，出于方便把 BaseSensorOperator 包了一层，
后来想改下超时时间和优先级等参数，发现改了没用，于是看了下源码，发现 Operator 都有个 apply_defaults
的装饰器，细看一看，实现挺巧妙，也解释了我遇到的问题。因为我的问题属于个人使用不当导致的，
所以就不放问题代码了，但我会在分析后给出一些使用方面要注意的地方和建议。
继续阅读 »