问题是什么？

我们的目标是以自动化方式大规模构建、打包、测试和分发经过精心策划且受信任的容器。这些容器可以是任何性质的，这意味着我们需要一种解决方案，允许我们使用任何类型的构建工具（如 Maven、Rust、Java、Ant 或 Go）构建任何类型的软件。

这些容器的构建需要安装多个库（这些库甚至可能存在冲突），并需要编排包含多个集成、按计划执行或由外部系统事件触发的复杂工作流程。

最后，我们的构建管道将由上游源代码的发布触发。这意味着当软件所有者发布新版本时，我们需要触发我们的管道。

Apache Airflow 如何帮助解决这个问题？

事实证明，Apache Airflow 是实现和控制我们管道的完美解决方案。它能够以编程方式编排复杂的工作流程并监控其执行情况，并通过全面的图形界面和详细的日志视图进行补充。

通过使用像 Python 这样的高级语言进行扩展，我们能够以令人难以置信的灵活性和质量将我们的工作流程自定义为代码。Apache Airflow 使我们能够动态创建和执行来自外部源的任务，并安排它们批量运行，从而可靠地执行大规模流程。

Apache Airflow 还允许跨不同性质的节点执行依赖任务。这帮助我们在适当的工作节点上编排构建每个容器的步骤。它提供了多个预构建功能，以方便与外部 API 集成，在事件发生时通过 Slack 或电子邮件通知事件。它隔离任务执行的能力使我们能够进行扩展，无需担心底层细节。其完整的 REST API 使我们能够通过外部源产生的事件触发工作流程。

结果是什么？

感谢 Apache Airflow，我们已经能够在创纪录的时间内自动化创建容器集合的生命周期。我们可以更快、更可靠地执行并发进程，并通过直接的配置来控制上游故障处理或任务级并发等方面的因素。