在阿里巴巴经济体的整体云原生化过程当中,阿里的技术团队逐渐沉淀出了一套紧贴上游社区标准、适应互联网规模化场景的技术理念与最佳实践。这其中,最重要的无疑是如何对应用进行自动化的发布、运行和管理。于是,阿里云容器团队将这些能力通过 OpenKruise 反哺社区,以期指引业界云原生化最佳实践,少走弯路。
今年 双11,阿里巴巴实现了核心系统的全面云原生化。截至 2020 年 双11,阿里巴巴内部已运行近十万 OpenKruise 的 workload、管理着上百万容器。
下图展示了阿里巴巴内部运行的 OpenKruise 版本与开源版本之间的关系:
从上图可以看出:Github 上的 OpenKruise 就是我们主体的上游仓库,而内部的下游仓库只基于公共接口实现了极少数内部耦合功能(这部分代码只占据了不到 5%),也就是说阿里巴巴内部运行的 OpenKruise 其中 95% 以上的代码完全来自于社区仓库。
有两点值得说明:
做上层业务的同学可能对 “应用负载(workload)” 缺乏概念,这里先简单做个介绍。不知道你是否有好奇过,每一次应用扩缩容、发布操作的背后是如何实现的呢?在云原生的环境下,我们都是通过面向终态的方式去描述应用的部署需求(需要的机器数、镜像版本等等),见下图:
应用负载(workload)主要指的就是这个 YAML 定义和对应的控制器:
当应用扩缩容时,PaaS(运维平台)会修改上述 YAML 对象中的需求机器数(比如扩容 10 台改为 110,再缩容 5 台则改为 105),然后控制器就会按照 workload 期望的数量来调整实际运行的 Pod(容器)数量。当应用触发发布或回滚时,PaaS(运维平台)则会修改上述 YAML 对象中的镜像版本和发布策略,控制器就会按照给指定的发布策略来将所有管理的 Pod(容器)重建为期望版本(这只是一些便于理解的简化描述,实际工作机制会复杂得多)。
也就是说,应用负载(workload)管理着应用所有容器的生命周期。不仅应用扩容、缩容、发布都依赖于 workload 的工作,workload 还负责持续维持应用运行时的 Pod(容器)数量,来保证持续有符合期望数量的实例在跑着。如果有宿主机发生故障、上面的应用实例被驱逐,那么 workload 会立即再为应用扩出新的容器。
随着阿里巴巴经济体上云,双11 主体相关的电商类业务、以及中间件等应用都迁移到了云原生环境下,统一使用 OpenKruise 的应用负载能力做部署。OpenKruise 提供了多种不同类型的 workload 来支持不同的部署方式:
因此,我们看到从上层电商业务到中间件,再到运维容器、基础组件,整个上下游链路都是依赖于 OpenKruise 提供的 workload 做部署和运行。不管是应用运行时的机器数量、版本管理,还是紧急扩容、发布等操作,都有 OpenKruise 无时无刻在维护着。
可以想象,如果 OpenKruise 出现了故障会发生什么?
当然,针对以上高危情况,我们做了很多重的防护措施,务必保障业务的稳定可用。
这就是阿里巴巴的云上部署基座,OpenKruise 几乎承载了全量 双11 业务的部署管理与运维职责。
OpenKruise 从何而来?或者说什么问题或需求促使了 OpenKruise 的诞生呢?
当上云成为大势、当云原生逐渐成为标准,我们却发现 Kubernetes 原生提供的 workload 能力根本无法满足阿里巴巴超大规模业务场景的需求:
在这种背景下,OpenKruise 出现了。我们通过或是全新开发(CloneSet、SidecarSet),或是兼容性增强(Advanced StatefulSet、Advanced DaemonSet),来使得上层业务终于可以顺利落地云原生。
OpenKruise 首推的功能就是“原地升级”。通过这种能力,我们终于可以使应用发布不需要将容器飘移重建,而是在原地、原 Pod 上只升级需要更新的镜像。这样带来的好处太多了:
当然,除此之外我们还增强了许多其他的高级能力,满足了许多种面向大规模场景下的业务诉求,本文不做一一介绍,但下图可以看到 OpenKruise 与 Kubernetes 原生应用负载针对无状态、有状态应用的功能对比:
2020 年 11 月 11 日,在这个特殊的时点,阿里巴巴技术人又迎来一件大事:经 CNCF 技术监督委员会全体成员投票,一致同意将阿里云开源的 OpenKruise 正式晋级为 CNCF 托管项目。
正如开篇所说,OpenKruise 已经完成了社区开源,并且内外的版本做到几乎完全一致。除此之外,我们还将 OpenKruise 提供到了阿里云容器服务的应用目录中,公有云上的任意客户都可以一键安装和使用 OpenKruise,真正实现 OpenKruise 在阿里集团内部业务、云产品、开源社区中的“三位一体”。目前在 ACK 上使用 OpenKruise 的客户主要包括斗鱼 TV、申通、有赞等,而开源社区中携程、Lyft 等公司也都是 OpenKruise 的用户和贡献者。
OpenKruise 将基于阿里巴巴超大规模场景锤炼出的云原生应用负载能力开放出来,不仅在云原生社区中补充了扩展应用负载的重要板块,还为云上客户提供了阿里巴巴多年应用部署的管理经验和云原生化历程的最佳实践成果。从正式开源之日起,OpenKruise 项目已经建立多个关键里程碑:
后续,OpenKruise 的重点包括但不限于以下几个目标:
如果你对 OpenKruise 的发展有任何建议,欢迎发表在下方评论区。另外,你可以通过搜索钉钉群号:23330762 进入 “OpenKruise 社区交流钉钉群”,我们衷心欢迎每一位开源爱好者来参与 OpenKruise 的建设,共同打造云原生领域最成熟、面向最大规模的应用自动化引擎。