Cilium系列-13-启用XDP加速及Cilium性能调优总结

花项虎
• 阅读 352

系列文章

前言

将 Kubernetes 的 CNI 从其他组件切换为 Cilium, 已经可以有效地提升网络的性能. 但是通过对 Cilium 不同模式的切换/功能的启用, 可以进一步提升 Cilium 的网络性能. 具体调优项包括不限于:

  • 启用本地路由(Native Routing)
  • 完全替换 KubeProxy
  • IP 地址伪装(Masquerading)切换为基于 eBPF 的模式
  • Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • 绕过 iptables 连接跟踪(Bypass iptables Connection Tracking)
  • 主机路由(Host Routing)切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19)
  • 禁用 Hubble(但是不建议, 可观察性比一点点的性能提升更重要)
  • 修改 MTU 为巨型帧(jumbo frames) (需要网络条件允许)
  • 启用带宽管理器(Bandwidth Manager) (需要 Kernel >= 5.1)
  • 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
  • 启用 XDP 加速 (需要 支持本地 XDP 驱动程序)
  • (高级用户可选)调整 eBPF Map Size
  • Linux Kernel 优化和升级

    • CONFIG_PREEMPT_NONE=y
  • 其他:

    • tuned network-* profiles, 如: tuned-adm profile network-latencynetwork-throughput
    • CPU 调为性能模式
    • 停止 irqbalance,将网卡中断引脚指向特定 CPU

在网络/网卡设备/OS等条件满足的情况下, 我们尽可能多地启用这些调优选项, 相关优化项会在后续文章逐一更新. 敬请期待.

今天我们来调优 Cilium, 启用 XDP 加速, 以便能够直接从网络驱动层处理 NodePort 等入站请求,这有助于减少延迟和扩展服务。另外并对 Cilium 性能调优做阶段总结.

XDP 加速

Cilium 内置了对 NodePort、LoadBalancer 服务和具有外部 IP 的服务的加速支持,以便在后端位于远程节点时,将到达的请求从该节点直接推回。该功能在 Cilium 1.8 版的 XDP(eXpress Data Path)层中引入,eBPF 直接在网络驱动程序中运行,而不是在更高层中运行。

在这种情况下,网络数据包不需要一直推送到上层网络堆栈,而是在 XDP 的帮助下,Cilium 能够直接从网络驱动层处理这些请求。鉴于单个节点的转发能力大幅提高,这有助于减少延迟和扩展服务。从 Cilium 1.8 版开始,XDP 层的 kube-proxy 将被替换。

要求

  • Kernel >= 4.19.57, >= 5.1.16, >= 5.2
  • 支持原生的 XDP 驱动程序,具体请查看 Cilium 的驱动程序列表
  • Direct-routing 配置
  • 基于 eBPF 的 kube-proxy 替换

要启用 XDP 加速,请查看 Cilium 的入门指南,其中还包含在公共云提供商上进行设置的说明。

该模式设置 loadBalancer.acceleration 允许通过 native 选项启用加速。禁用选项是默认选项,用于禁用加速。大多数支持 10G 或更高速率的驱动程序在最新内核上也支持 native XDP。对于基于云的部署,这些驱动程序中的大多数都有支持本地 XDP 的 SR-IOV 变体。对于内部部署,Cilium XDP 加速可与 Kubernetes 的负载平衡器服务实现(如 MetalLB)结合使用。加速功能只能在用于直接路由的单个设备上启用。

负载平衡器加速设置支持 DSR、SNAT 和混合模式.

为了了解 Cilium 的 XDP 服务加速在全局中的位置,下文简要介绍了 Cilium 1.8 的服务负载平衡架构:

Cilium系列-13-启用XDP加速及Cilium性能调优总结

可以看出,Cilium 在 eBPF 中的 kube-proxy 替代方案在高层上由两个主要部分组成:套接字层的 eBPF 和驱动层的 eBPF。

  • 东西向流量,即所有 Cilium 管理节点之间的服务流量,仅在内核的套接字层处理,在此之前不会为数据包元数据分配内存。在这一点上执行,可使 Cilium 消除服务转换的每包成本。
  • 南北流量,即从外部源到 Cilium 管理节点的所有入站服务流量,都在尽可能靠近驱动层的地方进行处理,在单个接口上进行入口和出口操作。这样就能非常快速地处理转发,甚至可以在堆栈上层进行任何昂贵的操作之前,将流量丢弃或反射回入站接口。处理南北流量的后一个组件则通过 XDP 进行加速。

Cilium 的服务 XDP 加速目前支持直接路由模式,与我们的 tc eBPF 实现共享相同的核心代码。在 XDP 服务转换后,提供了三种将流量重定向到远程后端的选项:DSR、SNAT 和 Hybrid。

实施

helm upgrade cilium cilium/cilium --version 1.13.4 \
    --namespace kube-system \
    --reuse-values \
    --set loadBalancer.acceleration=native

验证

要验证您的安装是否使用了 XDP 加速功能,请在任何一个 Cilium pod 中运行 cilium status,并查找报告 "XDP Acceleration"状态的行,其中应显示 "Native"。如下所示:

$ kubectl -n kube-system exec ds/cilium -- cilium status --verbose | grep XDP
  XDP Acceleration:    Native

请注意,在 XDP 层为处理 NodePort 而从设备推回的数据包在 tcpdump 中是看不到的,因为数据包抽头是在网络堆栈的较后阶段出现的。可以使用 Cilium 的监控命令或 metric counters 来获得可见性。

性能提升

Cilium 进行了初步的基准测试,将单个服务部署到一个刚刚部署了 kubeadm 的节点上,该节点的内核为 5.7,使用基于 iptables 和 ipvs 的 kube-proxy 运行以获得基线,然后将 Cilium 的 kube-proxy 替换从 tc 和 XDP 端插入 eBPF,并将其置于 eBPF 的正前方:

Cilium系列-13-启用XDP加速及Cilium性能调优总结

初步结果显示,Cilium 的 kube-proxy 替代品的 XDP 加速能力大幅提升,能够最大限度地利用数据包生成器,将所有 1000 万个传入请求推送到远程服务后端,而使用 kube-proxy 时,被测节点每秒只能为同一服务转发约 210 万个请求,其余请求则会被丢弃。在 ipvs 中也观察到了类似的情况,尽管与 iptables 相比,ipvs 对大量服务的 "首包 "可扩展性更好,但每包成本似乎略高。将 kube-proxy 替换为 Cilium 的 tc eBPF 实现,不仅解决了 "第一数据包"可扩展性问题,还提高了性能,这一点从该节点每秒约 360 万次请求中可以看出,不过这仍然无法与 Cilium 在 XDP 层进行加速时获得的显著增益相比:

Cilium系列-13-启用XDP加速及Cilium性能调优总结

比较 kube-proxyCilium 的 XDP 实现在每秒 1000 万次请求下的火焰图,还显示了在驱动程序的轮询例程中加速服务处理的捷径。此外,与在 tc 下运行 eBPF 的 Cilium 以及在 iptables 和 ipvs 模式下的 kube-proxy 相比,在 softirq 环境下,XDP 加速转发所需的处理开销要少得多。下面的测试在原本空闲的系统上运行,节点的 CPU 仅用于处理 softirq。图中显示了可用的剩余 CPU 容量。从图中可以看出,即使在特定节点每秒约 100 万个请求的低速率下,CPU 也只将约 13% 的时间用于处理 XDP 的 softirq 上下文,因此还有 87% 的剩余容量可用于其他方面,而在 kube-proxy 情况下,CPU 至少将 60% 的时间用于服务 softirq 上下文,最多只有 40% 的剩余可用容量。在每秒约 200 万或 400 万个请求的情况下,kube-proxy 的情况会变得更糟,只有 1-2% 的空闲份额,而 CPU 要花 98% 的时间在 softirq 上下文中处理数据包:

Cilium系列-13-启用XDP加速及Cilium性能调优总结

简而言之,利用 Cilium 加速 XDP 下的 Kubernetes 服务处理,可大幅提高向远程后端推送数据包的性能,同时显著降低 CPU 开销。在默认外部流量策略(externalTrafficPolicy: Cluster)下,这也提高了集群的整体容量。这意味着,将服务扩展到更多后端只能达到单个节点向这些后端转发能力的上限。不过,即使 Kubernetes 部署不需要处理那么多数据包,这些 CPU 周期也可以释放出来,用于实际的用户工作负载。

小结

本文继续调优 Cilium, 启用 XDP 加速, 以便能够直接从网络驱动层处理 NodePort 等入站请求. 具体收益为:

  • 大幅提高向远程后端推送数据包的性能
  • 显著降低 CPU 开销
  • 提高集群的整体容量

至此,性能调优已完成实战验证:

  • ✔️ 启用本地路由 (Native Routing)
  • ✔️ 完全替换 KubeProxy
  • ✔️ IP 地址伪装 (Masquerading) 切换为基于 eBPF 的模式
  • ✔️ Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • ✔️ 绕过 iptables 连接跟踪 (Bypass iptables Connection Tracking)
  • ✔️ 主机路由 (Host Routing) 切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • ❌ 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19, 支持的 NICs: mlx4, mlx5)

    • 由于没有支持的网卡, 无法完成验证
  • ❌ 修改 MTU 为巨型帧 (jumbo frames) (需要网络条件允许)

    • 由于网络条件不允许, 无法完成验证
  • ✔️ 启用带宽管理器 (Bandwidth Manager) (需要 Kernel >= 5.1)
  • ✔️ 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
  • ✔️ 启用 XDP 加速 (需要 支持本地 XDP 驱动程序)

Cilium 性能调优总结

至此, 我们阶段性地完成了 Cilium 主要的性能优化点.

Cilium 调优分为以下几个大维度:

  1. Cilium 调优
  2. 底层网络调优
  3. Linux Kernel 优化和升级
  4. 其他维度调优

Cilium 调优

Cilium 调优包括:

  • 启用本地路由(Native Routing)
  • 完全替换 KubeProxy
  • IP 地址伪装(Masquerading)切换为基于 eBPF 的模式
  • Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • 绕过 iptables 连接跟踪(Bypass iptables Connection Tracking)
  • 主机路由(Host Routing)切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19)
  • 禁用 Hubble(但是不建议, 可观察性比一点点的性能提升更重要)
  • 启用带宽管理器(Bandwidth Manager) (需要 Kernel >= 5.1)
  • 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
  • 启用 XDP 加速 (需要 支持本地 XDP 驱动程序)
  • (高级用户可选)调整 eBPF Map Size

底层网络调优

底层网络调优包括:

  • 修改 MTU 为巨型帧(jumbo frames) (需要网络条件允许)

Linux Kernel 优化和升级

Linux Kernel 优化和升级包括:

  • CONFIG_PREEMPT_NONE=y

其他维度调优

其他维度调优包括:

  • tuned network-* profiles, 如: tuned-adm profile network-latencynetwork-throughput
  • CPU 调为性能模式
  • 停止 irqbalance,将网卡中断引脚指向特定 CPU

Cilium "终极"优化配置

根据个人经验, 推荐的 Cilium "性能模式" 配置为:

首先, Kernel >= 5.10, 这是最新的稳定版的内核, 可以启用对调优非常重要的"基于 BPF 的主机路由"功能, 可以启用 Cilium 的大部分功能, 如下:

Cilium 功能最小 Kernel 版本
带宽管理器>= 5.1
Egress Gateway>= 5.2
VXLAN 隧道端点 (VTEP) 集成>= 5.2
WireGuard 透明加密>= 5.6
Session Affinity的完整支持>= 5.7
基于 BPF 的代理重定向>= 5.7
pod netns 中的套接字级 LB 旁路>= 5.7
L3 设备>= 5.8
基于 BPF 的主机路由>= 5.10
Pod 的 BBR 拥塞控制>=5.18
IPv6 BIG TCP 支持>= 5.19

之后, 推荐 Cilium 配置和功能包括:

  • 禁用隧道, 禁用加密
  • 启用本地路由(Native Routing)
  • 完全替换 KubeProxy
  • IP 地址伪装(Masquerading)切换为基于 eBPF 的模式
  • Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • 主机路由(Host Routing)切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • 启用带宽管理器(Bandwidth Manager) (需要 Kernel >= 5.1)
  • 启用 XDP 加速 (需要 支持本地 XDP 驱动程序, 但是大部分 10G/40G 网卡, 包括虚拟网卡以及云供应商已经支持了.)

绕过 iptables 连接跟踪(Bypass iptables Connection Tracking) 就是可选项了, 因为启用了"基于 BPF 模式的主机路由"后, 是没有必要设置改选项的.

启用 IPv6 BIG TCP 不建议启用, 一方面是对内核要求较高, 需要 Linux Kernel >= 5.19; 另一方面是 IPv6 在 Kubernetes 的使用还未大规模普及.

也不建议为了提升性能而禁用 Hubble, 因为可观察性比一点点的性能提升更重要.

不建议启用 Pod 的 BBR 拥塞控制, 也是因为其对内核要求较高, 需要 Kernel >= 5.18. 有条件的可以按需启用.

最终, 安装的命令如下:

helm install cilium cilium/cilium --version 1.13.4 \
    --namespace kube-system \
    --set operator.replicas=2 \
    --set hubble.relay.enabled=true \
    --set hubble.ui.enabled=true
    --set tunnel=disabled \
    --set kubeProxyReplacement=strict \
    --set bpf.masquerade=true \
    --set loadBalancer.mode=dsr \
    --set bandwidthManager.enabled=true \
    --set loadBalancer.acceleration=native \
    --set k8sServiceHost=${API_SERVER_IP} \
    --set k8sServicePort=${API_SERVER_PORT}

🐾Warning

  1. 本地路由需要添加更多 helm 参数, 请按照您的实际情况进行选择和添加.
  2. loadBalancer.mode 根据您的实际需求, 从 DSR 和 hybrid 中选择. (默认 SNAT 模式)

🎉🎉🎉

📚️参考文档

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.
点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
美凌格栋栋酱 美凌格栋栋酱
4个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
花项虎
花项虎
Lv1
我去过很多地方,却只遇见过很少的我们
文章
5
粉丝
0
获赞
0