Add tunnel heartbeat for fast datapath failover #847

lou-lan · 2023-10-18T11:06:59Z

Datapath Failover

背景

因为 Node 的默认 Ready/NotReady 的检测时间为 40s，对于 EgressGateway 来说改时间太长，无法做到快速故障转移。

所以增加一个 EgressTunnel 的心跳机制，实现快速的故障转移。目前 EgressGateway 控制器已经支持了 watch EgressTunnel 的 CR 进行 EIP 选举。所以只需要在 Controller 和 Agent 各自增加一个小的控制起，实现定期更新的 EgressTunnel 状态判断即可。

在处理数据面故障转移时，创建 EgressGateway 可以通过使用 nodeSelector 来选择一组节点作为 Egress Node。Egress IP 将会绑定到其中的一个节点上。当某个节点发生故障时，Egress IP 将会自动转移到另一个可用节点上。

设计

apiVersion: egressgateway.spidernet.io/v1beta1
kind: EgressGateway
metadata:
  name: egw1
spec:
  clusterDefault: true
  ippools:
    ipv4:
      - 10.6.1.55
      - 10.6.1.56
    ipv4DefaultEIP: 10.6.1.56
    ipv6:
      - fd00::55
      - fd00::56
    ipv6DefaultEIP: fd00::55
  nodeSelector:
    selector:
      matchLabels:
        egress: "true"
status:
  nodeList:
    - eips:
        - ipv4: 10.6.1.56
          ipv6: fd00::55
          policies:
            - name: policy1
              namespace: default
      name: workstation2
      status: Ready
    - name: workstation3
      status: Ready

通过 Helm 的 values 配置，可以调整状态检测和 Egress IP 转移的时间。

feature.tunnelMonitorPeriod：Egress Controller 以秒为单位设置的间隔检查 EgressTunnel 的最后更新状态，默认为 5。
feature.tunnelUpdatePeriod：Egress Agent 以秒为单位设置的间隔更新 EgressTunnel 状态，默认为 5。
feature.eipEvictionTimeout：如果 EgressTunnel 的最后更新时间超过此时间，则将节点的 Egress IP 移动到另一个可用节点，单位为秒，默认为 15。

Datapath Failover 问题排查步骤：

首先，查看 EgressGateway 应用的安装配置文件 values.yaml，确认与 Datapath Failover 相关的配置是否设置合理，特别是确保 eipEvictionTimeout 的值大于 tunnelMonitorPeriod 加上 tunnelUpdatePeriod 的总和；
执行 kubectl get egt -w 命令，检查 EgressTunnel 的状态。检查选中的 Node 是否处于 HeartbeatTimeout 状态，并且是否存在其他处于 Ready 状态的 EgressTunnel；
检查 EgressGateway Controller Pod 的日志信息。

备选设计

使用无中心八卦算法等（缺点时改造量较大）

pkg/config/config.go

pkg/controller/egress_tunnel.go

pkg/agent/vxlan.go

weizhoublue · 2023-10-19T03:37:20Z

gateway pod 的一些高可用能力，可以在相关文档中体现下：
（1）gateway pod 故障心跳
（2）gateway node 故障

故障后，vip 是怎么处理的，恢复后，vip 是怎么处理的
...... 诸如此类

codecov · 2023-10-23T04:37:20Z

Codecov Report

Merging #847 (875bbd6) into main (94708aa) will decrease coverage by 0.75%.
Report is 24 commits behind head on main.
The diff coverage is 12.04%.

@@            Coverage Diff             @@
##             main     #847      +/-   ##
==========================================
- Coverage   40.20%   39.45%   -0.75%     
==========================================
  Files          18       18              
  Lines        2512     2585      +73     
==========================================
+ Hits         1010     1020      +10     
- Misses       1334     1396      +62     
- Partials      168      169       +1

Flag	Coverage Δ
unittests	`39.45% <12.04%> (-0.75%)`	⬇️

Flags with carried forward coverage won't be shown. Click here to find out more.

Files	Coverage Δ
pkg/controller/egress_policy.go	`0.00% <ø> (ø)`
pkg/config/config.go	`50.83% <75.00%> (+2.68%)`	⬆️
pkg/controller/egress_tunnel.go	`26.91% <1.40%> (-3.66%)`	⬇️

weizhoublue · 2023-10-23T12:34:38Z

charts/crds/egressgateway.spidernet.io_egresstunnels.yaml

@@ -60,6 +60,9 @@ spec:
            type: object
          status:
            properties:
+              lastHeartbeatTime:


是所有的agent 都要更新心跳，还只是 gateway node 心跳

是所有的agent 都要更新心跳，还只是 gateway node 心跳

是所有的 agent 都要更新心跳，不是仅为 gateway 的 node。先由 tunnel ready 才会选为 gateway 的可用的节点。

是否不是 gateway 校色的节点，不需要更新？避免大规模集群增加 api 负担

是否不是 gateway 校色的节点，不需要更新？避免大规模集群增加 api 负担

可以实现，被选中的节点上包心跳。需要再更新下代码。

charts/values.yaml

docs/usage/EgressGatewayFailover.zh.md

charts/crds/egressgateway.spidernet.io_egresstunnels.yaml

docs/usage/EgressGatewayFailover.zh.md

weizhoublue · 2023-10-23T12:55:14Z

假设一个场景：
gateway 1 的 agent 和 api server 断网，agent 还在运行
gateway 2 的 agent 因此接管 vip
那么是否会出现 vip 脑裂

lou-lan · 2023-10-23T14:23:46Z

假设一个场景： gateway 1 的 agent 和 api server 断网，agent 还在运行 gateway 2 的 agent 因此接管 vip 那么是否会出现 vip 脑裂

脑裂这种场景只要分区就会发生，

假设一个场景： gateway 1 的 agent 和 api server 断网，agent 还在运行 gateway 2 的 agent 因此接管 vip 那么是否会出现 vip 脑裂

因为是心跳机制，要达到与 api-server 的伪一致性，那么这个与 etcd 失去连接的 agent 应该把 vip 移除（等待超时后）。
如果不按照 1 的方式做，你的假设只有 api-server 分区，但是数据面没有分区，这时候 eip 的新选举，导致出现 2 的 vip 会带来负面影响。
如果不按照 1 的方式，假设真的分为 2 个区，包括数据面。那么与 apiserver 失去连接的 agent 不把 vip 移除是十分友好的。也许这个区有 100 个业务 pod 在使用你的 eip。

weizhoublue · 2023-10-24T07:06:23Z

因为是心跳机制，要达到与 api-server 的伪一致性，那么这个与 etcd 失去连接的 agent 应该把 vip 移除（等待超时后）
-------- 当前代码，是有有这个逻辑

lou-lan · 2023-10-25T11:59:24Z

因为是心跳机制，要达到与 api-server 的伪一致性，那么这个与 etcd 失去连接的 agent 应该把 vip 移除（等待超时后） -------- 当前代码，是有有这个逻辑

讨论结论是，按照 apiserver 超时是，agent 应该摘掉 eip 的方式做。代码还未更新

weizhoublue · 2023-10-27T14:09:01Z

docs/usage/EgressGatewayFailover.zh.md

+## Controller Failover
+
+EgressGateway 控制面故障转移时，可以通过在安装时指定 `controller.replicas` 参数来控制 Controller 的副本数量。在多个 Controller 副本中的一个发生故障时，系统会自动选择另一个副本作为主要控制器，以确保服务的持续提供。
+


说明下该功能默认是开启的，可通过 helm 什么选项关闭

weizhoublue · 2023-10-27T14:10:28Z

单独开个相关用例 PR，下个月再合入

weizhoublue · 2023-10-27T14:13:48Z

docs/usage/EgressGatewayFailover.zh.md

+Datapath Failover 问题排查步骤：
+
+1. 首先，查看 EgressGateway 应用的安装配置文件 `values.yaml`，确认与 Datapath Failover 相关的配置是否设置合理，特别是确保 `eipEvictionTimeout` 的值大于 `tunnelMonitorPeriod` 加上 `tunnelUpdatePeriod` 的总和；
+2. 执行 `kubectl get egt -w` 命令，检查 `EgressTunnel` 的状态。检查选中的 Node 是否处于 `HeartbeatTimeout` 状态，并且是否存在其他处于 `Ready` 状态的 `EgressTunnel`；


检查选中的 Node 是否处于.... 如果有，那么该怎么做

weizhoublue · 2023-10-27T14:16:06Z

docs/usage/EgressGatewayFailover.zh.md

+
+1. 首先，查看 EgressGateway 应用的安装配置文件 `values.yaml`，确认与 Datapath Failover 相关的配置是否设置合理，特别是确保 `eipEvictionTimeout` 的值大于 `tunnelMonitorPeriod` 加上 `tunnelUpdatePeriod` 的总和；
+2. 执行 `kubectl get egt -w` 命令，检查 `EgressTunnel` 的状态。检查选中的 Node 是否处于 `HeartbeatTimeout` 状态，并且是否存在其他处于 `Ready` 状态的 `EgressTunnel`；
+3. 如果想查询是否出现过 HeartbeatTimeout 导致的 IP 切换，可以在 controller 容器检索 `update tunnel status to HeartbeatTimeout` 相关的日志。


这是一个后端式的运维，是否进一步把出现过的问题事件以 cr 的 event 生成，产品化才能对接告警，否则没法产品化告警这么高危的事件

biqiangwu · 2023-10-30T10:28:39Z

1、心跳策略中关于时间参数的设置可以再讨论下
2、Agent 配置心跳探针是不是达到同等效果？

lou-lan requested a review from weizhoublue as a code owner October 18, 2023 11:06

lou-lan changed the title ~~Add the logic for egress IP eviction, controlled by heartbeat.~~ WIP: Add the logic for egress IP eviction, controlled by heartbeat. Oct 18, 2023

weizhoublue reviewed Oct 19, 2023

View reviewed changes

pkg/config/config.go Outdated Show resolved Hide resolved

weizhoublue reviewed Oct 19, 2023

View reviewed changes

pkg/controller/egress_tunnel.go Outdated Show resolved Hide resolved

weizhoublue reviewed Oct 19, 2023

View reviewed changes

pkg/agent/vxlan.go Outdated Show resolved Hide resolved

lou-lan force-pushed the heartbeat branch 2 times, most recently from e14e474 to 029ac58 Compare October 20, 2023 08:32

lou-lan added the release/feature-new feature pr recoded in new release label Oct 20, 2023

lou-lan force-pushed the heartbeat branch 6 times, most recently from e111148 to 646b209 Compare October 23, 2023 04:33

lou-lan force-pushed the heartbeat branch 2 times, most recently from c4d47de to 4830630 Compare October 23, 2023 11:46

lou-lan changed the title ~~WIP: Add the logic for egress IP eviction, controlled by heartbeat.~~ Add EgressTunnel heartbeat for fast datapath failover Oct 23, 2023

lou-lan changed the title ~~Add EgressTunnel heartbeat for fast datapath failover~~ Add tunnel heartbeat for fast datapath failover Oct 23, 2023

lou-lan requested review from weizhoublue, biqiangwu and bzsuni October 23, 2023 11:51

weizhoublue reviewed Oct 23, 2023

View reviewed changes

charts/values.yaml Outdated Show resolved Hide resolved

weizhoublue reviewed Oct 23, 2023

View reviewed changes

docs/usage/EgressGatewayFailover.zh.md Outdated Show resolved Hide resolved

weizhoublue reviewed Oct 23, 2023

View reviewed changes

charts/crds/egressgateway.spidernet.io_egresstunnels.yaml Show resolved Hide resolved

weizhoublue reviewed Oct 23, 2023

View reviewed changes

docs/usage/EgressGatewayFailover.zh.md Show resolved Hide resolved

weizhoublue reviewed Oct 23, 2023

View reviewed changes

docs/usage/EgressGatewayFailover.zh.md Show resolved Hide resolved

lou-lan force-pushed the heartbeat branch from 4830630 to 9a5eac0 Compare October 25, 2023 11:39

lou-lan force-pushed the heartbeat branch 4 times, most recently from 67ec51c to 1f5e3c9 Compare October 26, 2023 03:16

weizhoublue reviewed Oct 27, 2023

View reviewed changes

lou-lan force-pushed the heartbeat branch from 1f5e3c9 to 4c7e150 Compare October 30, 2023 09:36

lou-lan force-pushed the heartbeat branch 3 times, most recently from 7352b79 to a2f10b8 Compare October 30, 2023 13:16

Add heartbeat

875bbd6

lou-lan force-pushed the heartbeat branch from a2f10b8 to 875bbd6 Compare October 30, 2023 13:19

lou-lan merged commit e090e9c into main Oct 30, 2023
38 checks passed

lou-lan deleted the heartbeat branch October 30, 2023 13:33

lou-lan mentioned this pull request Oct 31, 2023

egressgateway heart beat #510

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Add tunnel heartbeat for fast datapath failover #847

Add tunnel heartbeat for fast datapath failover #847

lou-lan commented Oct 18, 2023 •

edited

Loading

weizhoublue commented Oct 19, 2023

codecov bot commented Oct 23, 2023 •

edited

Loading

weizhoublue Oct 23, 2023

lou-lan Oct 23, 2023 •

edited

Loading

weizhoublue Oct 24, 2023

lou-lan Oct 25, 2023

weizhoublue commented Oct 23, 2023

lou-lan commented Oct 23, 2023 •

edited

Loading

weizhoublue commented Oct 24, 2023

lou-lan commented Oct 25, 2023 •

edited

Loading

weizhoublue Oct 27, 2023

weizhoublue commented Oct 27, 2023 •

edited

Loading

weizhoublue Oct 27, 2023

weizhoublue Oct 27, 2023 •

edited

Loading

biqiangwu commented Oct 30, 2023

		## Controller Failover

		EgressGateway 控制面故障转移时，可以通过在安装时指定 `controller.replicas` 参数来控制 Controller 的副本数量。在多个 Controller 副本中的一个发生故障时，系统会自动选择另一个副本作为主要控制器，以确保服务的持续提供。

Add tunnel heartbeat for fast datapath failover #847

Add tunnel heartbeat for fast datapath failover #847

Conversation

lou-lan commented Oct 18, 2023 • edited Loading

Datapath Failover

背景

设计

备选设计

weizhoublue commented Oct 19, 2023

codecov bot commented Oct 23, 2023 • edited Loading

Codecov Report

weizhoublue Oct 23, 2023

Choose a reason for hiding this comment

lou-lan Oct 23, 2023 • edited Loading

Choose a reason for hiding this comment

weizhoublue Oct 24, 2023

Choose a reason for hiding this comment

lou-lan Oct 25, 2023

Choose a reason for hiding this comment

weizhoublue commented Oct 23, 2023

lou-lan commented Oct 23, 2023 • edited Loading

weizhoublue commented Oct 24, 2023

lou-lan commented Oct 25, 2023 • edited Loading

weizhoublue Oct 27, 2023

Choose a reason for hiding this comment

weizhoublue commented Oct 27, 2023 • edited Loading

weizhoublue Oct 27, 2023

Choose a reason for hiding this comment

weizhoublue Oct 27, 2023 • edited Loading

Choose a reason for hiding this comment

biqiangwu commented Oct 30, 2023

lou-lan commented Oct 18, 2023 •

edited

Loading

codecov bot commented Oct 23, 2023 •

edited

Loading

lou-lan Oct 23, 2023 •

edited

Loading

lou-lan commented Oct 23, 2023 •

edited

Loading

lou-lan commented Oct 25, 2023 •

edited

Loading

weizhoublue commented Oct 27, 2023 •

edited

Loading

weizhoublue Oct 27, 2023 •

edited

Loading