Kiểm thử BFD: detection nhanh chưa đồng nghĩa dịch vụ phục hồi nhanh

RFC 5880 mô tả BFD như cơ chế phát hiện lỗi đường truyền hai chiều với chi phí thấp, độc lập tương đối với media và routing protocol. BFD không tự chọn đường thay thế hay cập nhật FIB. Một bài kiểm thử đúng phải trả lời ba mốc riêng: peer phát hiện lỗi lúc nào; routing/control plane chọn đường mới lúc nào; packet hoặc giao dịch hợp lệ đầu tiên đi qua đường mới lúc nào.

Chốt phạm vi là single-hop, multihop hay BFD gắn với LAG, tunnel, IGP hoặc BGP. Xác định lỗi cần phát hiện: mất link vật lý, blackhole một chiều, mất forwarding nhưng interface vẫn Up, peer process lỗi hay congestion. Không dùng một sự kiện link-down để suy ra BFD xử lý được mọi failure mode.

Topology tối thiểu gồm traffic generator hai phía, router A/B chạy BFD, một đường chính, một đường dự phòng và điểm thu control-plane state. Nếu kiểm thử ECMP, thêm đủ flow để quan sát từng next hop. Với multihop BFD, ghi rõ TTL, route tới peer và đường return; với tunnel, chỉ rõ BFD chạy trên outer hay inner context.

Thu packet BFD tại hai đầu khi khả thi, route/FIB event, interface counter, CPU và traffic sequence. Generator phải phát luồng liên tục trước–trong–sau lỗi, có sequence number hoặc transaction ID. Đồng bộ thời gian hoặc dùng một hệ đo chung; nếu clock lệch 20 ms, kết luận hội tụ 30 ms không có ý nghĩa.

Ghi implementation/version, BFD mode, Desired Min TX Interval, Required Min RX Interval, Detect Multiplier, echo mode nếu dùng, authentication, demand mode và cách routing client đăng ký trạng thái. Giá trị detection lý thuyết không phải SLA thực tế; scheduler, hardware offload, queue, CPU và packet loss có thể làm timeout sớm hoặc muộn.

Khóa routing protocol, hello/dead timer, SPF/hold-down, BGP policy, PIC/FRR, FIB programming, ECMP hash, BFD dampening và interface debounce. Traffic profile phải có packet rate, frame size, flow count, QoS marking và tải control plane. Chỉ thay một nhóm biến mỗi lượt.

Biến · Cần ghi · Rủi ro nếu bỏ sót

BFD interval/multiplier · TX, RX, negotiated, multiplier · So sai detection budget

Session type · single-hop, multihop, per-link · Đo nhầm failure domain

Routing client · OSPF/IS-IS/BGP/static tracking · Down không kích hoạt đúng hành động

FIB/FRR · precomputed hay reactive · Control plane hội tụ nhưng traffic chưa phục hồi

QoS/CPU · queue, policer, utilization · BFD bị drop và false Down

Failure injection · link, blackhole, one-way, process · Kết luận vượt phạm vi

KPI chính gồm detection time, routing convergence, FIB convergence, service restoration, packet loss count, outage duration, latency/jitter spike, out-of-order, duplicate và số lần session flap. Đo false positive dưới tải và thời gian session trở lại ổn định sau khi lỗi được gỡ.

Chuỗi bằng chứng nên có cùng run ID: marker gây lỗi; packet BFD cuối/đầu; log state transition; RIB/FIB snapshot; traffic sequence; application probe. Pass/fail phải dựa trên budget dịch vụ. Không lấy timer cấu hình nhân multiplier rồi coi là kết quả đo.

KPI · Điểm bắt đầu–kết thúc · Bằng chứng

Detection · Fault marker → BFD Down · capture + session log

Route convergence · BFD Down → best path mới · routing event/RIB

FIB convergence · best path → next-hop được lập trình · FIB/ASIC telemetry

Service restoration · fault marker → packet/giao dịch hợp lệ · sequence + app log

False positive · Không có fault nhưng session Down · load timeline + counter

Kịch bản · Thao tác · Kỳ vọng cần xác nhận · Rủi ro

Link failure · Tắt member/port · BFD hoặc link signal kích hoạt đúng thiết kế · Đo link debounce thay vì BFD

One-way blackhole · Drop một chiều · Hai đầu chuyển state có giải thích · Session bất đối xứng

Data blackhole, BFD pass · Chỉ cho phép BFD · Phát hiện giới hạn của health signal · BFD xanh nhưng dịch vụ chết

Peer process restart · Restart có kiểm soát · Session và route phục hồi sạch · Stale state

Congestion · Tải data/control tăng · Không false Down ngoài budget · BFD bị starvation

Path flap · On/off theo chu kỳ · Dampening/hold-down đúng · Route churn kéo dài

Backup unavailable · Lỗi chính khi backup hỏng · Fail rõ, không loop · “Recovery” giả

Pha A chạy baseline không lỗi, xác nhận đường chính/dự phòng và packet capture. Pha B đo từng loại lỗi ở tải thấp. Pha C lặp dưới traffic profile đại diện, gồm IMIX, nhiều flow và traffic ưu tiên. Pha D quét timer trong phạm vi được thiết kế; không giảm timer trực tiếp trên production.

Pha E gây congestion, CPU pressure và mất packet BFD có kiểm soát để tìm false-positive boundary. Pha F flap có giới hạn và kiểm tra dampening. Pha G phục hồi toàn bộ, xác minh session, route, FIB, latency và counter trở lại baseline. Mỗi pha cần ít nhất số lần lặp đã chốt để báo min/median/p95 thay vì một mẫu đẹp.

BFD timer càng ngắn càng nhạy với scheduling delay, control-plane policing, queue congestion và transient loss. Thử BFD cùng routing update, telemetry burst và management load để mô phỏng thời điểm xấu. Theo dõi discriminator, diagnostic code, missed packet và CPU theo core nếu có.

False Down có thể gây hậu quả lớn hơn detection chậm: route bị rút, traffic dồn sang đường nhỏ và tạo outage thứ cấp. Báo cả false-positive rate theo session-hour hoặc run, không chỉ outage time. Khi nhiều session đồng loạt khởi tạo sau reboot, đo convergence storm và rate-limit thay vì suy rộng từ một session.

• [ ] Ghi model, NOS, line card và BFD implementation/version.
• [ ] Chốt session type, timer negotiated và routing client.
• [ ] Xác minh đường dự phòng đủ capacity trước khi gây lỗi.
• [ ] Thu marker lỗi, BFD, RIB/FIB và traffic trên cùng timeline.
• [ ] Thử link-down, blackhole một chiều và peer restart riêng.
• [ ] Đo packet loss, latency, out-of-order và application success.
• [ ] Chạy false-positive test dưới CPU/queue/control-plane load.
• [ ] Thử flap/dampening với giới hạn và abort threshold.
• [ ] Lặp đủ mẫu; báo phân bố chứ không chỉ giá trị tốt nhất.
• [ ] Runbook có rollback timer, kiểm tra stale state và bảo toàn log.

Kết quả chỉ đúng cho topology, timer, session scale, routing client, hardware và software đã thử. BFD Down nhanh không chứng minh mọi ứng dụng phục hồi cùng lúc; connection state, NAT, load balancer và transport timeout có thể kéo dài gián đoạn.

BFD kiểm tra khả năng trao đổi control packet theo path đã chọn, không tự chứng minh mọi class dịch vụ hoặc mọi ECMP member đều forwarding đúng. Cần active service probe và traffic đa flow. Không quảng bá con số “hội tụ X ms” nếu không nêu mốc đo, clock uncertainty, tải và failure mode.

• BFD session: Quan hệ phát hiện hai chiều giữa hai hệ thống.
• Detect Multiplier: Số khoảng nhận bị bỏ lỡ trước khi tuyên bố lỗi theo cơ chế BFD.
• Detection time: Thời gian từ lỗi thật tới state Down được ghi nhận.
• FIB convergence: Thời gian data-plane forwarding được lập trình theo đường mới.
• Service restoration: Thời điểm traffic/giao dịch hợp lệ hoạt động lại.
• False positive: Session Down dù forwarding path mục tiêu chưa thật sự lỗi.
• Flapping: Trạng thái Up/Down lặp lại, gây churn cho hệ thống phụ thuộc.