Kiểm thử firewall HA: state synchronization, failover và phiên ứng dụng

Lab cần chứng minh node dự phòng nhận đúng configuration và runtime state, phát hiện failure theo thiết kế, trở thành active mà không tạo loop/split-brain và duy trì các phiên được cam kết. “HA healthy” trên dashboard chỉ là điều kiện trước bài đo.

Tách verdict theo lớp: control/heartbeat, role election, interface/routing, session/NAT state và application transaction. Một TCP flow sống sót không chứng minh UDP, IPsec, TLS inspection hoặc session helper cũng giữ được.

Topology gồm hai firewall, heartbeat/state links tách biệt, upstream/downstream switches hoặc routers, client/server traffic generator và điểm capture hai phía. Ghi active-passive/active-active, link aggregation, routing, NAT, VLAN, MTU và đường quản trị.

Đánh dấu T0 khi gây lỗi; T1 peer phát hiện; T2 đổi role; T3 ARP/ND/routing/FIB ổn định; T4 packet đầu nhận lại; T5 transaction trở về baseline. Đo application interruption T0–T5, không chỉ T0–T2.

Khóa model, firmware, license, policy, inspection profile, routing timer, session pickup/stateful option, NAT, VPN và interface speed. Ghi rõ loại state được nền tảng tuyên bố đồng bộ; không giả định mọi feature đều stateful.

Traffic profile cần session ngắn/dài, TCP/UDP, packet size, connection rate, concurrent sessions, transaction mix và TLS nếu thuộc phạm vi. Đồng bộ clock và lưu config/checksum trước mỗi vòng.

Đo detection time, role transition, service interruption, packet loss/reorder/duplicate, session survival, transaction failure, new-connection recovery và failback impact. Theo dõi CPU, memory, session table, sync queue/drop, heartbeat và route/neighbor event.

Bằng chứng tối thiểu: TX/RX sequence, pcap hai phía, session/NAT snapshots, HA log, route/FIB/ARP/ND, application result và config. Với VPN, thêm SA/rekey state; với TLS inspection, theo dõi handshake/reset.

• Sự kiện: Mất node active · Phiên cần quan sát: TCP/UDP/NAT · Kỳ vọng: Chuyển node, gián đoạn dưới ngưỡng
• Sự kiện: Mất data link · Phiên cần quan sát: Flow hai hướng · Kỳ vọng: Chuyển theo monitoring design
• Sự kiện: Mất heartbeat · Phiên cần quan sát: Session mới/cũ · Kỳ vọng: Không split-brain
• Sự kiện: Process failure · Phiên cần quan sát: Inspected sessions · Kỳ vọng: Phát hiện đúng scope
• Sự kiện: Upstream route mất · Phiên cần quan sát: New/existing flows · Kỳ vọng: Chuyển đường hoặc cảnh báo
• Sự kiện: Node quá tải · Phiên cần quan sát: Mixed traffic · Kỳ vọng: Không failover giả ngoài policy
• Sự kiện: Failback · Phiên cần quan sát: Long-lived session · Kỳ vọng: Không reset ngoài cam kết
• Sự kiện: Config mismatch · Phiên cần quan sát: Security policy · Kỳ vọng: Chặn promotion hoặc cảnh báo

Chạy baseline từng loại phiên, xác nhận state xuất hiện ở node dự phòng nếu có thể quan sát. Gây lần lượt power loss, interface failure, route loss và process/health-check failure trong lab. Lặp ít nhất ba lần và reset về cùng điều kiện.

Tăng connection rate/concurrent session theo bước, giữ traffic mix cố định rồi failover ở 30%, 70% và gần tải mục tiêu. Thử phiên đang truyền dữ liệu và phiên idle gần timeout; kiểm tra cả traffic mới trong lúc chuyển vai trò.

Mất heartbeat nhưng data links còn hoạt động là test quan trọng: thiết kế phải ngăn hai node cùng nhận vai trò gây asymmetric forwarding hoặc duplicate address. Thử nhiều heartbeat link nếu có, nhưng không làm trên production ngoài maintenance plan.

Failback có thể gây gián đoạn lần hai. Đo manual/preemptive failback, thời gian re-sync và hành vi khi node vừa hồi phục nhưng state chưa đầy đủ. Degraded verdict phải ghi rõ feature nào không được bảo vệ.

• [ ] Chốt HA mode và danh sách state được đồng bộ.
• [ ] Đồng bộ clock, lưu config và baseline.
• [ ] Tạo traffic có sequence/transaction ID.
• [ ] Gây từng lỗi vật lý, mạng và process.
• [ ] Đo session cũ, session mới và application.
• [ ] Thử ở nhiều mức tải.
• [ ] Kiểm tra split-brain, recovery và failback.
• [ ] Lưu pcap, log, state table và verdict.

Kết quả phụ thuộc model, firmware, feature, topology và traffic profile. Stateful HA không đồng nghĩa zero packet loss; một số protocol phải reconnect theo thiết kế. Không công bố “không gián đoạn” nếu độ phân giải phép đo không thấy micro-outage.

Kết quả từ một cặp node không tự động áp dụng cho cluster hoặc active-active khác. Mọi so sánh cần cùng failure trigger, load và timestamp method.