IETF 126 đề xuất metric switching efficiency cho AI fabric: đọc thế nào trước khi benchmark?

Slide IPPM ghi ngày 23/07/2026 và trình bày một framework liên hệ computational effective data với dữ liệu nhận, dữ liệu được switch forward, routing efficiency và port utilization. Tài liệu minh họa bằng mô phỏng 4.096 GPU, so sánh topology/workload Dense và MoE.

State of OPS Nation tại IETF 126 cũng liệt kê AI Network Fabrics benchmarking là chủ đề hiện tại của BMWG/IPPM. Đây là bằng chứng về hướng thảo luận, không chứng minh framework đã đạt đồng thuận hay được chuẩn hóa.

Điểm hữu ích là tách ba loại lãng phí: dữ liệu nhận nhưng không hữu ích cho tính toán; forwarding/detour do topology–traffic mismatch; và capacity cổng không được sử dụng. Cách tách này giúp tránh kết luận “throughput cao” khi workload vẫn chậm vì synchronization hoặc routing.

Nhận định của NetVali: framework có thể làm checklist thiết kế phép đo. Không nên dùng ký hiệu hoặc kết quả mô phỏng như một chỉ số chứng nhận sản phẩm.

AI fabric test cần mô tả collective operation, model type, parallelism, message size, GPU/NIC behavior, topology, routing và congestion control. Các counter switch phải được đồng bộ với workload timeline.

Đội vận hành có thể dùng phân rã để hỏi: bottleneck ở application/data semantics, path detour/retransmission hay port scheduling. Nhưng mapping từ counter sang metric phải được xác minh; không phải mọi switch/NIC cung cấp cùng telemetry.

• Đội thiết kế AI/HPC data-center fabric.
• Lab benchmark switch/NIC và congestion control.
• Network telemetry/observability engineer.
• Chủ đầu tư cần so sánh topology/workload.
• Vendor/product team cần tránh benchmark thiếu điều kiện.

Chưa thể kết luận công thức, counter mapping, applicability và test procedure cuối cùng. Kết quả 4.096 GPU được nêu trong slide là mô phỏng của nhóm trình bày, không tự động áp dụng cho cluster khác.

Không thể dùng metric để so sánh hai fabric nếu workload, topology, parallelism, failure state hoặc offered load khác nhau. Cũng chưa thể gọi đây là “IETF standard”.

• Thành phần: Workload · Cần khóa: Dense/MoE, collective, message size · Bằng chứng: Job config
• Thành phần: Topology · Cần khóa: Rail/spine-leaf/torus, link rate · Bằng chứng: Diagram + config
• Thành phần: Routing · Cần khóa: ECMP/adaptive, path · Bằng chứng: Flow/path telemetry
• Thành phần: Data · Cần khóa: Useful/received/forwarded semantics · Bằng chứng: Counter mapping
• Thành phần: Port · Cần khóa: Capacity, utilization, congestion · Bằng chứng: Interface/queue stats
• Thành phần: Time · Cần khóa: Warm-up, steady state, epoch · Bằng chứng: Synchronized timeline
• Thành phần: Outcome · Cần khóa: Job completion/iteration time · Bằng chứng: Application metric
• Pin Internet-Draft/slide version.
• Tách simulation khỏi hardware result.
• Định nghĩa numerator/denominator và đơn vị.
• Xác minh counter reset/wrap/sample interval.
• Chạy baseline trước failure/congestion.
• Báo raw metrics cùng composite metric.

Chọn một collective/workload đại diện, chạy trên topology cố định ở nhiều offered load. Thu job completion/iteration time, port/queue utilization, ECN/PFC nếu áp dụng, retransmission và path distribution. Sau đó đổi một biến: routing, topology hoặc workload pattern.

Thử congestion hotspot và link failure riêng. Pass/fail nên gắn với job outcome và network evidence; một metric switching efficiency tăng nhưng iteration time xấu đi cần được điều tra, không coi là thắng.