Kiểm thử NVMe/TCP: queue depth, congestion, packet loss và recovery

NVM Express mô tả NVMe/TCP là ánh xạ NVMe queue, capsule và data delivery lên TCP; transport có các tùy chọn như header/data digest và TLS tùy specification/implementation. Phép thử phải xác định revision, feature được bật và boundary host–network–controller thay vì gộp dưới nhãn “NVMe over IP”.

Câu hỏi cốt lõi là workload mục tiêu đạt IOPS/throughput/latency nào, tail latency phản ứng ra sao trước congestion/loss, và I/O có phục hồi đúng khi path hoặc controller lỗi. Một network benchmark bằng packet generator không thay thế storage workload; một fio result không giải thích được retransmission hoặc queue buildup.

Topology tối thiểu gồm một hoặc nhiều NVMe host, hai switch/path, NVMe/TCP subsystem/target, network emulator và observation point hai phía. Tách management/OOB khỏi storage VLAN. Nếu production dùng bonding, multipath, ECMP, jumbo frame hoặc gateway L3, tái tạo đúng failure domain.

Lấy baseline local media nếu có, sau đó NVMe/TCP một host–một path–một namespace. Ghi NIC/driver/offload, CPU/NUMA binding, switch buffer, MTU, congestion control, target/controller, namespace, filesystem/direct I/O và cache policy. Warm-up tới steady state trước khi đo.

Workload phải khóa block size, sequential/random, read/write ratio, queue depth, job count, working-set size, runtime, warm-up và data pattern. Ghi sync/direct, filesystem, cache, compression/dedup và background task. Nếu dataset nằm trong cache, kết quả không đại diện storage path.

Network profile gồm link rate, oversubscription, MTU/MSS, latency, jitter, packet loss, reordering, ECN/AQM, pause/PFC nếu có và competing traffic. Điều khiển impairment theo từng chiều/path. Digest/TLS, vòng đời PSK và CPU acceleration phải được ghi riêng vì có thể thay đổi overhead.

KPI storage gồm IOPS, useful throughput, average và p95/p99/p99.9 latency, timeout, retry, abort, queue occupancy và data verification error. KPI network gồm wire throughput, RTT, retransmission, zero-window, out-of-order, ECN mark, packet loss và interface drop. Khi fault, đo detection, reconnect và I/O restoration.

Bằng chứng gồm workload log theo interval, host NVMe/TCP counters, kernel log, target/controller telemetry, switch queue/drop/ECN, packet capture đã kiểm fidelity, emulator event và checksum/data verify. Dùng cùng timeline để tránh gán latency storage cho network hoặc ngược lại.

Pass/fail phải gắn application SLO. Average latency đẹp không bù được tail spike làm database timeout; network không drop không đồng nghĩa target chưa bão hòa.

• Tình huống: Baseline steady state · Kỳ vọng: Đạt SLO với workload đã định · KPI: IOPS, p99 latency · Dấu hiệu fail: chỉ đạt peak ngắn, tail không ổn định
• Tình huống: Competing TCP traffic · Kỳ vọng: Fairness và tail trong ngân sách · KPI: queue, ECN, latency · Dấu hiệu fail: throughput giữ nhưng p99.9 vượt SLO
• Tình huống: Packet loss nhỏ có kiểm soát · Kỳ vọng: TCP phục hồi, I/O không corrupt · KPI: retransmit, timeout, verify · Dấu hiệu fail: reset/abort hoặc data mismatch
• Tình huống: MTU mismatch/blackhole · Kỳ vọng: Phát hiện và xử lý đúng thiết kế · KPI: MSS, retransmit, errors · Dấu hiệu fail: session treo không rõ nguyên nhân
• Tình huống: Path/controller failure · Kỳ vọng: Multipath/reconnect theo policy · KPI: outage, I/O success · Dấu hiệu fail: duplicate write, stale path hoặc hang
• Tình huống: Digest/TLS bật · Kỳ vọng: Integrity/security đúng phạm vi và overhead đo được · KPI: error handling, CPU, latency · Dấu hiệu fail: bỏ qua lỗi hoặc claim thiếu version

Chạy ma trận block size × read/write mix × queue depth, tăng từng biến theo bậc. Xác định knee point nơi throughput tăng ít nhưng tail latency tăng mạnh. Sau đó thêm latency, jitter, loss và competing traffic từng yếu tố; không tiêm nhiều impairment cùng lúc trước khi có baseline.

• Warm-up và xác minh dataset vượt cache theo mục tiêu.
• Baseline một host, path, namespace và queue.
• Sweep queue depth/job count với block size cố định.
• Đo random read, write và mixed workload.
• Tiêm latency/loss/reordering từng path, từng chiều.
• Thử congestion với workload nền có profile rõ.
• Đối soát host, switch, target và PCAP trên cùng timeline.
• Bật data verification trong mọi fault case phù hợp.

Nếu dùng header/data digest, thử lỗi có kiểm soát trong lab và kiểm counter/drop/recovery theo specification. Digest CRC32C phát hiện lỗi truyền dẫn, không phải cơ chế xác thực chống đối thủ chủ động sửa dữ liệu. Với TLS, profile NVMe/TCP Revision 1.2, mục 3.6.1 dùng pre-shared key (PSK), không mặc định dùng chứng thư X.509 như HTTPS. Kiểm PSK/PSK identity đúng và sai, ánh xạ host–subsystem, rotation/removal, cipher/version, handshake, reconnect và CPU; không ghi giá trị khóa vào evidence. Chỉ thêm kiểm certificate cho lớp quản lý hoặc transport mở rộng thực sự dùng certificate, và ghi rõ đó không phải test PSK của profile này. TLS là khả năng tùy chọn; implementation hỗ trợ TLS theo revision được đối chiếu phải hỗ trợ TLS 1.3.

Fault link, switch, route, target interface, controller process và full target restart độc lập. Đo I/O đang bay, queue freeze, timeout, retry, multipath selection và thời điểm workload hữu ích phục hồi. Sau recovery, chạy read-back/verification và kiểm không có namespace/path stale.

Tăng host, namespace, queue và connection theo bậc; đo oversubscription, switch buffer, target CPU/memory và fairness. Soak test cần steady workload, fault định kỳ có seed và health guard. Không dùng aggregate IOPS che một host/starved flow.

Runbook gồm OOB, freeze/unfreeze workload, path disable/enable, controller recovery, data verify và rollback MTU/TLS/multipath. Regression sau đổi NVMe spec/firmware, kernel/driver, NIC, switch OS/buffer, congestion control, target hoặc TLS key policy.

Kết quả chỉ đúng cho NVMe/TCP revision, host/target implementation, workload, cache, media state, topology và impairment đã thử. NVMe/TCP performance không thể suy từ line rate hoặc TCP throughput đơn thuần.

Digest không thay thế toàn bộ data protection; TLS không chứng minh authorization, key storage hay at-rest encryption. Multipath không bảo đảm independence nếu hai đường chung switch, PSU hoặc upstream. Mọi con số cần kèm firmware, driver, block size, queue depth và thời lượng.

• NVMe/TCP: NVMe over Fabrics sử dụng TCP transport.
• Capsule/PDU: đơn vị lệnh/dữ liệu và protocol data trên transport.
• Queue depth: số I/O có thể đang chờ/xử lý đồng thời.
• IOPS: số thao tác I/O mỗi giây, phụ thuộc workload.
• Tail latency: latency ở percentile cao như p99/p99.9.
• Digest: kiểm tra integrity tùy chọn ở NVMe/TCP transport.
• Multipath: nhiều path host–subsystem phục vụ resilience/load policy.