Kiểm thử gNMI streaming telemetry: subscription, backpressure và mất dữ liệu

Test cần xác định dữ liệu nào phải đến, với độ trễ và độ đầy đủ bao nhiêu, trong điều kiện bình thường lẫn khi collector hoặc mạng chậm. Phải tách ba lớp: thiết bị có tạo update đúng không, transport có chuyển đủ không, và pipeline có parse–queue–ghi dữ liệu đúng không.

Đừng dùng số message nhận được làm đại diện cho số mẫu: một notification có thể chứa nhiều update, còn suppression hoặc ON_CHANGE hợp lệ có thể làm số message giảm. Baseline phải dựa trên path, timestamp, sequence do harness bổ sung và trạng thái thực đã tạo trên DUT.

Lab tối thiểu gồm DUT/gNMI target, generator tạo thay đổi trạng thái, mạng có thể tiêm latency/loss, collector A/B, message queue hoặc database và một máy quan sát độc lập. Mirror traffic gRPC hoặc thu log/counter ở cả target và collector; đồng bộ thời gian để tính source-to-ingest latency.

Tách management path khỏi traffic gây tải nếu muốn đo năng lực telemetry riêng; sau đó chạy thêm topology dùng chung link để mô phỏng thực tế. Ghi rõ TLS/mTLS, proxy/load balancer, keepalive và cơ chế reconnect vì chúng ảnh hưởng hành vi khi lỗi.

Khóa version phần mềm, model YANG/OpenConfig, path, prefix, origin, encoding, subscription mode (ONCE, POLL, STREAM), STREAM submode (SAMPLE, ON_CHANGE, TARGET_DEFINED), sample interval, heartbeat và suppress_redundant. Ghi số target, subscription, path và update mỗi giây.

Với pipeline, giữ rõ CPU/memory limit, số worker, batch, queue depth, retention, write concurrency và storage latency. Với mạng, kiểm soát RTT, jitter, packet loss, bandwidth và MTU. Thay từng biến một trước khi chạy tổ hợp stress.

KPI · Cách đo · Bằng chứng tối thiểu Completeness · Mẫu mong đợi so với mẫu lưu · Event log + raw update Freshness · Source timestamp tới query được · Timestamp đồng bộ Duplicate/out-of-order · Theo path và thời gian · Raw stream + parser log Recovery time · Từ lỗi tới stream và dữ liệu ổn định · Timeline sự kiện Resource headroom · CPU, memory, queue, write IOPS · Telemetry hệ thống

Pass/fail nên có percentile latency, mức thiếu mẫu cho phép theo loại path, cửa sổ recovery và headroom. Với ON_CHANGE, tạo state transition biết trước; với SAMPLE, so số cửa sổ mong đợi thay vì chỉ so tổng message.

Tình huống · Mục tiêu · Rủi ro Tăng target/path · Scale · Queue tăng dần Giảm sample interval · Rate · CPU target/collector cao Storage chậm · Backpressure · Drop hoặc OOM Collector restart · Recovery · Gap, duplicate Packet loss/RTT tăng · Transport · Reconnect storm Schema/path đổi · Compatibility · Silent parse failure Collector A lỗi · HA · Split-brain hoặc gap

Mỗi case chạy baseline, fault, recovery và soak. Lặp nhiều lần và lưu min/median/p95/p99; không chọn duy nhất lần tốt nhất.

Pha functional xác minh Capabilities/Get/Subscribe, TLS, authorization, schema và giá trị từng path. Pha rate tăng target, path hoặc frequency theo bậc. Pha fault làm chậm storage, đầy queue, restart collector, cắt mạng và đổi route.

Pha HA kiểm tra collector dự phòng, deduplication và checkpoint; pha soak tìm memory leak, lag tích lũy và cardinality tăng. Mỗi run lưu request subscription, config hash, raw stream, counter target, queue metrics, storage log và truy vấn đối chiếu.

Tạo backpressure có kiểm soát bằng cách giảm write throughput hoặc dừng consumer, không chỉ tăng traffic. Quan sát queue depth, memory, flow control gRPC/HTTP2, target CPU, retry và chính sách drop. Sau khi gỡ nghẽn, đo thời gian drain và xem dữ liệu cũ có che lấp dữ liệu mới hay không.

Thử restart ở các điểm khác nhau: collector graceful, kill process, mất host và storage timeout. Xác nhận không tạo reconnect storm và không nhân đôi mẫu ngoài chính sách. Dashboard phải thể hiện data gap; việc nội suy đường đồ thị không được biến mất dữ liệu thành trạng thái bình thường.

• [ ] Chốt path, mode, interval, encoding và data-quality SLO.
• [ ] Đồng bộ đồng hồ target, collector và harness.
• [ ] Xác minh schema, TLS và quyền truy cập.
• [ ] Chạy baseline theo path và event biết trước.
• [ ] Tăng scale/rate từng bậc, ghi resource headroom.
• [ ] Tiêm storage lag, network impairment và restart.
• [ ] Đối chiếu raw stream với dữ liệu đã lưu/truy vấn.
• [ ] Kiểm tra gap, duplicate, out-of-order và recovery.
• [ ] Lưu config hash, log, capture và phiên bản.

Kết quả chỉ áp dụng cho target, schema, path, interval, collector, storage và topology đã thử. Một dashboard cập nhật nhanh không chứng minh mọi path đầy đủ; một stream bị ngắt cũng không đồng nghĩa mất dữ liệu nếu pipeline có buffer và replay được kiểm chứng.

Không so hai collector nếu khác encoding, aggregation, retention hoặc storage. gNMI mô tả giao diện trao đổi; khả năng backpressure, buffering và HA cụ thể vẫn phải xác nhận theo sản phẩm và phiên bản.

• gNMI: Giao diện RPC cho quản lý và telemetry mạng dựa trên gRPC.
• Subscription: Yêu cầu tập path và cách target phát update.
• SAMPLE: Phát mẫu theo chu kỳ.
• ON_CHANGE: Phát khi giá trị thay đổi.
• Backpressure: Áp lực ngược khi downstream xử lý chậm hơn upstream.
• Freshness: Độ trễ từ thời điểm dữ liệu phát sinh tới khi dùng được.
• Data gap: Khoảng thiếu dữ liệu quan sát được.