Kiểm thử service mesh mTLS và resiliency: từ identity đến retry storm

Cần chứng minh đúng identity được cấp, traffic bắt buộc mTLS theo policy, request được route đúng, và lỗi downstream không gây retry vô hạn. Tách mesh configuration correctness khỏi application correctness.

Không coi biểu tượng “mTLS enabled” trên dashboard là bằng chứng duy nhất; cần handshake/identity/log và negative test.

Topology gồm client workload, frontend, backend, data-plane proxy, control plane/CA, ingress/egress gateway, DNS và telemetry. Đặt fault injection trước/sau proxy để biết lỗi thuộc app, network hay mesh.

Vẽ trust boundary cho namespace/cluster/region; ghi identity format, certificate lifetime và policy source.

Khóa mesh/proxy/Kubernetes version, policy revision, protocol HTTP/gRPC/TCP, connection reuse, timeout, retry budget, circuit breaker, outlier detection và load-balancing. Giữ request rate/concurrency cố định khi thay một policy.

Certificate lifetime/rotation, clock, DNS TTL và readiness phải được ghi. Một pod chưa ready nhưng vẫn nhận traffic có thể bị hiểu nhầm là lỗi mesh.

KPI: success/error rate, p50/p95/p99 latency, retry rate, retry amplification, circuit-open duration, connection reset, mTLS handshake failure, certificate rotation interruption, CPU/memory proxy và telemetry completeness.

Bằng chứng: config dump/policy, certificate metadata không chứa private key, proxy access/error log, distributed trace, application metrics và traffic result có correlation ID.

• Kịch bản: Identity hợp lệ · Kỳ vọng: mTLS và authorization pass
• Kịch bản: Identity sai/namespace sai · Kỳ vọng: Deny có log
• Kịch bản: Certificate hết hạn/CA sai · Kỳ vọng: Fail closed theo policy
• Kịch bản: Backend timeout · Kỳ vọng: Retry trong budget, không storm
• Kịch bản: Một replica lỗi · Kỳ vọng: Outlier/circuit behavior đúng
• Kịch bản: Control plane mất · Kỳ vọng: Data plane giữ cấu hình theo thiết kế
• Kịch bản: Policy update lỗi · Kỳ vọng: Rollback/deny có kiểm soát
• Kịch bản: Telemetry backend down · Kỳ vọng: Traffic không bị ảnh hưởng ngoài ngưỡng

Chạy baseline rồi tiêm latency, reset, HTTP 5xx, packet loss và pod termination từng loại. Đo request gốc và tổng attempt để phát hiện load amplification. Thử request idempotent và non-idempotent riêng; không bật retry cho thao tác side effect nếu chưa có cơ chế an toàn.

Thử timeout ở client, proxy và app theo thứ tự. Nếu timeout không phối hợp, upstream có thể bỏ request trong khi downstream vẫn xử lý.

Tăng service, endpoint và connection rate; quan sát config convergence, proxy CPU/memory và xDS/control-plane load theo implementation. Thử rolling upgrade và certificate rotation dưới tải.

Mất control plane, CA hoặc telemetry backend phải được thử riêng. Xác minh data plane dùng last-known-good bao lâu và policy mới có bị áp dụng một phần.

• Ghi version, identity/policy và topology.
• Xác minh positive/negative mTLS.
• Thu baseline latency/error/retry.
• Tiêm delay, reset, 5xx, pod failure.
• Đếm request gốc và attempts.
• Thử certificate rotation/clock issue.
• Thử control-plane/telemetry failure.
• Chạy scale/rolling upgrade.
• Lưu config, trace, logs và verdict.

Hành vi khác theo service mesh, mode data plane và version. mTLS bảo vệ hop trong phạm vi mesh, không tự chứng minh end-to-end data security. Fault injection không thay threat model.

Kết quả trên một cluster không chứng minh multi-cluster/region. Không so sánh overhead nếu workload, sidecar resources và connection reuse khác nhau.