Kiểm thử pipeline Syslog trước burst, backpressure và mất bản ghi

Đường log thường gồm sender, mạng, load balancer, relay, queue, parser, indexer và rule engine. Mỗi tầng có giới hạn khác nhau: socket buffer, connection, disk queue, CPU parse, index throughput hoặc quota. Dashboard "received EPS" tại collector chỉ phản ánh một lát cắt.

UDP không có xác nhận truyền; TCP có flow control nhưng backpressure có thể dồn về sender; TLS thêm handshake, mã hóa và quản lý chứng thư. Cần đo riêng transport thay vì kết luận một giao thức luôn tốt hơn.

Dùng generator tạo event có source_id, sequence tăng dần, timestamp phát và checksum. Gửi qua cùng network path mà hệ thống thật sử dụng tới relay/collector, sau đó truy vấn dữ liệu từ điểm người vận hành thực sự dùng. Nếu pipeline có nhiều tenant hoặc index, ghi rõ routing key và retention.

Đồng bộ thời gian giữa generator, relay và SIEM. Tách latency mạng khỏi ingest-to-search latency; nếu timestamp lệch, mọi percentile đều thiếu tin cậy.

Khóa message size, structured data, encoding, severity mix, số sender, connection reuse, TLS version, compression, batch size và partition key. Parser đơn giản và regex nặng có chi phí khác nhau; cần dùng tỷ lệ message hợp lệ/không hợp lệ giống sản xuất.

Traffic profile tối thiểu gồm steady state, burst ngắn, ramp, sustained overload và recovery. Chỉ chạy EPS cố định sẽ bỏ sót queue buildup, retry storm và compaction sau burst.

Đo generated, accepted, indexed và searchable events; từ đó tính loss và duplicate theo sequence. KPI khác gồm ingest-to-search latency p50/p95/p99, queue depth/age, parser error, reconnect, TLS failure, CPU, memory, disk I/O và thời gian backlog về baseline.

Với detection pipeline, thêm alert completeness và alert latency. Log xuất hiện trong index nhưng rule engine bỏ lỡ cửa sổ thời gian vẫn là failure theo mục tiêu an ninh.

Pass/fail nên gồm cả mức mất dữ liệu và thời gian phục hồi. "Không crash" không đủ nếu backlog mất hàng giờ hoặc alert quan trọng không xuất hiện.

• Kịch bản: UDP steady · Điều kiện: EPS dưới baseline · Rủi ro cần phơi bày: Drop mạng/buffer · Bằng chứng: Sequence gap, interface drop
• Kịch bản: UDP burst · Điều kiện: Burst vượt ingest · Rủi ro cần phơi bày: Silent loss · Bằng chứng: Generated vs indexed
• Kịch bản: TCP backpressure · Điều kiện: Indexer chậm · Rủi ro cần phơi bày: Sender block/queue · Bằng chứng: Send latency, queue age
• Kịch bản: TLS reconnect · Điều kiện: Collector restart · Rủi ro cần phơi bày: Handshake/retry storm · Bằng chứng: Session, error, recovery time
• Kịch bản: Parser poison · Điều kiện: Message bất thường · Rủi ro cần phơi bày: Worker stall/dead letter · Bằng chứng: Parse error, queue partition
• Kịch bản: Disk pressure · Điều kiện: Queue gần đầy · Rủi ro cần phơi bày: Drop hoặc throttle · Bằng chứng: Disk latency, policy action

• Baseline: phát tốc độ thấp, đối soát 100% sequence và timestamp.
• Capacity ramp: tăng EPS theo bậc, giữ message mix; tìm sustainable rate theo SLO latency.
• Burst: phát burst ngắn ở nhiều mức; đo queue age và loss.
• Backpressure: làm chậm indexer hoặc tạm dừng consumer trong lab; quan sát relay/sender.
• Transport failure: restart collector, rotate certificate hoặc flap link có kiểm soát.
• Parser failure: chèn tỷ lệ nhỏ message sai/oversize; xác nhận dead-letter và isolation.
• Recovery: trả hệ thống, đo drain rate, duplicate do replay và thời gian về baseline.

• Event có source_id, sequence, timestamp và checksum.
• Generated/accepted/indexed/searchable được đối soát.
• SLO gồm p95/p99 và queue age, không chỉ EPS.
• UDP, TCP/TLS được thử theo đúng topology sản xuất.
• Có kịch bản parser lỗi, disk pressure và collector restart.
• Alert completeness được kiểm tra với sự kiện ưu tiên cao.
• Replay không tạo duplicate ngoài policy.
• Recovery và backlog drain có ngưỡng pass/fail.

Kết quả phụ thuộc message mix, parser, schema, index, retention, phần cứng và cấu hình queue. EPS của message 200 byte không quy đổi trực tiếp sang message nhiều kilobyte. Bài lab cũng không chứng minh mọi rule detection đạt đúng nếu chưa chạy bộ sự kiện đại diện cho từng rule.

• EPS: Số event mỗi giây.
• Backpressure: Tầng sau làm chậm và ép tầng trước chờ/queue.
• Queue age: Thời gian event lâu nhất nằm trong hàng đợi.
• Ingest-to-search latency: Thời gian từ phát đến khi truy vấn được.
• Sequence gap: Khoảng thiếu số thứ tự, dấu hiệu event loss.
• Dead-letter queue: Nơi cách ly message không xử lý được.