BigQuery continuous queries có stateful processing ở Preview: cần kiểm chứng gì?

Trong trang “What’s new with Google Cloud” đề ngày 28/08/2026, Google cho biết stateful processing khả dụng cho BigQuery continuous queries ở Preview. Tài liệu chính thức nêu stateful operations duy trì trạng thái qua nhiều hàng hoặc khoảng thời gian để thực hiện các JOIN, aggregation và window aggregation được hỗ trợ; ví dụ được hãng đưa ra là tính trung bình 30 phút.

Đây là dữ kiện từ Google Cloud, không phải benchmark độc lập. Tài liệu cũng ghi rõ Pre-GA/Preview có thể được cung cấp “as is”, phạm vi hỗ trợ hạn chế và không phải mọi phép stateful hoặc mọi SQL operator đều được hỗ trợ.

Continuous query trước đây phù hợp với xử lý từng record; stateful operation mở thêm các bài toán cần tương quan stream hoặc tính metric theo cửa sổ. Điều này có thể giảm số thành phần trong một pipeline khi nhu cầu nằm đúng tập chức năng hỗ trợ, chẳng hạn tạo tín hiệu vận hành hoặc feature theo thời gian để gửi sang Pub/Sub, Bigtable hoặc Spanner.

Tuy nhiên “có JOIN và windowing” không đồng nghĩa thay thế mọi stream processor. Tài liệu liên kết riêng điều kiện JOIN/window, đồng thời liệt kê nhiều hạn chế với operator, data source và security feature. Kiến trúc sư cần đối chiếu SQL thực tế, không chỉ đọc tên tính năng.

Về kiến trúc, nhóm có thể cân nhắc đặt phép tương quan hoặc aggregate gần dữ liệu BigQuery hơn, nhưng cần đánh giá regional boundary của source/destination, reservation CONTINUOUS, slot admission và downstream quotas. Không nên bỏ hệ streaming hiện tại trước khi chứng minh semantic, latency, recovery và total cost trong cùng traffic profile.

Về vận hành, query chạy dài có vòng đời hữu hạn; tài liệu nêu job bằng user account tối đa hai ngày và service account tối đa 150 ngày. Watermark lag, restart position, duplicate và schema change phải vào runbook. Về kiểm thử, so output với batch oracle trên cùng event set, gồm late/out-of-order/duplicate event, burst và destination throttling.

Data platform, SRE/observability, fraud/risk, IoT và AI feature engineering nên quan tâm khi dữ liệu đã ở BigQuery và use case cần tín hiệu liên tục. Security/IAM cần xem service account, quyền dataset/destination và các hạn chế row/column-level security được tài liệu liệt kê.

FinOps cần đo baseline slot và autoscaling; application owner cần xác định downstream chịu duplicate, replay và out-of-order ra sao. Nếu workload cần state tùy biến, exactly-once end-to-end hoặc latency cực thấp, đội ngũ phải benchmark thay vì suy ra từ tên “continuous”.

Nguồn không cung cấp benchmark độc lập về end-to-end latency, throughput, state size, chi phí hay behavior cho workload NetVali. Không thể kết luận tính năng nhanh hơn/rẻ hơn một stream processor khác nếu chưa dùng cùng input rate, key cardinality, window, late data, output destination và reservation.

Không thể coi Preview là cam kết GA hoặc suy đoán ngày GA. Cũng chưa thể nói pipeline đạt exactly-once; chính tài liệu lưu ý temporary issue có thể dẫn tới reprocessing và duplicate output. “Real-time” phải được thay bằng latency SLO đo được.

• [ ] Chọn một query stateful nằm đúng danh sách hỗ trợ.
• [ ] Tạo batch oracle và dataset có late/out-of-order/duplicate event.
• [ ] Đo input rate, output rate, watermark lag và p95/p99 latency.
• [ ] Quét key cardinality, window size và burst profile.
• [ ] Throttle destination; xác minh backpressure và mốc fail 48 giờ.
• [ ] Restart job; kiểm tra resume, replay và duplicate handling.
• [ ] Chạy bằng service account; xác nhận IAM và rotation/runbook.
• [ ] Kiểm tra regional boundary, reservation và slot admission.
• [ ] Đối chiếu chi phí cùng SLA với kiến trúc hiện tại.
• [ ] Không chuyển production trước khi có rollback và data reconciliation.

• Continuous query: Query xử lý dữ liệu mới liên tục.
• Stateful operation: Phép tính giữ state qua nhiều record/thời gian.
• Window aggregation: Tổng hợp theo cửa sổ thời gian.
• Watermark lag: Độ trễ giữa tiến độ xử lý và dữ liệu mới.
• Idempotency: Xử lý lặp không làm sai kết quả cuối.
• Preview/Pre-GA: Giai đoạn trước GA với điều khoản/hỗ trợ riêng.