Google công bố benchmark Gemma 3 trên TPU v6e: vì sao phải tách classification và generation

Google cho biết bài thử dùng GKE Autopilot, một single-host TPU v6e node pool với topology 2×2 chip, vLLM qua vllm-project/tpu-inference, cùng Gemma 3 12B và 27B. Concurrency được quét ở 16, 32, 64 và 128 user. Cấu hình chung được nêu gồm max-model-len=128000, max-num-batched-tokens=8192 và max-num-seqs=512.

Hai workload khác rõ: classification có input sequence length khoảng 4.000 token và output khoảng 10 token; generation có input 500 token và output khoảng 1.000 token. Google công bố throughput và end-to-end latency ở dạng normalized. Ở generation 128 user, 12B đạt multiplier 8,19× còn 27B 4,12×; ở classification, hai model khoảng 6,37× và 6,04×. Đây là kết quả trong topology và baseline của bài, không phải thông số phổ quát của TPU v6e.

Google lưu ý các điểm ở 128 user nằm sát giới hạn ổn định của cụm; request drop hoặc timeout có thể làm sai lệch phép tính throughput. Vì vậy, các multiplier này không được dùng như tải production bền vững hoặc quy đổi trực tiếp thành capacity.

Điểm đáng chú ý là benchmark không dùng một workload “LLM chung”. Decode-heavy generation làm model 27B bão hòa sớm hơn trong setup này, trong khi prefill-heavy classification cho scaling gần nhau hơn ở mức cao. Bài cũng cảnh báo latency spike và request dropout khi bão hòa, nên throughput không thể đứng một mình.

Nhận định NetVali: một benchmark phục vụ quyết định capacity phải lưu token distribution, success criteria và queue behavior. Nếu chỉ đếm request/s, hệ thống có thể trông nhanh nhờ rơi request hoặc cắt output.

Autoscaling theo CPU/memory có thể phản ứng không đúng với serving stack tăng tốc. Cần quan sát queue, time to first token (TTFT), inter-token latency, end-to-end latency, output token/s, request success và timeout. Với classification, prefill và batch shape quan trọng; với generation, decode, memory bandwidth và output length có thể chi phối.

• Biến: Model/checkpoint · Cần khóa hoặc phân phối: exact version, precision · Vì sao: đổi compute/memory
• Biến: ISL/OSL · Cần khóa hoặc phân phối: histogram, không chỉ trung bình · Vì sao: đổi tỷ lệ prefill/decode
• Biến: Concurrency/arrival · Cần khóa hoặc phân phối: closed/open loop · Vì sao: ảnh hưởng queue
• Biến: Serving flags · Cần khóa hoặc phân phối: batch, sequence, max length · Vì sao: ảnh hưởng scheduling
• Biến: Success · Cần khóa hoặc phân phối: HTTP + đủ output + không timeout · Vì sao: tránh throughput ảo
• Biến: Topology · Cần khóa hoặc phân phối: chip/host/network · Vì sao: giới hạn tái lập

Platform engineering, MLOps, SRE, FinOps và application owner đang sizing inference cần quan tâm. Nhóm mua hạ tầng không nên chuyển normalized multiplier thành số node hoặc chi phí nếu chưa có throughput tuyệt đối, SLA và giá tại region của mình.

Đội kiểm thử cần phối hợp với product owner để lấy prompt/output distribution thực, bao gồm burst, long tail và cancellation. Security/privacy phải xác nhận dữ liệu benchmark không dùng nội dung nhạy cảm.

Bài Google không phải so sánh TPU với GPU hay với nhà cung cấp khác; không đủ dữ liệu để kết luận price/performance, năng lượng, độ chính xác hoặc chất lượng output. Kết quả normalized theo baseline 12B ở 16 user nên không thể suy trực tiếp requests/s tuyệt đối.

Không thể từ một single-host 2×2 topology suy multi-host scaling, network bottleneck hoặc production availability. Các số 8,19×, 4,12× và latency ratios là dữ kiện của tác giả trong cấu hình nêu trên, chưa phải benchmark độc lập của NetVali.

• Chốt model/checkpoint, precision, serving image và TPU topology.
• Thu histogram ISL/OSL, không chỉ giá trị trung bình.
• Tách classification, generation và mixed workload.
• Chạy open-loop và closed-loop phù hợp hành vi người dùng.
• Đo TTFT, inter-token latency, E2E latency và output token/s.
• Tính throughput chỉ trên request hoàn tất đúng.
• Ghi timeout, cancellation, retry, request drop và queue depth.
• Warm-up, chạy đủ dài và lặp lại nhiều lần.
• Quét concurrency quanh điểm bão hòa, không chỉ 16/32/64/128.
• Tính cost per successful output bằng giá/region thực tế.

• Prefill: xử lý input token trước khi sinh output.
• Decode: sinh output theo từng token.
• ISL/OSL: độ dài chuỗi input/output.
• TTFT: thời gian tới token đầu tiên.
• Normalized throughput: tỷ lệ so với một baseline, không phải giá trị tuyệt đối.
• Closed/open loop: mô hình tải chờ phản hồi hoặc phát theo arrival rate độc lập.
• Request dropout: request không tạo kết quả hợp lệ/đầy đủ.