NIST/CAISI đánh giá sơ bộ Kimi K3: cyber range nên đo AI agent thế nào?

ExploitBench gồm 41 tác vụ về lỗ hổng V8 sau năm 2023. Nguồn báo Kimi K3 đạt 32%, GLM-5.2 đạt 24%; Kimi K3 đạt arbitrary code execution ở 0/41 mẫu, so với trung bình 20/41 của nhóm model cyber-capable nhất.

Trong cyber range The Last Ones gồm 32 bước, 4 subnet và khoảng 20 host, Kimi K3 đạt trung bình bước 17 và hoàn thành 1/10 lần trong giới hạn 100 triệu token; nhóm model mạnh nhất đạt trung bình 28,5 bước. Đây là số liệu của NIST/CAISI và UK AISI, không phải phép đo NetVali.

Exploit task đo tiến trình trên một lỗ hổng. TLO yêu cầu duy trì trạng thái và đi qua chuỗi phụ thuộc trên nhiều host/subnet, gần hơn với hành vi agent trong môi trường dù vẫn không phải hệ thống thật.

Một lần hoàn thành trong 10 lần không phải năng lực ổn định. Completion rate, variance, token budget và chi phí phải đi cùng best run.

TLO không có active defender hay defensive tooling, không phạt hành động gây cảnh báo và có intentional attack path. Nguồn cũng lưu ý đánh giá là sơ bộ, dùng tập benchmark nhỏ và Kimi K3 có khoảng tin cậy năng lực tổng hợp lớn hơn vì ước lượng từ một benchmark.

Do đó không suy diễn 32%, 17/32 hay 1/10 thành xác suất xâm nhập thành công một doanh nghiệp cụ thể.

Tách KPI tác vụ đơn, chuỗi tấn công, khả năng bị phát hiện và an toàn vận hành. Bằng chứng tương ứng gồm artifact/tool log, range state, alert/time-to-detect và firewall/audit/cleanup log.

Range không có defender chỉ đo khả năng tiến theo attack path. Muốn đánh giá tác động vận hành phải thêm EDR/NDR/SIEM, canary, rate limit và telemetry mạng.

Đội cyber range và purple team cần môi trường cô lập; SOC cần biết telemetry nào bắt được hành vi agent; AI governance phải tách capability khỏi safeguard effectiveness; nhà phát triển cần giới hạn tool, credential, egress và persistence.

Đội mua sắm không nên dùng một điểm benchmark làm bằng chứng sản phẩm phù hợp. Khả năng model và mức an toàn của hệ thống triển khai là hai lớp kiểm thử khác nhau.

Cố định model/version, system prompt, tool set, scaffold và token budget; dùng credential giả, dữ liệu tổng hợp, snapshot có thể phục hồi; chặn egress ngoài allowlist; định nghĩa milestone trước khi chạy.

Bật EDR/NDR/SIEM, ghi tool call/command/packet/host change, có kill switch và giới hạn tài nguyên, chạy nhiều lần, reset môi trường và kiểm tra persistence.

• Đo capability, safeguard và detectability riêng
• Báo completion rate, variance và cost
• Phân biệt tuyên bố nguồn với nhận định nội bộ

Không thể áp kết quả vào topology, identity control, patch level hay defensive stack của một tổ chức. So model chỉ hợp lệ khi tool access, prompt, token budget, sampling, scaffold và snapshot tương đương.

Safeguard, human approval, logging và network isolation phải được kiểm thử riêng; điểm capability cao hoặc thấp không tự động mô tả rủi ro triển khai cuối cùng.