Google mở mã nguồn Mantis: cách kiểm chứng AI security review harness trong sandbox

Google mô tả Mantis là framework mã nguồn mở, stack-agnostic, dùng các bước chuyên biệt như phân tích lịch sử, dựng kiến trúc/threat model, research, dedupe, review, critic, reproduce, patch, calibration và report. Blog cho biết Mantis dùng critic/review agents và sandboxed reproduction để grounding.

Google tuyên bố cây tóm tắt bảo mật phân cấp giúp giảm hơn 85% token overhead trong bối cảnh họ đo, và nhận xét các quy trình AI scanning cẩu thả có true-positive rate dưới 7%. Đây là số liệu/tuyên bố của Google, không phải benchmark độc lập áp dụng cho mọi codebase. Repository ghi rõ dự án phục vụ demonstration, không phải sản phẩm production được hỗ trợ.

Đáng chú ý là pipeline coi finding chưa đủ giá trị nếu chưa qua negative filtering, critic và reproducer. Nó cũng dùng lịch sử commit và cấu trúc repository để tạo context/threat model, thay vì chỉ quét từng file rời rạc. Mantis được tách thành các skill có thể dùng với nhiều coding agent framework.

Kho mã nhấn mạnh interactive mode, “no host-run”, container/network isolation và manual verification. Đây không phải chi tiết phụ: agent có thể tạo và chạy code không ổn định, còn prompt injection trong repository có thể tác động workflow nếu quyền quá rộng.

Pipeline security review nay có thêm một execution plane chứa model, tool, sandbox, artifact và secrets. Threat model phải bao gồm chính harness: dữ liệu nào được đọc, command nào được chạy, network egress, quota, provenance, artifact retention và ai duyệt patch.

• Detection — KPI/bằng chứng: Precision trên tập ground truth; Failure cần bắt: Hallucinated finding
• Reproduction — KPI/bằng chứng: Tỷ lệ tái hiện ổn định N lần; Failure cần bắt: Flaky/unsafe reproducer
• Patch — KPI/bằng chứng: Test pass + exploit blocked; Failure cần bắt: Fix che triệu chứng, regression
• Isolation — KPI/bằng chứng: Egress/file/secret access log; Failure cần bắt: Sandbox escape, data leak
• Cost — KPI/bằng chứng: Token/runtime theo repo/LOC; Failure cần bắt: Không có budget stop
• Human gate — KPI/bằng chứng: Audit trail approve/reject; Failure cần bắt: Auto-report/auto-merge ngoài policy

AppSec, product security, DevSecOps, secure SDLC, đội phát triển toolchain và quản trị AI cần quan tâm. Tổ chức có nhiều repository hoặc thiếu context kiến trúc có thể thử cách lập knowledge base, nhưng nên bắt đầu bằng code mẫu/benchmark không nhạy cảm.

Đội legal/compliance và maintainer cũng cần quy tắc disclosure: repository cảnh báo không mass-file báo cáo AI chưa xác minh cho dự án mã nguồn mở. Pilot phải quy định ownership và escalation trước khi phát hiện finding thật.

Chưa thể kết luận Mantis đạt precision/recall cụ thể trên codebase của doanh nghiệp, tìm được mọi class lỗ hổng, hoặc patch luôn an toàn. Con số 85% nói về token overhead trong kỹ thuật tóm tắt được Google mô tả; không đồng nghĩa giảm 85% chi phí tổng hay tăng 85% độ chính xác.

Không nên gọi đây là sản phẩm Google Cloud GA. Repository nói rõ demonstration, không intended for production và không thuộc Google OSS VRP. Khả năng phụ thuộc model, agent runtime, sandbox, context và bộ test của từng dự án.

1. Pin commit/tag Mantis và ghi license; không chạy “latest” không kiểm soát. 2. Dùng VM/container cô lập, network disabled mặc định, không mount secret hay production data. 3. Chuẩn bị corpus có lỗ hổng biết trước và code sạch để đo precision. 4. Giới hạn repo/module trong pilot; log prompt, tool call, command và artifact. 5. Bắt buộc human approval trước chạy reproducer, sửa file, mở network và tạo report. 6. Chạy reproducer nhiều lần; kiểm tra cả false negative và flaky behavior. 7. Chạy unit/integration/security regression sau patch; review diff thủ công. 8. Đo token, runtime, compute và analyst minutes trên mỗi finding hợp lệ. 9. Red-team prompt injection trong code/comment/README và dependency metadata. 10. Cấm auto-merge, auto-disclosure và unattended execution cho đến khi control pass.

• Security review harness: lớp điều phối model, tool, context và bằng chứng.
• Ground truth: tập kết quả biết trước để đánh giá.
• False positive: finding được báo nhưng không hợp lệ theo threat model/khả năng tái hiện.
• Reproducer: artifact tái tạo hành vi lỗi trong điều kiện kiểm soát.
• Human-in-the-loop: điểm phê duyệt của chuyên gia trước hành động nhạy cảm.
• Prompt injection: nội dung độc hại nhằm điều khiển agent lệch policy.
• Sandbox: môi trường cô lập giới hạn file, process, network và quyền.