Cisco nói frontier AI làm tăng tốc tìm lỗ hổng: cách kiểm chứng backlog remediation

Cisco cho biết đã dùng nhiều frontier model để quét 1,8 tỷ dòng mã thuộc 25 ngôn ngữ trong tám tuần; hãng ước tính cách cũ cần khoảng tám năm và nêu false-positive rate dưới 3% nhờ các harness cải thiện fidelity. Đây là tuyên bố của Cisco về thử nghiệm nội bộ, chưa phải benchmark độc lập có đầy đủ target mix, severity rubric, sampling và chi phí.

Bài viết dẫn Foundry Security Spec như một blueprint model-agnostic cho hệ thống đánh giá bảo mật bằng agent. Kho mã chính thức nói rõ đây là specification, không phải code hay scanner cài xong là chạy; nó mô tả agent roles, finding lifecycle, evidence gate, governance và các điểm cần tổ chức tự làm rõ.

Nguồn được kiểm tra lúc 05:29 ICT ngày 05/09/2026. Các số liệu Cisco dẫn lại về Project Glasswing, Mozilla, Cloudflare, Verizon và Government of Alberta cần được coi là claim có nguồn riêng; bản nháp không dùng chúng làm bằng chứng sản phẩm Cisco.

Thông điệp kỹ thuật đáng quan tâm là sự thay đổi bottleneck. Nếu discovery tăng 10 lần nhưng reviewer, owner và pipeline vá không đổi, backlog sẽ phình to, SLA kéo dài và finding quan trọng có thể chìm trong nhiễu. Precision cao trên sample được chọn cũng không chứng minh coverage hoặc recall.

Foundry Security Spec nhấn mạnh evidence over assertion và chỉ đưa finding qua các gate trước khi hiển thị cho con người. Cách tiếp cận này phù hợp với nguyên tắc vendor-neutral: đánh giá hệ thống bằng artifact có thể kiểm tra, không bằng confidence hoặc văn phong của model.

Pipeline nên tách index/context, detection, triage, validation, reporting và coverage. Mỗi finding cần fingerprint, code location, reachability, trust boundary, reproduction trong sandbox nếu phù hợp và owner. Model output chưa qua gate phải ở finding store nội bộ, không tự tạo ticket production.

Benchmark phải so cùng repository snapshot, rules, time budget và severity rubric giữa baseline human/tooling với AI-assisted flow. Đo cả confirmed finding, duplicate, invalid location, analyst minutes, time-to-owner, time-to-fix và regression escape.

• Precision — Câu hỏi: Bao nhiêu finding được xác nhận?; Bằng chứng: verdict + reviewer + artifact
• Coverage — Câu hỏi: Surface nào đã/ chưa được đánh giá?; Bằng chứng: file/function inventory
• Triage cost — Câu hỏi: Mỗi finding đúng tốn bao nhiêu phút?; Bằng chứng: work log/timebox
• Remediation — Câu hỏi: Bao nhiêu finding vá và verify mỗi tuần?; Bằng chứng: PR, test, deployment
• Safety — Câu hỏi: Agent có vượt scope/sandbox?; Bằng chứng: tool-call/audit log
• Regression — Câu hỏi: Bản vá có làm hỏng chức năng/bảo mật?; Bằng chứng: test suite + retest

AppSec, product security, platform engineering, SOC, software owner và risk governance đều liên quan. AppSec thiết kế rubric/gate; platform giới hạn quyền và ngân sách; owner chịu trách nhiệm sửa; governance quyết định retention, source-code exposure và human approval.

Đội mua sắm cũng cần thay đổi câu hỏi. Không chỉ hỏi “model tìm được bao nhiêu CVE” mà cần yêu cầu dataset, ground truth, precision/recall, severity mix, duplicate handling, evidence traceability, total analyst cost và phương án data isolation.

Không thể từ bài Cisco kết luận các model sẽ đạt cùng tốc độ hoặc false-positive rate trên codebase khác. Không có đủ dữ liệu để tính recall, missed vulnerability, severity distribution, compute/token cost hay so sánh công bằng với quy trình cũ.

Foundry Security Spec không phải sản phẩm GA hay scanner turnkey. Việc áp dụng spec không tự tạo rule corpus, prompt, severity rubric, integration hoặc sandbox. Cũng không nên suy rằng mọi finding AI có thể khai thác hoặc mọi patch do AI tạo đều an toàn.

• Chọn repository snapshot và phạm vi được ủy quyền.
• Tạo ground-truth subset hoặc seeded cases không lộ cho detector.
• Khóa model/version, prompt, rule corpus, budget và timeout.
• Yêu cầu mọi finding có code location và evidence kiểm tra được.
• Deduplicate trước khi tạo ticket cho con người.
• Chấm precision, coverage, reviewer minutes và severity agreement.
• Đo remediation throughput, not just discovery throughput.
• Chạy patch trong sandbox, unit/integration/security regression.
• Kiểm tra quyền tool, egress, secret access và audit log.
• Canary trên repository ít rủi ro trước khi mở rộng.

• Frontier model: model năng lực cao ở biên hiện tại; không phải chuẩn chất lượng cố định.
• Finding: ứng viên vấn đề, chưa mặc định là lỗ hổng được xác nhận.
• Evidence gate: điều kiện bằng chứng phải đạt trước khi nâng verdict.
• Precision: tỷ lệ finding được xác nhận trong số finding báo ra.
• Recall: tỷ lệ vấn đề thật được tìm thấy; khó đo nếu thiếu ground truth.
• Remediation throughput: số vấn đề được sửa và verify trong một đơn vị thời gian.
• Harness: hệ thống điều phối, giới hạn và kiểm chứng hoạt động của model/agent.