AgentSafeLabs/safelabs-eval已验证
发生了什么：本期单仓库核查确认：仓库自述为「Open-source red-teaming and evaluation framework for AI agents — built around an OWASP-inspired agent-security taxonomy」，元数据为 ★488 / forks 27 / open issues 0，Python，Apache-2.0，topics 含 agent-security、ai-safety、crewai、evaluation、jailbreak、langchain、llm-security、owasp、prompt-injection、red-teaming，created 2026-05-25T09:22:48Z，updated 2026-10-04T00:00:02Z，pushed 2026-10-04T00:00:00Z，默认分支 main，未归档。release 列表共 9 条，最新三条集中在 2026-10-03：v0.11.2（09:31:42Z）、v0.11.1（09:27:53Z）、v0.11.0（09:15:55Z），此前为 v0.10.1（2026-09-20T18:51:11Z）、v0.8.1（2026-09-18T07:47:07Z）、v0.2.2（2026-07-16）、v0.2.1（2026-07-11）、v0.2.0（2026-07-09）、v0.1.2（2026-05-25，首个公开版本）。README 显示其能力面：可指向支持的 HTTP agent endpoint 或包装任意 Python callable（同步/异步均可），发起 300 条精选对抗提示词（ASI01–ASI10 十类各 30 条），用基于模式匹配的检测器对每条响应打分并输出结构化安全报告；检测不需要 LLM 调用、不需要修改 agent 代码、不依赖 SafeLabs 专有基础设施；提供 CLI（safelabs run / list / prompts，支持 --category、--severity、--output json、--auth-header、--timeout）与 Python API（run_eval），可输出 JSON 供 CI 流水线消费；安装方式为 pip install safelabs-eval，要求 Python 3.11+；README 声明其可覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel 及自定义框架构建的 agent。README 同时给出两处重要限定：ASI01–ASI10 是「OWASP-inspired」的自建分类，与官方 OWASP Top 10 for Agentic Applications 2026 不同；报告中的 confidence 是模式检测器给出的启发式证据分，不是统计校准概率。
技术含义：该框架的技术取舍是把 agent 安全评测从「人工红队 + 主观判断」压缩为「固定提示词库 + 确定性模式检测」的可重复流水线：不调用 LLM 做裁判，避免了用模型评模型带来的成本、漂移与自评偏差，也让结果在 CI 中可稳定复现；以 HTTP endpoint 或 Python callable 作为唯一接入面，则把评测与具体 agent 框架解耦，代价是只能观测输入输出层面的行为，无法覆盖工具调用链、记忆写入、多 agent 委派等内部路径。风险与不确定性：本期未展开 v0.11.0/v0.11.1/v0.11.2 的 release notes 正文，三个版本的具体变更无法逐条核实，单日连发三版也可能意味着存在回归修复；open issues 为 0 使外部难以判断已知缺陷与误报情况；README 中的示例报告明确标注为 v0.2.2 时期、当时 ASI01 仅 14 条提示词（现为 30 条），说明提示词库仍在扩张，历史分数不可直接跨版本比较；其 ASI 分类为自建而非官方 OWASP 标准，不应作为合规或认证依据；本期未做第三方复测，未验证其在真实生产 agent 上的误报率与漏报率。