Bloom：自动化评估大语言模型行为的安全研究框架

Bloom 是一款免费开源工具，可自动检测人工智能模型的不良行为，例如偏见输出、谄媚附和等问题。你只需在简易配置文件中定义待检测的行为类型，按需添加对话示例，工具便会自动执行四大步骤：行为意图解析→多样化测试场景生成→目标模型交互模拟（支持通过 API 对接 Claude、GPT 等主流模型）→结果量化评分（依据问题出现频次等指标完成评估）。测试过程中的交互式对话记录也可便捷查看。
这款工具能帮你节省数小时的人工测试工作量，支持基于全新测试集快速对比不同模型的表现，有效规避过拟合问题；同时提供可靠且可复现的 AI 安全性分析结论，非常适合致力于构建可信 AI 系统的科研人员使用。

在大语言模型（LLM）越来越强的今天，“模型到底在什么情况下会表现出不安全、不对齐或偏置行为”，已经成为一个必须系统回答的问题。

Bloom 是一个由 AI 安全研究团队开源的 模型行为评估框架，它并不是一个新的语言模型，而是一套 用来“测试模型”的工具链，目标是让模型安全评估变得自动化、规模化、可复现。

Bloom 想解决什么问题？

在 Bloom 出现之前，模型安全评估通常存在几个明显痛点：

• 评估用例高度依赖人工设计
• 场景覆盖有限，难以发现“边缘失控行为”
• 不同研究者之间难以复现实验结果
• 评估过程不可扩展，成本高

Bloom 的核心目标可以总结为一句话：

把“模型行为评估”本身，变成一个可以被自动化、组合和扩展的流程。

Bloom 的整体工作流程

Bloom 将模型评估拆解成一条清晰的流水线，而不是一次性对话测试。

行为定义（Behavior Specification）

研究者首先定义要评估的行为类型，例如：

• 奉承性（Sycophancy）
• 自我保护倾向
• 政治或价值偏见
• 拒绝不当请求的稳定性
• 角色一致性破坏

这些行为并不是 prompt，而是抽象目标。

场景生成（Ideation）

Bloom 会自动生成大量测试场景，包括：

• 不同语境
• 不同提问方式
• 不同情绪、角色或诱导路径

这一步解决了人工设计用例“覆盖面太窄”的问题。

模型交互（Rollout）

Bloom 将这些场景批量送入目标模型（如不同版本的 LLM）：

• 自动运行多轮对话
• 记录完整上下文
• 可对比多个模型或多个 checkpoint

行为判断（Judgment）

最后一步是对模型输出进行分析，例如：

• 是否触发了目标行为
• 行为出现的频率
• 行为的强度或稳定性

判断本身也可以由模型或规则系统完成，而不是完全依赖人工标注。

Bloom 的核心特点

自动化优先

Bloom 不是“测试一次”，而是设计为：

• 可以反复运行
• 可以持续集成（CI-like）
• 可以对模型更新进行回归测试

面向研究

Bloom 明确不是一个“对话机器人框架”，而是：

• AI 安全研究工具
• 模型对齐（Alignment）分析工具
• 行为失控早期预警工具

这也决定了它的使用门槛偏向研究人员。

可复现、可扩展

• 所有评估配置都是结构化的
• 实验可以被他人完整复现
• 新的行为类型可以被模块化加入

Bloom 的总结

一句话总结 Bloom：

Bloom 不是在“教模型说话”，而是在“审问模型在什么情况下会说错话”。

它代表了一种非常重要的趋势：
AI 的下一步，不只是更强，而是更可被理解、被约束、被验证。

Github：https://github.com/safety-research/bloom
油管：https://youtu.be/FB439S6Qy1U