提升AI可信度：MIT团队开发新工具对抗“幻觉”

文章来源：08AI导航网发布时间：2025-02-26 12:27:27

符号引用

为了帮助验证，许多 LLM 被设计为生成引用，指向外部文档，并提供语言基础的响应，以便用户进行检查。然而，这些验证系统通常是事后考虑的，并没有考虑到人们在筛选大量引用时所需的努力，Shen 说。

“生成式 AI 的目的是减少用户完成任务所需的时间。如果您需要花费数小时阅读这些文档，以验证模型的说法是否合理，那么在实际应用中生成的内容就不那么有帮助了。”Shen 表示。

研究人员从将要进行验证工作的人的角度来解决这个问题。

SymGen 用户首先向 LLM 提供可以作为参考的数据，例如包含篮球比赛统计信息的表格。然后，研究人员进行一个中间步骤，而不是立即要求模型完成任务，比如从这些数据生成比赛摘要。他们提示模型以符号形式生成响应。

在这个提示下，每当模型希望在响应中引用词汇时，必须写出数据表中包含该信息的具体单元格。例如，如果模型想在响应中引用“波特兰开拓者”这个短语，它将用数据表中包含这些词的单元格名称替换该文本。

“因为我们有这个中间步骤，使文本以符号格式呈现，我们能够实现非常精细的引用。我们可以明确指出，输出中每一段文本具体对应数据中的哪一部分。”Torroba Hennigen 表示。

SymGen 然后使用基于规则的工具解析每个引用，将相应的文本从数据表复制到模型的响应中。

“这样，我们知道它是逐字复制的，因此可以确保与实际数据变量对应的文本部分不会出错。”Shen 补充道。

简化验证

模型能够生成符号响应，是由于其训练方式。大型语言模型接受来自互联网的大量数据，其中一些数据以“占位符格式”记录，代码替代了实际值。

当 SymGen 提示模型生成符号响应时，它使用类似的结构。

“我们以特定的方式设计提示，以发挥 LLM 的能力。”Shen 补充说。

在用户研究中，大多数参与者表示 SymGen 使验证 LLM 生成的文本变得更容易。他们验证模型响应的速度比使用标准方法快约 20%。

然而，SymGen 的效果受源数据质量的限制。LLM 可能引用错误的变量，而人工验证者可能对此毫不知情。

此外，用户必须以结构化格式（如表格）提供源数据，以便输入到 SymGen。目前，该系统仅适用于表格数据。

展望未来，研究人员正在增强 SymGen 的功能，以便处理任意文本和其他数据形式。有了这个能力，它可以帮助验证 AI 生成的法律文件摘要的某些部分。他们还计划与医生一起测试 SymGen，以研究它如何识别 AI 生成的临床摘要中的错误。

这项工作部分由 LiBERTy Mutual 和 MIT 智能探索计划资助。

上一篇: 人工智能如何更好应用于健康领域？中外专家解析三对“连接”

中新社北京11月3日电 (记者李纯)“人工智能作为一种新质生产力，为我们整合卫生健康体系提供了机遇，也提供了手段。”谈及如何利用人工智能(AI)技术赋能卫生健康体系建设，清华大学万科公共卫生与健康学院常务副院