什么是幻觉?
幻觉是指 AI 模型生成看似流畅、令人信服,但实际上错误或没有来源的信息。
它是如何工作的?
语言模型的工作方式是生成可能性最高的文本,而不是通过核实真相的机制。因此,即使面对不了解的主题,它们也可能给出流畅的回答。缺少上下文、问题含糊以及训练数据中没有的主题都会增加这一风险。
用在哪里?
- 幻觉不是用例,而是一种风险。在法律、金融、医疗和对客户的承诺等领域尤为关键。
注意事项
- 为降低风险,回答应以来源为依据并注明出处(RAG(检索增强生成))。
- 应设计指令和测试,使模型在不知道时明确说明。
- 关键输出应经过人工审批。
- 风险无法消除;需要定期进行评估测试。
Huaris AI 在这方面做什么?
Huaris AI 将来源引用、评估集和人工审批环节纳入解决方案,并明确说明风险无法消除。