随着生成式人工智能(genAI)继续被公众和各种企业广泛使用，它的采用有时会受到错误、版权侵权问题和直接幻觉的困扰，从而削弱了对其准确性的信任。
斯坦福大学的一项研究发现，基因在回答法律问题时出错的概率为75%。“例如，”该研究发现，“在一项衡量两个不同(法院)案件之间的先例关系的任务中，大多数法学硕士的表现并不比随机猜测更好。”
问题在于，基因人工智能技术背后的大型语言模型(llm)，如OpenAI的GPT-4、meta的Llama 2和谷歌的PaLM 2，不仅具有非特定参数的无定形，而且还由天生有偏见的易犯错的人类训练。
法学硕士被描述为随机鹦鹉——随着他们的规模越来越大，他们的猜想或随机答案也变得越来越随机。这些“下一个单词预测引擎”继续鹦鹉学语，但没有逻辑框架。
减少幻觉和其他基因相关错误的一种方法是检索增强生成或“RAG”——一种创建更定制的基因模型的方法，可以更准确、更具体地响应查询。
但是RAG并没有清理基因的混乱，因为它的推理仍然没有逻辑规则。
换句话说，genAI的自然语言处理对于可靠的结论(输出)没有透明的推理规则。一些人认为，我们需要的是一种“正式语言”或一系列陈述——规则或护栏——以确保在通往genAI提供的最终答案的每一步都得出可靠的结论。自然语言处理缺乏精确语义的形式系统，产生的意义是主观的，缺乏坚实的基础。
但是通过监测和评估，基因人工智能可以产生更准确的反应。
“简单地说，这类似于2+2 = 4的直接协议。元素认知公司的创始人兼首席执行官大卫·费鲁奇在最近的一篇博客文章中写道:“最后的答案是4。
费鲁奇是一名计算机科学家，曾担任IBM沃森超级计算机的首席研究员，这台自然语言处理器赢得了电视智力竞赛节目《危险边缘!》在2011年。
基因人工智能最近出现了一个严重偏离轨道的例子，涉及谷歌(Google)的新Gemini工具，该工具接受用户的文本提示，并创建明显偏向某种社会政治观点的图像。用户文本提示要求纳粹生成黑人和亚洲纳粹的图像。当被要求画一幅教皇的画时，双子座的回应是画了一位亚洲女性教皇和一位黑人教皇。
谷歌被迫将该平台下线以解决这些问题。但双子座的问题并不是唯一的。
元素认知发展了一种叫做“神经符号推理器”的东西。这台名为Braid的推理机根据费鲁奇公司员工的采访，为它从法学硕士课程中读取的语言建立了一个逻辑模型。
“我们采访业务分析师，然后说，‘让我确保我理解你的问题。让我们来看看对你来说很重要的各种业务规则、关系约束和授权。”“然后你最终得到...(910 chars omitted)...。IDC人工智能和自动化实践研究总监Kathy Lang表示，各种机器学习平台(如datarrobot)也正在进入人工智能监控领域。
到目前为止，监控基因人工智能输出通常需要人工参与，尤其是在企业部署中。虽然在可预见的未来可能会出现这种情况，但监测和评估技术可以大大减少人工智能错误的数量。
“你可以让人类判断法学硕士的输出和反应，然后将反馈纳入模型，但这种做法是不可扩展的。你也可以使用其他法学硕士的评价函数来判断其他法学硕士的产出。”“这肯定会成为一种趋势。”
Lang将LLM监控软件归入大型语言模型操作(LLMOps)的范畴，LLMOps通常评估和调试基于LLM的应用程序。更一般地说，它被称为基础模型操作，或FMOps。
“FMOps……明确用于自动化和简化基因生命周期，”Lang说。“基因ai模型的主观性需要一些新的FMOps工具、流程和最佳实践。FMOps的功能包括测试、评估、跟踪和比较基础模型;用新数据调整和调整它们;开发定制衍生模型;调试和优化性能;以及在生产环境中部署和监控基于fm的应用程序。
“这实际上是法学硕士的机器学习操作……重点关注新的工具集、架构原则和最佳实践，以实现基于llm的应用程序的生命周期。”
例如，alize的Phoenix工具使用一个LLM来评估另一个LLM的相关性、毒性和响应的质量。该工具使用“trace”来记录LLM请求(由应用程序或最终用户发出)通过多个步骤传播时所采取的路径。附带的OpenInference规范使用遥测数据来理解llm的执行和周围的应用程序上下文。简而言之，可以找出LLM工作流中断的位置，或者排除与检索和工具执行相关的问题。
高德纳研究公司(Gartner Research)杰出的副总裁分析师Avivah Litan表示，法学硕士监测和评估技术以不同的方式发挥作用。她说，有些人会检查数据的来源，并试图检查法学硕士回应的来源，“如果他们找不到，就会认为这是幻觉。”
其他技术会寻找输入和输出嵌入之间的矛盾，如果它们不匹配或“加起来”，就会被标记为幻觉。否则，它将被清除为适当的响应。
其他供应商的技术寻找“异常值”或不寻常的响应。
与谷歌搜索的操作方式相同，数据库中的信息被转换为数字数据，这种做法被称为“嵌入”。例如，一个地区的一家酒店可能会因为它的价格、设施和位置而被赋予五位数的名称。如果你在谷歌上搜索某个地区价格和设施相似的酒店，搜索引擎会反馈给你所有价格和设施相似的酒店。
以同样的方式，法学硕士评估软件寻找与嵌入相似的答案——或者最接近于查询的数据。“如果它远离嵌入，那么这表明它是一个异常值，然后你可以查找为什么它是一个异常值。然后你可以确定这不是一个正确的数据来源，”Litan说。“谷歌喜欢这种方法，因为他们拥有所有的搜索数据和搜索功能。”
法学硕士评估工具可以最大限度地减少幻觉和错误输出的另一种方法是寻找给出的响应的来源。如果没有可信的来源，那就说明这是幻觉。
Lang说:“所有主要的云供应商也在研究类似的技术，以帮助调整和评估LLM应用程序。”
本文来自作者[admin]投稿，不代表qnwor号立场，如若转载，请注明出处：https://m.qnwor.cn/zsfx/202507-1971.html
评论列表（4条）
我是qnwor号的签约作者“admin”！
希望本篇文章《缓解人工智能幻觉：两个大脑胜过一个大脑》能对你有所帮助！
本站[qnwor号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览： 随着生成式人工智能(genAI)继续被公众和各种企业广泛使用，它的采用有时会受到错误、版权侵权问题和直接幻觉的困扰，从而削弱了对其准确性的信任。...