如何规避大模型幻觉？百川智能发布系列基于搜索增强的API接口
2023-12-20 11:30:04 - 新京报
新京报贝壳财经讯（记者白金蕾）如何解决大模型出现幻觉、时效性差、专业知识不足等问题？百川智能的答案是“超长文本+搜索增强知识库”。
12月19日，百川智能宣布开放基于搜索增强的Baichuan2-Turbo系列API（应用程序编程接口），包含Baichuan2-Turbo-192K及Baichuan2-Turbo。在支持192K超长上下文窗口的基础上，还增加了搜索增强知识库的能力。即日起，API用户可上传文本资料来创建自身专属知识库，从而根据自身业务需求打造更完整、高效的大模型解决方案。
此外，百川智能还升级了官网模型体验，目前其官网大模型已支持PDF、Word等多种文本上传以及URL（统一资源定位器）网址输入，用户可通过官网入口体验。
在百川智能的技术思考中，大模型+搜索增强是大模型时代的新计算机，大模型类似于计算机的CPU（中央处理器），通过预训练将知识内化在模型内部，然后根据用户的Prompt（提示词）生成结果；上下文窗口可以看做计算机的内存，存储了当下正在处理的文本；互联网实时信息与企业完整知识库共同构成了大模型时代的硬盘。
为解决幻觉、时效性差等问题，业内大部分企业探索了长上下文窗口和向量数据库两种较好的路径。百川智能将向量数据库升级为搜索增强知识库，搜索增强技术能有效提升模型性能，并且使大模型能“外挂硬盘”，实现互联网实时信息+企业完整知识库的“全知”；另外，搜索增强技术还能让大模型精准理解用户意图，在互联网和专业知识库、企业知识库的海量文档中找到与用户意图最相关的知识。利用上述解决方案能够替代绝大部分的企业对大模型的个性化微调，解决99%企业知识库的定制化需求。
编辑陈莉校对刘军