检索模型训练新方案发布

Neon数据库跟AI语音平台公司开展合作, 进而推出了一套针对检索模型的训练方案, 此方案运用强化学习技术, 针对4B参数的开源模型实施后训练, 在文档搜索任务里呈现出惊人性能。

经过测试得出的数据表明, 这个模型所具备的准确率不仅和OpenAI的GPT – 5.6 Sol相当, 而且还要更高一些, 然而在成本方面, 仅仅只是后者的百分之一。这就意味着, 企业能够凭借极低的代价, 获取到接近于顶尖商业模型具备的搜索能力。

智能体搜索成为新趋势

依赖嵌入式技术的传统搜索, 在把文档转换为数值向量之后去查找相似内容。然而, 随着AI智能体的普及, 搜索流程正朝着智能体式搜索转变, 可以自主拆分问题、决定查询策略、查看结果并且发起下一轮搜索的模型出现了。

智能体搜索对于处理复杂问题更加适配, 然而每一次搜索均需调用高性能的模型, 致使耗时以及成本急剧增加。按Neon团队的统计, 运用GPT – 5.6 Sol进行一次搜索请求的时长超过10秒, 且成本约为0.03美元。

小模型训练方案详解

Neon团队挑选出训练相对小型的开源模型, 使模型去进行学习, 学习怎样从特定的数据里找寻到所需的信息。Neon承担起提供文档存储位置以及搜索功能的责任, 合作方负责开展训练模型的工作, 训练其判断需要搜索什么。

在训练经过的流程里头, 模型会试着去完成任务, 系统依据结果来打分并且归入后续的试验。评估所涉及的维度涵盖了是不是找到了正确的文档, 是不是引用了合适的段落, 最终的答案是不是正确。

测试结果刷新纪录

于Neon的验证里, 经过后训练的模型, 其平均评估分数为1.447, 此分数超过了GPT – 5.6 Sol的1.369, 并且也高于对照的GPT – 5.4的1.377, 进而刷新了该验证之中的最高纪录。

这个结果证实了, 专门针对特定场景开展训练的小模型, 是能够完全比得上甚至超过通用大模型的表现的，给企业提供了更具性价比的一种选择。

成本对比悬殊

后训练模型单次推理的成本, 只有0.00085美元, 按照当前汇率来算, 大约折合0.0063元人民币。与之相比较, GPT – 5.6 Sol单次推理的时候, 成本是0.079美元, 差不多折合0.59元人民币。

成本之间的差距快要接近百倍了, 这表明那些进行大规模部署AI搜索应用的企业能够极大程度地削减运营成本, 使得AI智能体搜索切实有机会真正在更多场景之中实现有效落地了。

开发者如何应用

就开发者来讲, 这一整套方案给出了一条明朗的技术途径, 借助开源模型强化学习训练, 联合托管数据库的搜索本事, 搭建低成本高效率的智能体搜索体系。

你有没有在思索着让AI应用的搜索成本降下来呢, 欢迎于评论区把你的经验以及看法给分享出来。