投资人的亲儿子选了国产底座

在硅谷之中, 备受瞩目的明星公司, 历经一番努力后, 好不容易终于憋出了一个大招, 随后官宣发布了自身的第一个通过自主研发所得到的模型, 此家公司有着高达一百一十亿美金的估值, 在整个美国法律人工智能领域里, 属于最为热门的公司, 然而, 出乎很多人意料的是, 他们所推出的第一个模型的底座, 所采用的并非是OpenAI, 也并非是谷歌, 反而是源自中国开源的Kimi K3。

先有黄仁勋, 砸下六十万亿, 宣称要打造最强的开源模型。然而, 谁能料想到, 他所投资的公司, 等不及自行训练, 径直拿K3开刀。那是一个身为美国的公司, 其第一块自研模型的基石, 居然源自中国开源项目。这般反转, 令诸多人大跌眼镜。

法律AI为什么必须有自己的模型

法律领域属于特殊赛道, 每月要处理成百上千亿token, 且每一个token都是从他人API购买得来, 模型厂商说涨价格就涨价格, 使得应用公司完全没有应对办法，以往人们习惯于花钱获取底层能力, 然而如今却发觉如此根本无法掌控。

危险程度更高的是, 供应商会逐步演化成竞争对手。往昔售卖API的公司, 如今已然着手开展法律业务。今日于你这儿供水的, 明日极有可能摇身变成关乎你客户会议室里的谈判对手。手中倘若不存在自身能够加以修改、能够予以部署、成本处于可控状态的模型, 往后在谈及价格时根本毫无底气可言。

K3底座强在哪

K3是当下全球参数量最大的开放权重模型, 其参数数量达到两百八十万亿 , 它能够支持一百万token上下文, 具备原生多模态特性 , 对于法律行业而言 , 一个并购案的数据常常动辄几千万token , 那些窗口不够大的模型甚至连卷宗都无法塞进去 , 更为关键的是权重公开 , 能够运用LoRA深入五十万个专家张量里进行操作。

闭源模型即便再强大, 其权重被锁在 API 之后, 人员仅能够调整参数、撰写提示词, 却触碰不到模型的骨架。K3 为公司赋予了实实在在去修改底层能力的契机。投入四分之一的资金, 却达成了最强模型才有的成果。对于月处理量达万亿级 token 的公司来讲, 经济账根本无需计算。

怎么炼出来的

预训练前沿模型从起始就要动用几万张卡连续烧上好几个月, 耗费金额在数亿美元之上。此家公司转变了一种思路, 釆用异步强化学习方式。并非是去教导模型更多的法律知识, 而是教导它怎样如同资深律师那般去完成工作。聘请了一群执业律师编撰虚构案件, 使模型着手开展工作, 随后再逐一条目进行审核。

他们列出了几十条具备严格标准的硬杠杠, 每一条都只有通过与未通过这两种判定, 全部通过才被视为完成任务, 只要差一条就会直接被判定为零分。这种情况是基于自建的法律基准之上, 相较于K3底座全通过率而言提升了百分之八十二, 任务完成数也近乎翻倍。当合作方去测公司法任务时, 分数比基座高出十五分从而拿到了第一名。

开源底座成行业新基建

过往几年间, AI编程公司推出自研模型, 三天过后, 被开发者发现其底座乃是Kimi, 联创随后承认这属于失误, 然而市场已然察觉到一种趋势, 即Kimi成为了开源圈的验货官, 使用与否, 是模型能否经受住真实产业环境考验的风向标 , 在编程、搜索、法律等方面依次排列下来, Kimi成为了名副其实的基模之光。

于中, 美国企业在开源模型之上的token用量, 曾一度占到百分之四十六。有CEO径直表示, 即便你对开源模型加以禁止, 那也毫无作用, 中国方面依旧会照常发放, 遭殃倒霉的仅仅是美国的创业公司而已。每一个公司都能够拥有属于自身的模型, 这样的一条路径是能够被复制的。

法律AI的新格局

随后要将算力从一千卡扩充至一万卡, 开展全参数微调, 并且要尝试更多开放底座。其目标是使每一家律所都能够拥有自身的专有模型。法律服务属于全球客单价最高、对错误最为零容忍的行业当中的一个, 然而第一家获得造自己模型入场券的公司, 采用的却是中国底座。

这件事所传递出的那信号是极为明确的, 真正意义上的竞争壁垒并非存在于底座自身, 而是存在于行业数据、专家反馈以及后训练方法之中。底座愈发像是工业原材料, 谁能够以最低的成本获取到优良材料, 再加以行业深加工, 谁便能够取得胜利。全球最强法律AI的亲生孩子, 在其迈出第一步之际, 踏在了中国开源模型之上。

你觉得法律AI用中国底座是短期策略，还是长期趋势？