马斯克旗下初创公司xAI正式宣布开源大模型Grok-1,影响有多大?

2024-03-20 09:49     环球网

马斯克旗下初创公司xAI正式宣布开源大模型Grok-1,影响有多大?

【环球时报报道 记者 樊巍】美国当地时间3月17日,马斯克旗下的人工智能初创公司xAI正式宣布开源大模型Grok-1,遵循Apache 2.0协议开放模型权重和架构。xAI官网显示,xAI已经将Grok-1的权重和架构在软件托管平台GitHub上开源。美国《纽约时报》17日的报道称,马斯克开源Grok背后的原始代码,这是世界上最富有的人之一升级其控制人工智能未来战斗的结果。

xAI在其官网上介绍,Grok-1是3140亿参数的混合专家模型,这也让Grok-1成为迄今参数量最大的开源大语言模型,是Llama 2的4倍。相比之下,公开资料显示,OpenAI GPT-3.5的参数量为1750亿,Grok-1大幅领先。xAI还在官网上进一步公布了Grok-1的一些细节,基础模型基于大量文本数据训练,未针对特定任务进行微调。3140亿参数构成的混合专家模型,其中25%的参数能够针对特定的数据单元激活。

参数量究竟意味着什么?北京邮电大学人机交互与认知工程实验室主任刘伟3月18日接受《环球时报》记者采访时介绍称,参数量的大小,反映了模型的复杂度和表达的能力。参数量越多的模型,它学习复杂模式和关系、处理各种任务的能力更强。

然而xAI并没有在发布的内容中透露Grok-1的具体测试成绩,对于Grok-1的真实水平,刘伟认为目前还难以判断。"但有一点可以确定,如果真如xAI公司所言,Grok-1的参数量达到了3140亿,那么它的参数量比OpenAI GPT-3.5的1750亿参数量多了将近一倍,这意味着Grok-1的水平肯定要在GPT-3.5之上。"刘伟同时表示,Grok-1是否比GPT-4更强,还不好下定论。此外,Grok-1在落地之后,还要根据反馈不断地进行调整,目前对于Grok-1的"生产力"有多大,下判断还为时尚早。

今日关注
更多