十年前的手机都能跑,阿里掏出了最适合落地的小模型?

2025-05-12 19:00  观察者网

(文/陈济深 编辑/张广凯)

上个月,阿里巴巴旗下的通义平台正式推出了新一代模型Qwen3,登顶全球最强开源模型榜单。

值得注意的是,Qwen3系列模型共包含8款不同尺寸,除了两个参数为30B和235B的MoE(混合专家系统)大模型外,阿里本次推出了6款Dense(稠密)模型,6个是稠密模型,参数从0.6B到32B不等。

阿里一向非常重视小尺寸模型,这也算不上新闻了,不过其中最小的0.6B模型参数量仅为6亿,作为对比,2019年2月发布的GPT-2参数量都有15亿。这个模型的实际表现如何,让人相当好奇。

为此,我们请教了一些专业开发者,并且自己也进行了测试,发现即使10年前的手机芯片都足以支持这款模型的推理运算,实际回答效果也能够差强人意。而4B、8B等参数量的模型则有着更好的表现。

对于一次性更新八个开源模型的原因,阿里云CTO周靖人表示:不同模型其实就是尽量满足从个人到企业的不同开发者的需求。比如手机端侧可以用4B,电脑或汽车端侧推荐8B,32B是企业最喜欢的尺寸,能商用大规模部署。

除了尺寸之外,有开发者指出,采用稠密架构的小模型,也比MoE的稀疏架构更适合企业的实际业务场景。在可以预见的未来,B端市场还是大模型变现的最重要场景,凭借快人一步的小尺寸模型布局,阿里正在这场竞争中抢占先机。

什么是稠密模型?

所谓稠密模型(Dense模型),是指神经网络中层内神经元之间通过全连接(Fully Connected)方式连接,且所有参数对所有输入样本全局共享的模型。

相比使用稀疏模型MoE架构只会调用部分的参数资料,Dense模型对于任意输入,模型的所有参数都会被激活并参与计算。

早期人们熟悉的大模型,都是以稠密架构为主。

以OpenAI为例,其GPT系列在GPT3前均使用了Dense模型,而后续GPT版本由于其闭源的特性,我们暂时不得而知其采用了哪类架构。

作为深度学习的 "基石",稠密模型其核心价值在于简单性、高效性和普适性,适用于大多数标准化、实时性或资源受限的场景。

但是随着Scaling Law之下,大模型训练所需的参数量呈几何增长,稠密模型的训练成本逐渐让人难以承受,并且能力提升幅度也逐渐遭遇瓶颈,暴露了较难适应多样化场景的问题。为此,MoE(混合专家系统)模型作为解决方案应运而生。

相比于参数愈发膨胀的稠密模型,MoE架构是节约资源的一种设计,通过引入稀疏门控机制,每次执行任务时只需要激活少数相关的子模型,从而降低训练和推理成本。DeepSeek V3就是凭借MoE架构,实现了惊人的成本下降。

但是MoE架构也有缺点,如增加通信成本、微调中容易出现过拟合等。而稠密模型由于推理时计算路径固定,无动态路由开销,反而相比Moe架构更加适合实时在线客服、商品推荐、金融风控等需要低延迟响应的场景。

稠密模型除了有更加合适的匹配场景,对于个人开发者而言,Pytorch、TensorFlow等深度学习工具链对稠密模型的优化已非常成熟,从分布式训练到量化压缩,形成了完整的技术栈。而MoE模型的工程实现由于还处在技术迭代阶段,相比Dense模型没有一套完整成熟的方案,对于个人开发者落地成本较高。

小模型能跑成啥样?

那么作为小而美的模型,其运行门槛到底有多低?又会不会存在小而弱的情况呢?

在运行门槛层面,有开发者对观察者网表示,其成功将Qwen3 0.6B模型安装在一款搭载4核2.4G的CPU的设备中并成功运行。

开发者将Qwen 0.6B植入应用生成回答

如果要用手机芯片对比该CPU,最为接近的是发售于2014年的骁龙801芯片。该芯片为28nm制程,搭载4核2.5G CPU,并搭载了一颗Adreno 330的GPU,当年发售的小米4、三星Galaxy S5、OPPO Find7等手机均采用了该款芯片。

而这款当年的旗舰芯片放到2025年是妥妥的过时硬件,以小天才电话手表Z10为例,其搭载的高通W5芯片采用4nm架构,四核Cortex-A53的CPU,在Geekbench5单核跑分约500分,碾压了骁龙801的200分。也就是说单核角度,现在小天才电话手表的CPU都是骁龙801的两倍。

更值得注意的是,该开发者表示,其采用的设备只有CPU,没有GPU。也就是说无论是10年前的小米手机,还是如今的小天才电话手表,都硬件性能都能支持顺利运行Qwen3 0.6B的模型。

观察者网也在iPhone 16 Pro Max(2024年上市,搭载苹果3nm制程A18 Pro芯片)和索尼Xperia Z5(2015年上市,搭载高通20nm制程骁龙810芯片)上进行了测试。

在没有任何优化的情况下,两款手机均能运行Qwen3 0.6B参数的Dense模型。不过在响应速度上,在关闭推理模式时,苹果手机可以做到实时响应,索尼手机可以做到延迟1秒左右响应,而在开启了推理模式后,苹果手机则依然能迅速响应,索尼手机则需要接近10秒的时间才能响应,出现了显著的延迟情况。

而在具体的问答环节,在没有任何优化和适配的情况下,对其提问"天空为何是蓝色的"和"生蚝是生的还是熟的",Qwen3 0.6B没能丝滑应对脑筋急转弯,但也给出了勉强可用的回答。

Qwen3 0.6B回答生蚝问题

相比之下,4B的模型性能又有显著提升,同样询问其"生蚝是生的还是熟的"问题后,它能够准确回答出"生蚝"是名字,不是状态,可以是生的,也可以是熟的。

Qwen3-4B模型能够详细回答生蚝问题的答案

根据阿里官方的描述,Qwen3-4B性能可与Qwen2.5-72B-Instruct媲美,而Qwen考虑到目前智能手机基本均可以流畅本地运行Qwen3-4B模型,主流电脑基本均可以本地运行Qwen3-8B模型,这也代表着Qwen3小模型也可以完全胜任普通人需要的设备智能化的任务,相比满血MoE大模型并不存在极其巨大的使用差距。

Qwen3发布后,上下游供应链第一时间进行适配和调用,尤其是强调了对小尺寸模型的适配,体现了业内对其能力的认可。

英特尔官方网站显示,英特尔在车端舱内和AI PC上都对新发布的Qwen3系列模型完成匹配,使得搭载小模型的AI PC也能成为用户助手。

英特尔官方展示Qwen3-0.6B模型优化效果

国产芯片厂商海光信息也宣布其DCU完成对Qwen3全部8款模型的适配+调优,覆盖235B、32B、30B、14B、8B、4B、1.7B、0.6B各种参数。

抢占AI应用爆发窗口期

如果说阿里更新的32B以上模型是为了对标乃至超越DeepSeek-R1,那么在小模型的技术线上,阿里又意欲何为呢?

我们在解释Dense模型的特性时就提到,相比MoE模型,Dense模型更加适合一些需要准确性和实时反馈的业务场景,而阿里所在的电商、物流、金融科技等领域,天然就对大模型幻觉存在较低的容忍度。Dense模型相比MoE模型,会更加容易适配诸如商品智能推荐、智能客服、智能家居、智能眼镜、自动驾驶、机器人等领域领域,与阿里自身的业务板块和未来的发力方向较为契合。

而且,相比上一代模型支持29种语言,本次阿里开源大模型支持119种语言。对于阿里国际站、速卖通等平台覆盖的全球 200 多个国家和地区,多语言尤其是小语种支持可直接降低语言壁垒,提升用户体验,属于AI赋能自身业务的直观体现。

而119种语言的背后也代表着阿里在持续加码建设自己的开源生态。Qwen3系列模型依旧采用宽松的Apache2.0协议开源,全球开发者、研究机构和企业均可免费在魔搭社区、HuggingFace等平台下载模型并商用,也可以通过阿里云百炼调用Qwen3的API服务。

具体到小模型在第三方的应用,多位AI开发者对观察者网表示,在很多场景,小模型才是真正能干活的模型。

有人解释道:"很多业务QPS(每秒查询)都是以万为数量级,而业务链路对于延迟的要求又极为严格(个位数毫秒),这种场景根本没法塞一个大模型进去,哪怕是用7B级别的模型,对于显存都是巨大的负担。对于绝大部分无法承担高额预算的企业,0.6B、1.7B的小模型有着巨大的应用价值,不仅能少吃资源,还能支持高并发。"

其补充表示:对于一些轻量的任务,不需要模型懂很多道理,只要能够对输入有感知,能够识别信号输出,就是合格的模型了。Qwen小模型的出现取代了TinyBERT,只要能够实现快速、轻量、稳定,那么这个模型在工业界就有很大的应用潜力。

另一位开发者则对观察者网表示:"Qwen3-0.6B具有参数少、本地跑的特性,非常适合微调成匹配单一小任务的模型,比如文章提取、样式整理、数据转化,相比大模型存在巨大的性价比优势。"

据了解,目前已有企业使用Qwen3的0.6B模型在边缘设备(如工控机)部署,实时分析传感器数据。

除了赋能自身业务和吸引开发者生态,阿里也希望通过更加先进和适配的大模型抢占更多的C端入口。

2024年底至2025年初,阿里通过一系列组织架构调整和人才布局推进AI To C战略,将AI应用"通义"并入智能信息事业群,整合天猫精灵与夸克团队,并聘请顶尖AI科学家许主洪负责AI To C业务研发。

有市场人士认为,此轮调整的背景是阿里通义APP的普及率不及预期。

通义千问凭借在多模态处理和复杂任务推理方面的技术优势,曾为阿里的B端企业服务及开发者生态提供了有力支撑。诸如飞猪旅行借助通义千问多模态模型,实现了用户方言语音规划行程的功能;Rokid AR眼镜搭载其技术后,能够进行实时翻译。通义千问在大模型开源上跑得很快,但是,其"通义"App在C端应用上并没有使出"撒手锏"。

AI市场竞争激烈,腾讯的混元大模型依托微信庞大的用户基础和生态优势,在微信多个入口为元宝争取亮相的机会,对C端用户形成"茧房式包裹"。字节跳动旗下的豆包借助抖音的推流优势,在2024年11月MAU飙升至5998万,长期霸榜AI应用下载量榜单前三。

不过阿里在C端依然有潜力应用夸克。第三方数据显示,2025年3月,夸克的MAU(月活跃人数)达到1.48亿,登上国内AI应用榜首。

当前阿里的整体AI战略布局,愈发强化通义千问与夸克的"双子星"格局。通义千问专注于支撑云上智能,夸克则着力打造端侧入口,协同推动阿里AI To C战略的落地。

随着C端渗透率不断提升,算力成本会成为大模型企业不可承受之重,DeepSeek就曾经在爆火出圈时遭遇算力崩溃。如果能够用小尺寸模型承接更多C端用户需求,对于阿里自身成本控制和用户体验,都会有潜在的重要意义。