IT时报 -V5 新闻产业-
5新闻产业
  • ·短剧的“霸总剧本”:要么大火 要么“扑街”
  • ·通义千问落地联发科手机芯片 离线亦可继续和AI对话

通义千问落地联发科手机芯片 离线亦可继续和AI对话

  

IT时报记者郝俊慧
  AI手机正在加速进入市场。
  3月28日,阿里云和联发科联合宣布,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台,这是通义大模型首次完成芯片级的软硬适配。这意味着,即使在离线状态下,仅靠手机芯片的算力,用户也可以通过通义千问完成多轮AI对话,实现AI推理。
  自2023年以来,全球两大手机芯片厂商:高通和联发科相继宣布研发出可装载大模型的芯片。就在10天前,高通刚刚发布第三代骁龙7+移动平台,可以支持Baichuan-7B、Gemini Nano、Llama 2和智谱ChatGLM等大语言模型,而联发科的天玑9300芯片此前也已宣布,支持端侧运行70亿、130亿AI大模型。
  芯片厂商对于端侧大模型的“给力”支持,是手机厂商的底气所在。三星、小米、一加、真我realme、夏普等手机厂商先后发布了自家的AI手机。
  此次,通义千问在天玑9300平台上成功部署,也意味着装载9300芯片的手机将可直接应用该大模型,不仅增加了手机的“AI含量”,也标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。
  据了解,通义千问18亿参数开源大模型,推理2048 token最低仅用1.8G内存,是一款低成本、易于部署、商业化友好的小尺寸模型。阿里云相关人士表示,基于天玑9300芯片,通义千问18亿参数大模型在推理方面表现出了极佳的性能与功耗表现,推理时CPU占有率仅为30%左右,RAM占用少于2GB,推理速度超过20tokens/秒,系列指标均达到业界领先水平,可在离线环境下流畅实现多轮AI对话。
  据了解,双方团队已完成了通义千问40亿参数大模型与天玑9300的适配,未来还将基于天玑适配70亿等更多尺寸大模型,“打样”并支持开发更多AI智能体及应用,相关成果将以SDK的形式提供给手机厂商和开发者。
  AI手机已经成为手机厂商“翻身”的重要武器。数据显示,2023年全年中国智能手机市场出货量约2.71亿台,同比下降5.0%,创下近10年来最低出货量。天玑9300是联发科的高端芯片,据《IT时报》查询,目前国产品牌中采用天玑9300芯片的手机价位大约在3000元~5000元,属于中高端手机。IDC预测,2024年全球新一代AI手机的出货量将达到1.7亿部。