IT时报 -V6 新闻通信-
6新闻通信
  • ·美国运营商为何不“掺和”大模型
  • ·“拥有大模型无须从零开始”

“拥有大模型无须从零开始”

详解WAIC 2023镇馆之宝Amazon Bedrock

  

IT时报记者郝俊慧
  Bedrock(基岩),地理学中,它是地表层的坚硬岩层,很难被开采;《我的世界》里,它是最基础的方块,不可被破坏;而在2023年世界人工智能大会(WAIC 2023)上,它是亚马逊云科技带来的镇馆之宝——基础大模型云服务。
  今年4月发布的Amazon Bedrock,是亚马逊云科技在生成式AI领域的重要布局。之所以称为“云服务”而不仅仅是“大模型”,在于其不仅提供亚马逊云科技自己的模型Amazon Titan,还提供初创公司AI21 Labs、Anthropic,以及Stability AI的基础模型服务的访问,核心功能在于帮助开发者能够轻松定制模型,并构建属于自己的生成式AI应用程序。
  不久前召开的WAIC 2023上,亚马逊云科技生成式AI产品研究院院长Sherry Marcus向中国用户详解Amazon Bedrock。
“大模型家族”组团服务
  “绝大多数的客户并不需要自己从零开始来训练模型。”对于大模型的应用场景,Sherry Marcus开宗明义,认为不能依赖一个万能的、单一的大型语言模型来应对各种任务,“正确的做法应该是,客户可以访问多个模型,然后根据自己的需求和数据来定制自己的模型。”
  当用户进入Amazon Bedrock官网时,可能只需点击几次,便可以找到适合自己的模型服务。
  首先是选择基础模型。Amazon Bedrock提供了一个“大模型家族”,为客户提供已经训练过的预训练模型。
  选择基础模型之后,便进入微调阶段,只要将提示词发送到模型,由Amazon Bedrock自动部署基础模型进行推理。“客户可以根据自身需求,在大语言模型的基础之上,进行专业化或者专门化模型的构建,并且使用自己的数据,这样在享受大模型丰富度的同时,也可以体验小模型带来的快速迭代。”Sherry Marcus解释,通过微调,客户可以最大限度提高特定任务的准确性,只需使用20个示例标记便可以实现任务准确性,与基础模型相比,这些定制化模型风格各异,更适合银行、旅行和医疗等消费场景。
“芯片全家桶”解决算力难题
  对于全球云服务商而言,ChatGPT是一个新的“Game?Changer”(规则制定者),提供以基础模型云服务为主的Maas(大模型即服务)将是云商下半场主要战术已毋庸置疑。
  目前,除了亚马逊云科技,国内的华为云、腾讯云等云商均已提出要为客户提供“大模型超市”,而商汤、科大讯飞等拥有强大自主算力的AI公司,也很可能要来分一杯羹。
  在这场由AIGC引发的创新浪潮中,算力将是关键的胜负手,不仅仅是紧缺的算力资源,还要有高度弹性化的算力供给能力。
  WAIC 2023前一周,亚马逊云科技中国峰会落幕,彼时亚马逊云科技大中华区产品部总经理陈晓建拿出了一张亚马逊自研芯片“全家福”:作为亚马逊云科技第一款自研芯片,Amazon Nitro实现了高度轻量化的虚拟化,而基于ARM架构的CPU芯片Amazon Graviton,可以让F1一级方程式赛车的开发速度提速70%。
  当然,用于机器学习训练和推理的芯片Amazon Trainium和Amazon Inferentia更受关注。据陈晓建介绍,基于Trainium的Trn1实例(云计算基础计算单元)和通用的GPU实例对比,在训练吞吐率上面,单节点可以提升1.2倍,而多节点集群的吞吐率可以提升1.5倍,从成本考虑,单节点成本可以降低1.8倍,集群成本更是可以降低2.3倍。
  针对需要集群训练的大模型,亚马逊可以用3万张Trainium芯片构建一个EC2 UltraCluster超大集群,使用户可以获得云上6 EFlops(每秒100亿亿次浮点计算)的训练超算能力。
  ChatGPT带来的英伟达浪潮,使世人目光均聚焦于A100、H100等明星芯片,然而,在实际应用中,推理芯片才是“吞金兽”。原因很简单,训练往往只是阶段性服务,而推理是7×24在线不中断的服务,对客户来说,推理芯片的吞吐率、延迟率、成本都很重要。
  陈晓建举例称,在为Stable Diffusion 2.1服务时,Inferentia 2可节约50%成本,另一个提供AIGC视频剪辑的“当红炸子鸡”Runway,通过Inferentia 2获得了两倍吞吐率的提升。Sherry Marcus透露,通过Trainium和Inferentia,推理性价比提高了40%,数据吞吐量增加了四倍。
  通过Amazon Bedrock提供基础大模型服务和以自研芯片确保算力能力,亚马逊云科技试图以低成本和加速的方式,解答更多人对于这场由AI创新带来的困惑。