IT时报 -V6 新闻产业-
6新闻产业
  • ·竞逐大语言模型 关键是算力
  • ·无标题

竞逐大语言模型 关键是算力

上海市信息化企业家协会换届大会暨专题论坛上企业家热议GPT

  

IT时报见习记者毛宇
  这原本是一场信息化企业家协会的换届大会,但日前“风头正盛”的ChatGPT,让在场的行业人士无一不对ChatGPT所引起的科技行业变局十分关注。
  在4月14日举行的主题为“AI 2023,改变世界力量”的上海市信息化企业家协会换届大会暨专题论坛上,一大批信息产业领域的资深企业家和创业者聚焦“GPT大语言模型的应用和机遇”专题论坛,思考探讨这个行业的现状和未来。
  过去五年,世界格局加快演变、新冠疫情强力冲击、国内经济遭遇重创,科技行业发展走势一度令人担忧。进入到2023年,由OpenAI开发的基于文本生成技术的对话机器人ChatGPT,强势问世并破局,为科技行业带来了风暴式的洗礼。
思考一:国内为何没抢先一步开发GPT?
  尽管ChatGPT在面对一些专业问题上,偶有答非所问、胡言乱语的现象,但不可否认,ChatGPT所带来的影响以及其背后的技术优势与突破。早在其问世之际,便有人提出疑惑,国内为何迟迟没有开发出来这项技术?
  在达观数据董事长兼总经理陈运文看来,目前,全球绝大部分大语言模型(LLM)都使用了由谷歌提出的Transformer基础组件结构,并走出了Encoder、Decoder、Encoder-Decoder三条技术路线。目前,仅技术一Encoder被国际大多主流学术界所使用,该技术擅长语义理解型任务,训练代价小、效果显著,故而备受青睐;技术路线二Decoder因费时费力,效果在当时处于长期落后阶段,因此不被学术界看好;技术路线三Encoder-Decoder则是试图将技术一和技术二的优点组合结合,但这条路迄今为止仍未走通,还处于摸索阶段。“OpenAI彼时走的就是技术路线二,不被看好且孤独的一条道路,但好在后来在微软的支持下,花费了大量的时间与成本,研究了很多数据,最后将技术二跑通并取得了显著效果,我觉得是值得钦佩的。”陈运文说。
  Decoder路线对于知识的提炼和写作能力更强,但算力、数据成本又极高,效果也曾长期落后。仅OpenAI“一意孤行”,好在不断坚持后跑赢。
  从陈运文的观点里不难看出,长期的坚持、看待问题的格局以及对于技术探索的态度等都是OpenAI成功的关键所在,这些值得整个行业背后的人去学习及思考。
思考二:大、小语言模型能协同进化吗?
  针对GPT背后的大语言模型,是各类人工智能企业所关注的重点。会上,大语言模型也成为探讨AI的第一步。
  中科院上海高等研究院智慧城市研究中心主任宁德军从一位算法科学家的视角,对大语言模型的创新过程进行了分析,也对小模型的存在价值做出肯定并举出多重案例证实。宁德军认为,虽然模型规模是提升模型性能和泛化性的重要方法,但大小模型的协同进化是未来人工智能落地的重要范式。
  对此,行业者所见略同。
  OpenAI联合创始人兼CEO山姆·奥特曼曾表示,OpenAI正接近LLM规模的极限,但是规模越大并不一定意味着模型越好,而可能只是为了追求一个数字而已。大语言模型的规模不再是衡量模型质量的重要指标,未来将有更多的方式来提升模型的能力和效用。
  此番言论也进一步证实,除去技术创新所带来的提升,未来大语言模型与小语言模型的共生也是一种生态模式。
  目前,海外市场风起云涌,国内各家大语言模型百花齐放。
  近期多个国产大语言模型竞相“官宣”,包括百度“文心一言”、复旦“MOSS”、阿里“通义千问”、商汤“日日新”、清华大学“Chat
GLM-6B”等,行业“内卷”即时上演。可以预见的是,大模型产业的蓬勃发展将助力AI工业化进程、变革海量应用交互方式、创造数字产业新的增长空间。
  多位专家认为,大语言模型竞逐,算力是关键。“各行业软件产品都可内嵌大语言模型来大幅度增强人机交互的能力,与垂直行业的软件相互结合后,能创造大量新的IT发展机会。”陈运文在《人工智能与ChatGPT技术的应用和机遇》的主题演讲中表示,达观数据的国产GPT系统“曹植”系统,已具备可本地化部署的独特能力,确保数据安全私密,配合类似微软Copilot的国产版插件“达观助手”,能进行文字自动化撰写、审核、排版等。
  全面推进城市数字化转型,建设具有世界影响力的国际数字之都,是上海的坚定目标,这对信息化行业从业者是极大的挑战与机遇。
  在与会的不少企业家看来,在基于大模型基础模型之上,并结合千行百业的不同需求及痛点,未来可以通过生态合作,做出行业专属化的GPT版本,比如农业版GPT、高校版GPT等,相信会在未来给到很多合作伙伴成长的空间。
  在此次大会上,选举产生了上海市信息化企业家协会第三届理事会及监事名单,上海龙软电子集团有限公司董事长戴剑飚连任第三届理事会会长。