投资企业新闻

启明星 | 智谱AI携基座大模型GLM-4-Plus亮相KDD,清言App全新升级视频通话功能

2024/09/03

在KDD国际数据挖掘与知识发现大会上,启明创投投资企业智谱AI的GLM团队介绍了新一代基座大模型GLM-4-Plus。GLM-4-Plus是智谱AI全自研GLM大模型的最新版本,它标志着智谱AI继续瞄准通用人工智能,持续推进大模型技术的独立自主创新。

主要更新包括:

  • 语言基座模型GLM-4-Plus:在语言理解、指令遵循、长文本处理等方面的性能得到全面提升,保持了国际领先水平。
  • 文生图模型CogView-3-Plus:具备与当前最优的MJ-V6和FLUX等模型接近的性能。
  • 图像/视频理解模型GLM-4V-Plus:具备卓越的图像理解能力,并具备基于时间感知的视频理解能力;该模型将上线开放平台bigmodel.cn,并成为中国国内首个通用视频理解模型API。
  • 视频生成模型CogVideoX:在发布并开源2B版本后,5B版本也正式开源,其性能进一步增强,是当前开源视频生成模型中的最佳选择。
  • 智谱AI的开源模型累计下载量已突破2000万次,为开源社区的发展做出了重要贡献。

 

01/
最新基座大模型GLM-4-Plus上线

GLM-4-Plus使用了大量模型辅助构造高质量合成数据,以提升模型性能;利用PPO有效提升模型的推理(数学、代码算法题等)表现,更好地反映人类偏好。

以下为benchmark对比:

语言文本能力方面,GLM-4-Plus和GPT-4o及405B参数量的Llama3.1相当。


Language capabilities(LCB: LiveCodeBench,NCB: NaturalCodeBench,*represents reproduced results)

长文本能力比肩国际先进水平。通过更精准的长短文本数据混合策略,取得了更强的长文本的推理效果。


Long context evaluation

GLM-4V-Plus在图像和视频理解能力方面位居前列。GLM-4V-Plus还可以理解网页内容,并将其转换为html代码。


Vision capabilities 

GLM-4V-Plus能够理解并分析复杂的视频内容,同时具备时间感知能力。上线开放平台后,将提供国内首个通用视频理解模型API。


Video analysis

GLM-4V-Plus结合了视频总结能力、推理能力、多轮对话、时间问答能力。

用户:这个穿绿色衣服的球员在整个视频都做了什么?

GLM-4V-Plus:在整个视频中,穿绿色衣服的球员在场上运球,然后跳起将球投入篮筐。

用户:这个视频的精彩时刻是什么?发生在第几秒?

GLM-4V-Plus:这个视频的精彩时刻发生在第4秒,当时穿绿色衣服的球员跳起并将球投入篮筐。

文生图模型迎来最新版本CogView-3-Plus,其效果接近目前最佳的MJ-V6及FLUX等模型,并支持图片编辑功能。


GLM-4-Plus现已在智谱AI的大模型开放平台bigmodel.cn部署,开发者能通过API方式调用智谱AI的最新基座大模型。

02/
清言App迎来重要更新
全新的“视频通话”功能来了

智谱AI还宣布清言App迎来了“视频通话”功能,这是中国首个面向C端开放的视频通话功能。

清言App作为第一批C端上线的大模型产品,过去的一年,常常以文字和语音的形式和用户交流。但从今天起,清言App也有了眼睛,解锁了AI新体验。

清言App的视频通话跨越了文本模态、音频模态和视频模态,并具备实时推理的能力。现在,用户拨打清言App的视频通话窗口,即可与它进行流畅通话,即便频繁打断它也能迅速反应。只要打开摄像头,用户看到的画面,清言App也可以看到,同时可以听懂指令并准确执行。这样的体验就如同和真人视频通话一样。

清言App视频通话功能日前上线,首批面向部分用户开放,同时开放外部申请。

随着视频通话功能的加入,清言App成为首个可以通过文本、音频、视频和图像来进行多模态互动的AI助手。

03/
CogVideoX-5B开源

智谱AI一如既往推动AI普惠。

继CogVideoX 2B版本开源后,5B版本也正式开源,性能更强,推理显存需求最低仅为11.4GB。同时CogVideoX-2B的开源协议调整为更加开放的Apache 2.0协议,任何企业与个人均可自由使用。随着CogVideoX-5B的开源,智谱AI不仅在开源模型数量上领先,累计下载量也突破2000万次,智谱AI以实际行动为国际开源社区做出自己应有的贡献。

随着技术进步、效率提升和成本优化,智谱AI宣布用户可以通过调用大模型开放平台bigmodel.cn最具性价比的大模型GLM-4-Flash,快速、免费地构建专属模型和应用。这也是智谱AI开放平台首个完全免费的大模型API。

04/
专注于大模型的中国创新

最新推出的基座大模型,和此前发布的CogVideoX等模型一道,完善了智谱AI自主原创的全栈大模型谱系,推动智谱AI实现面向世界先进水平的全面对标。

视频通话功能是清言App继7月上线生成视频功能清影Ying后又一重大更新。通过小步快走持续迭代,智谱AI努力让大模型技术更好赋能更多用户。

随着开源模型和开放平台模型的广受欢迎,智谱AI也将继续推动AI力量惠及更多人群。通过大模型链接物理世界亿级用户,智谱AI致力于为千行百业带来持续创新与变革,加速迈向通用人工智能时代。