Portfolio News

启明星 | 智谱AI携手高通,GLM-4V多模态技术落地端侧

23/10/2024

‍日前,高通骁龙峰会在夏威夷毛伊岛开幕。峰会汇集了业界最尖端的技术与创新理念,生成式人工智能与端侧设备的融合成为热议的话题。启明创投投资企业智谱AI与高通技术公司(下称“高通”)宣布合作,将GLM-4V端侧视觉大模型面向骁龙8至尊版进行深度适配和推理优化,支持丰富的多模态交互方式,进一步推动多模态生成式AI在终端侧的部署和推广,赋能更加情境化、个性化的终端侧智能体验。

01/
智谱AI携手高通发布端侧智能助手
推动智能生活体验革新

骁龙8至尊版移动平台搭载全新第二代高通®Oryon CPU和高通®Hexagon™ NPU,终端侧AI能力再次实现突破,能够赋能规模更大且更加复杂的多模态生成式AI用例在终端侧高效运行。充分利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化,GLM-4V端侧视觉大模型能够以小巧的尺寸实现令人惊叹的处理能力,以超过70 tokens/秒的速度在终端侧高速运行。

通过与骁龙8至尊版进行深度适配和推理优化,终端侧多模态应用ChatGLM能够支持三种终端侧交互方式:使用相机进行实时语音对话、上传照片进行对话、上传视频进行对话。丰富的多模态输入输出方式赋能智能助手ChatGLM实现了跨家庭、出行、工作和教育等多个场景的应用,例如通过手机摄像头获取穿搭建议,利用视觉信息实现智能导航,通过车内摄像头识别遗留物品,拍摄画作进行风格解析等。

智谱AI COO张帆表示:“骁龙8至尊版移动平台提供了卓越的AI算力,结合高通AI软件栈推理框架的性能优化,使得智谱AI的终端侧大模型可以在设备端实现高速推理。我们相信,终端侧算力平台的性能跃迁结合大模型能力的进步,会将生成式AI带入新的时代。终端侧运行的生成式AI,在为用户提供变革性体验的同时,能更好地保护用户隐私安全,真正让AI变革用户的日常生活。”

GLM-4V-Mini、GLM-4V-Nano端侧视觉大模型和GLM-4-9B模型即将在高通AI Hub上线,搭载骁龙8至尊版的商用手机均可支持。

02/
展望未来
构建端侧智能新生态

峰会期间,智谱AI还宣布将开源一系列端侧大语言及多模态模型,为开发者和合作伙伴提供持续赋能,加速各类应用场景的落地与技术普及,促进行业创新,进一步丰富用户的智能交互体验,推动整个行业向着更加智能化、个性化的设备生态迈进。

智谱AI始终秉持“让机器像人一样思考”的愿景,致力于推动下一代认知智能模型的创新与应用。未来,智谱AI与高通将继续在多模态技术和大语言模型领域深化合作,进一步探索包括智能手机、智能车舱、智能家居、智能办公在内的更多应用场景。通过端云协同的架构,智谱AI和高通将共同推动设备的智能化升级,增强多设备的无缝互联,全面提升用户的使用体验,构建智能生活方式的全新生态。伴随技术迭代,智谱AI也将继续与高通携手推进生成式AI创新,构建更加完善和丰富的端侧智能生态,推动智能设备向更加智能、更加个性化的未来迈进。