当前位置: 首页 > 资讯 > 科技智能>以多模态场景大脑为核心,商汤绝影打造AI大模型座舱产品矩阵

以多模态场景大脑为核心,商汤绝影打造AI大模型座舱产品矩阵

时间:2024-04-27 15:32:58 来源:xp7下载 阅读:819

商汤绝影一直是智能座舱领域的头部供应商,座舱AI软件的市场份额连续5年位列行业第一。作为加速智能汽车驶入AGI时代的核心技术伙伴,商汤绝影着力打造了以敏锐洞察、深度思考、高效执行的多模态场景大脑为核心的AI大模型座舱产品矩阵,为用户提供深度个性化、有人文关怀的全新出行体验。

行业领先的一站式智能座舱产品解决方案

基于商汤积累深厚的人脸识别、视线追踪、头部姿态、动作识别、物体识别等底层技术能力,商汤绝影提供多层次、全方位的一站式智能座舱产品解决方案,包括驾驶员感知系统(DMS)、车舱感知系统(OMS)、车外近场感知系统和AI大模型座舱产品体系。

作为国内座舱AI软件的领头羊,商汤绝影已经打造超过15个行业首发的智能座舱产品与功能,展现出强大的持续创新能力和量产上车实力。

2020年,商汤绝影发布行业首个量产3D刷脸开车门技术,并在美国某高端品牌车型上实现全球首发,后续以FaceID为核心的刷脸解锁车门的产品量产落地合资车企和国内造车新势力企业。2021创交会上,商汤绝影的座舱乘员健康检测功能行业首发,实现舱内健康检测从0到1的量产突破。

2024年1月,蔚来正式发布Banyan·榕2.4.0智能系统,其中商汤绝影与蔚来紧密合作,持续打磨优化全舱人脸识别技术能力,助力蔚来发布行业首创的NOMI全舱记忆功能。

凭借全舱感知能力和本地账户的画像信息,NOMI全舱记忆功能最多可以记住19位用户信息,以更亲切的称呼来替代“主驾”、“副驾”等生硬词汇,人机交互更加有温度。同时,NOMI还能同步全舱每个驾乘人员的数据,如座椅位置、音乐账号等,从而满足每个记忆用户的个性化需求,自然拉近与用户的情感距离,让每一次出行体验更加温馨、舒适。

到2023年底,商汤绝影智能座舱产品解决方案已经上车30家国内外主机厂,覆盖80多个车型。

敏锐洞察、深度思考、高效执行的多模态场景大脑,引领智舱新体验

传统的智能座舱设计往往以单点功能为主,不同功能之间相互独立,用户体验不够流畅,孤立、离散的功能组合称不上是真正的智能座舱。以多模态大模型和语言大模型为基础,商汤绝影正在打造的敏锐洞察、深度思考、高效执行的多模态场景大脑,重塑座舱体验。

通过应用场景和用户需求驱动,多模态场景大脑让智能汽车可以高效准确地全景感知和深度理解用户需求和周围环境,并以场景大脑为核心打通不同应用,可以全局调用车上开放的软硬件服务,将离散的单点功能聚合在一起,从而为用户提供更多深度个性化的主动关怀和服务。

以多模态场景大脑为核心,商汤绝影打造AI大模型座舱产品矩阵

(多模态大模型可以准确感知并识别车外信息)

基于地理位置推荐符合用户喜好的餐厅、介绍用户感兴趣的外部自然景物,并进行优质景点推荐是绝影AI大模型座舱产品的基础功能。凭借强大的多模态感知能力,搭载商汤绝影方案的车辆能准确感知车外信息,包括周围车辆的车型、标志性建筑物等,以语音、图片或视频等方式为舱内人员提供更为准确和全面的内容,帮助用户了解和掌握外部环境信息。

大模型上车的能力不止于此。根据对于用户行程安排和实时交通数据的精准分析,结合用户的表情和语气,商汤绝影“场景大脑”能够及时发现驾驶员可能面临的迟到风险,并提供两条可选路线与预计抵达时间,用户可通过手势或语音命令进行确认。同时,在得到确认后,系统还可以根据用户的表达习惯向相关会议参与者发送通知,告知相关情况,为用户提供专业高效、温暖贴心的智能出行体验。

加速AI大模型座舱产品量产落地

当前很多座舱大模型仅仅是将PC端或手机端的大模型APP简单地搬运到车内,而非针对座舱场景专项定制。由于手机和座舱在交互逻辑、显示方式等都存在显著差异,这样的机械式搬运难以提供良好的人机交互体验。

基于多模态大模型、语言大模型、文生图大模型、“大医”大模型等能力组合,商汤绝影以多模态场景大脑为核心,打造了丰富的AI大模型座舱产品矩阵。

“车典”把汽车说明书装进了车内的语言大模型中,“千语”可以让车载语音助手进行角色扮演,“神笔”让用户秒变“车内大画家”,“童伴”让车内的儿童跟有趣的故事、古诗和成语游戏为伴,寓教于乐,而“旅医”就像是一个移动的私人健康管家,为驾乘人员提供专业且个性化的健康管理服务。

以多模态场景大脑为核心,商汤绝影打造AI大模型座舱产品矩阵

(“神笔”让用户秒变“车内大画家”)

尤其是“旅医”这个健康管理的大模型产品,它是以“大医”医疗健康大模型为桥梁,联结健康检测及医疗生态服务,首次在座舱内对用户进行专业及个性化健康管理服务,实现健康咨询、在线挂号、检测、报告解读、用药咨询、健康科普等一系列服务。

这个功能对于怀孕的用户来说特别友好,当感知车内有孕妇时,“旅医”会主动感知和询问孕妇健康状态,当判断需要产检或者其他医疗援助时,会主动推荐相应的医疗机构,征得用户同意后,协助完成挂号等一系列操作。

以多模态场景大脑为核心,商汤绝影打造AI大模型座舱产品矩阵

(“旅医”首次在座舱内对用户进行专业及个性化健康管理服务)

同时,商汤绝影也在推进AI大模型座舱产品的量产落地,目前已上车多家主流车企的量产车型。

近期小米SU7的上市与交付倍受关注,商汤“日日新”大模型体系全面助力小爱语音助手车载场景应用,为用户提供智能座舱的升维体验。

此外,绝影已经和一家国内领先的新势力车企深度合作,多模态大模型部署上车,将让智能汽车全方位感知并理解车外路况、天气等环境数据和舱内所有驾乘人员的对话、表情及用户画像等各类信息,针对性地提供更多主动关怀、深度个性化的产品和服务。

面向通用人工智能的未来,商汤绝影还在进一步探索舱驾融合,以实现智能驾驶和智能座舱在硬件、软件及应用层面的全面融合,提升用户体验、降低系统成本,进一步打破舱内外的界限和束缚,涌现更多创新功能,让智能汽车向着超级智能体进化。

最新资讯