logo

Soul App多模驱动研究突破 入选ICCGV彰显技术实力

作者:新兰2024.12.03 10:33浏览量:5

简介:Soul App的研究论文因提出创新的3D虚拟人交互方案而入选ICCGV 2025,展现了其在大语言模型驱动虚拟人多模态交互领域的领先技术实力,并计划将这一技术应用于社交场景,提升用户体验。

在科技日新月异的今天,人工智能与虚拟现实技术的融合正引领着新一轮的交互体验革命。近日,2025年第八届计算机图形和虚拟国际会议(ICCGV 2025)公布了论文收录结果,社交平台Soul App的研究成果《LLM Gesticulator: Leveraging Large Language Models for Scalable and Controllable Co-Speech Gesture Synthesis》(LLM Gesticulator:利用大语言模型实现可扩展且可控的协同手势合成)成功入选,这一消息无疑为Soul App的技术实力和创新精神再添一枚勋章。

计算机图形和虚拟国际会议(ICCGV)作为全球计算机图形学与虚拟现实技术领域的顶级盛会,每年都吸引着全球顶尖学者、行业精英及创新先锋的积极参与。此次大会聚焦虚拟现实环境、增强现实、混合现实、人机交互和高级交互等领域,深入探讨了计算机图形学与虚拟现实技术的最新科研成果和产业发展对人类认知世界、交互体验的深刻影响。Soul App的论文能够脱颖而出,无疑是对其在3D虚拟人交互方案领域创新探索的高度认可。

Soul App自2016年上线以来,便始终坚持以技术驱动创新,致力于通过技术和产品模式的创新来提升年轻一代的交互体验。特别是在AI、虚拟人、虚拟与现实融合等方向的技术能力建设上,Soul App更是不遗余力。为了降低用户的社交压力,Soul App创造性地提出了不支持用户上传真实头像的规定,而是鼓励年轻人通过平台提供的捏脸系统自主创造个性化虚拟形象。这一举措不仅为用户提供了一个更加自由、开放的社交空间,也为后续3D虚拟人技术的研发和应用奠定了坚实的基础。

在多年的技术积累和创新探索下,Soul App成功推出了自研的NAWA引擎,为用户创建个性化的3D社交形象和场景提供了强大的技术支持。同时,Soul App还系统推进了智能对话、语音技术、3D虚拟人等AIGC关键技术能力的研发工作,并推动了AI能力在社交场景的快速落地。目前,Soul App已先后上线了自研语言大模型Soul X以及一系列语音大模型能力,包括语音生成大模型、语音识别大模型、语音对话大模型、音乐生成大模型等。

而在今年,Soul App的AI大模型能力更是整体升级为多模态端到端大模型,支持文字对话、语音通话、多语种、多模态理解、真实拟人等特性,真正实现了更接近生活日常的交互对话和“类真人”的情感陪伴体验。这一技术升级不仅为用户提供了更加自然、流畅的交互体验,也为后续3D虚拟人多模态交互方案的研发提供了强有力的支撑。

在《LLM Gesticulator》一文中,Soul App团队首次提出了使用大语言模型作为基座模型实现3D虚拟人的多模态驱动方案。这一方案不仅展现出了极高的可控性和可拓展性,还在动画质量、动画相关性、节奏匹配度和文本匹配度等多个指标上超过了以往方案。此外,Soul App团队还对模型进行了特殊设计,使其能够同时支持文本和音频的输入,并能够生成与音频节奏和文本语意都符合的动画数据。这一创新性的设计无疑为3D虚拟人多模态交互方案的发展开辟了新的道路。

值得一提的是,Soul App团队还探索了一种基于视觉大模型的自动化数据标注范式,为数据标注提供了新的思路。这一技术突破不仅提高了数据标注的效率和准确性,也为后续3D虚拟人多模态交互方案的优化和升级提供了有力的支持。

除了在技术领域的不断创新和突破外,Soul App还积极推动AI能力在社交场景的快速落地。目前,Soul App的大模型能力和创新互动方案已在智能对话机器人“AI苟蛋”、狼人杀Agent、数字分身以及最新的AI虚拟人智能陪伴功能等场景得到了广泛应用。这些应用不仅为用户提供了更加丰富的社交体验,也为Soul App在3D虚拟人多模态交互方案领域的进一步探索提供了宝贵的实践经验。

在今年10月举办的全球三大IT展之一——GITEX GLOBAL海湾信息技术博览会上,Soul App更是携集成3D虚拟人能力的多模态AI交互方案亮相。在活动现场,观众可以通过数字装置即时生成3D虚拟数字分身,并通过实时动作捕捉与还原体验自然、流畅、沉浸式的多模态互动。这一展示不仅赢得了现场观众的一致好评,也为Soul App在3D虚拟人多模态交互方案领域的领先地位再添有力证明。

展望未来,Soul App将继续沿着多模态融合的方向不断探索和创新。相关负责人表示:“3D虚拟人是多模态中的重要组成部分和效果的丰富化呈现,社交则是3D虚拟人落地的最佳自然场景之一。Soul自身具备完整的多模态团队、3D虚拟人/AI能力积累和深耕社交场景的洞察,团队有机会在此领域形成创新方案和竞争壁垒。”可以预见的是,在不久的将来,Soul App集合了3D虚拟人的多模态交互能力将陆续在站内虚拟陪伴、群聊派对、游戏等多个场景落地。这将让用户通过创新技术的应用在社交中充分展现自身鲜明的个性、精准传递情绪温度,在各种虚实融合的场景中与他人自在交流、互动并感受全新的互动体验。

综上所述,Soul App凭借其在3D虚拟人多模态交互方案领域的创新探索和突破性研究成功入选ICCGV 2025论文收录名单。这一荣誉不仅是对Soul App技术实力的高度认可,也是对其未来在3D虚拟人多模态交互领域持续创新和发展的鼓励和期待。随着技术的不断进步和应用场景的不断拓展,相信Soul App将为用户带来更加自然、流畅、智能的交互体验并引领新一轮的社交革命。而在这一过程中,曦灵数字人作为Soul App在3D虚拟人技术领域的杰出代表也将发挥越来越重要的作用并为用户带来更加丰富多彩的社交体验。

相关文章推荐

发表评论