放大招!百度复旦视觉生成模型Hallo2或将落地数字人等场景

Hallo2继承了前代Hallo模型的创新框架,继续采用基于扩散的生成模型和分层音频驱动视觉合成模块,提高了音频与视觉输出之间的同步精度,并经过改进使得各部分的协同作用更加高效,增强了生成动画的质量和真实感。此外,Hallo2不仅在图像和视频的质量方面有了显著提升,而且大幅增加了动作的丰富性和多样性,可以说为AI驱动的肖像...

AI日报:Claude3.5重磅升级;Runway推生成式角色表演工具Act-One...

这项革命性技术利用生成式AI模型,仅凭演员的视频和语音输入,就能轻松生成栩栩如生的角色动画,彻底颠覆了传统的动画制作流程。无需昂贵设备和繁琐后期制作,任何人都能制作高质量动画作品。操作简单且能生成多种风格的角色动画,为创作者提供了极大的创作自由。AiBase提要:??革命性技术利用生成式AI模型,仅凭演...

复旦、百度联手打造全新AI模型Hallo2 可生成4K超高清+1小时超长...

复旦大学和百度公司的研究人员联合开发了一种名为Hallo2的全新AI模型,该模型可以生成长达数小时的4K分辨率人物动画,并且可以通过语音和文字提示进行精准控制。一直以来,生成高质量的人物动画需要耗费大量的时间和人力成本。而Hallo2的出现,有望彻底改变这一现状,为电影制作、虚拟助手、游戏开发等领域带来革命性...

00后北大女生,打造AI生成4D动画平台

“我们在3D角色模型生成之后可以继续延伸到4D,例如改变模型的动作,或让模型与用户互动,同时也可以拥有视频渲染和语音交互的能力,任何模型都可以持续创造动态内容。”胡雅婷表示,要完成从自然语音到图片、再到3D模型和动态视频,整个工作流当中最重要的就是AI技术与图形学CG艺术的结合。基于这种预期,Aiuni于4月首先推...

...2024 | 面部+肢体动画,一个框架搞定从音频生成数字人表情与动作

近年来,基于语音生成面部、肢体和手部的动作的各类独立基线模型已经逐渐成熟。然而,直接将不同模型的动画结果混合会导致最终全身整体的动画不协调。研究者逐渐考虑使用统一的框架来同时生成面部表情和肢体动作。然而,尽管研究社区在面部的表情和肢体的动作上分别存在统一的数据标准,已有的基线模型仅在独立的数据格式上进行...

复旦百度等开源的AI对口型肖像视频生成框架 Hallo,不仅质量好...

近日,由复旦大学、百度公司、苏黎世联邦理工学院和南京大学的研究人员联合开发的AI对口型肖像图像动画技术——Hallo,正式发布(www.e993.com)2024年11月12日。这一框架结合了先进的音频分析技术和视觉合成模块,能够根据语音音频输入生成高度逼真且动态的肖像图像视频。技术背景与特点Hallo技术采用了基于扩散的生成模型和分层音频驱动视觉合成模块,通过UNet...

华为云申请 3D 人脸动画生成的专利,使得 3D 人脸动画能够更加真实...

专利摘要显示,一种3D人脸动画生成方法及装置,包括:获取3D人脸基准模型和待处理的音频数据以及该音频数据对应的脸部状态语义信息,其中,脸部状态语义信息用于指示所述音频数据所包括的每一段语音内容对应的脸部状态;基于所述3D人脸基准模型、音频数据和脸部状态语义信息,生成3D人脸动画,该3D人脸动画中的3D...

AI日报:谷歌Gemini 1.5升级;OpenAI推ChatGPT高级语音模式;阿里推...

??应用范围广泛,能提取复杂动作并实现真实场景互动,降低动画制作门槛,增强动画真实感和沉浸感。详情链接:httpstop.aibase/tool/mimo4、讯飞星火API全新升级:Lite版永久免费Max版可免费领1亿Tokens科大讯飞讯飞开放平台宣布讯飞星火API平台实现重大升级,包括SparkMax模型和4.0Ultra模型,提升了生成速度、...

英伟达发布AI驱动的虚拟人制作平台,支持语音和表情动画

开发者可以通过新的ACE微服务,利用NVIDIAAudio2Face(A2F)等AI模型,以及NVIDIARiva自动语音识别(ASR)构建交互式虚拟数字化身。前者能从声音来源制作表情丰富的面部动画,后者可开发定制的多语言语音和翻译应用以供虚拟数字人物使用。此外,NVIDIA已经推出了Audio2Face和Riva自动语音识别微服务,交互式虚...

中国电信星辰大模型可正式对外提供全模态生成式AI服务

近日,北京市网信办发布《北京市生成式人工智能服务新增已备案信息公告》,中国电信人工智能科技有限公司和中国电信人工智能研究院自主研发的星辰语音大模型、星辰多模态大模型通过备案,其中星辰语音大模型为国内首个独立备案的语音大模型。至此,星辰大模型系列的语义、语音、多模态大模型均已完成算法及服务的“双备案”,标...