一张图+一段音频即可生成视频 字节最新数字人模型即将上线
迪丽瓦拉
2025-02-09 11:27:02
0次
近期，即梦AI在官方社交媒体上发布了一条新功能上线预告片。视频显示，采用了全新的多模态视频生成模型OmniHuman，用户仅需输入一张图片和一段音频，就可以生成一条生动的AI视频，有望大幅提升AI短片的制作效率和质量。
OmniHuman技术主页信息显示，该模型为字节跳动自研的闭源模型，可支持肖像、半身以及全身等不同尺寸的图片输入，并根据输入的音频，在视频中让人物生成与之匹配的动作，包括演讲、唱歌、乐器演奏以及移动。对于人物视频生成中常见的手势崩坏，也相比现有方法取得了显著的改善。此外，对动漫、3D卡通等非真人图片输入的支持效果也较为出色，生成的视频能保持特定风格和原有的运动模式。
根据技术主页展示的演示效果来看，OmniHuman的生成效果已经具有较高的自然度。为防止该项技术被不当利用，字节跳动技术团队在主页中特别标注称，OmniHuman将不会对外提供下载。
即梦AI相关负责人透露，该模型目前已具备较好的表现，但在生成影视真实级别的视频上仍存在一定的提升空间。由其支持的多模态视频生成功能会在即梦上以小范围内测的形式进行调优调整，并逐步开放。该负责人同时表示，即梦还会对这一功能设置严格的安全审核机制，并且对输出的视频标注水印以作提醒，从而确保AI发挥正面、积极的作用，助力视频创作者更好地实现想象力的表达。
图片来自即梦AI
相关内容
热门资讯
神宇股份涨3.85%，成交额2...
5月6日，神宇股份涨3.85%，成交额2.29亿元，换手率5.11%，总市值65.05亿元。 异动分...
广发基金宣布增加瑞银证券为云计...
广发基金管理有限公司近日发布公告，宣布增加瑞银证券为旗下部分ETF的一级交易商。此次新增的一级交易商...
特斯拉一季度净利锐减71%！马...
当地时间4月22日，特斯拉首席执行官埃隆·马斯克表示，他计划在5月“大幅”减少为特朗普政府工作，以专...
湖北国资：一年收了4家上市公司...
你好，我是涛哥，专注于并购重组投资。这是涛哥的第69篇原创文章。 2024年，湖北国资收了4家上市公...
红利策略进化论：从防御盾牌到现...
当前市场对贸易摩擦的敏感度明显降低，近期各类关税消息虽然层出不穷，但A股基本走出脱敏行情，相关板块波...
原创 腾...
海内外大厂大模型研发正在进入新升级周期，为了加速补齐技术短板，腾讯混元近日进行了大幅架构调整，重构研...
紫燕食品发布2024年年报：创...
4月17日晚，上海紫燕食品股份有限公司（简称：紫燕食品，603057.SH）发布2024年年度报告。...
钧达股份通过港股IPO聆讯：光...
瑞财经 吴文婷 4月21日，海南钧达新能源科技股份有限公司（以下简称“钧达股份”）通过港交所聆讯，华...
影响市场大事件：央行副行长陆磊...
每经记者：杨建 每经编辑：肖芮冬 ｜2025年4月24日 星期四｜ NO.1央行副行长：人民币已成为...
我市加快建设水利基础设施持续增...
我市加快建设水利基础设施持续增强水利支撑能力 ■ 截至目前，全市136个项目已开工建设，累计完成投资...