谷歌 DeepMind 新研究：利用 AI 模型为无声视频配音_科技资讯

创始人

2024-06-18 22:41:37

0次

IT之家 6 月 18 日消息，据谷歌DeepMind新闻稿，DeepMind 近日公布了一项利用AI为无声视频生成背景音乐的“video-to-audio”技术。

IT之家获悉，当前 DeepMind 这款AI模型依然存在局限性，需要开发者使用提示词为模型预先“介绍”视频可能的声音，暂时不能直接根据视频画面添加具体音效。

据悉，该模型首先会将用户输入的视频进行拆解，此后结合用户的用户文字提示，利用扩散模型反复运算，最终以生成与视频画面协调的背景声音，例如输入一条“在黑暗中行走”的无声视频，再添加“电影、恐怖片、音乐、紧张、混凝土上的脚步声”等文字提示，相关模型就能生成恐怖风格的背景音效。

DeepMind同时表示，该“video-to-audio”模型可以为任何视频生成无限数量的音轨，还能够通过提示词内容判断生成的音频“正向性”或“反向性”，从而令生成的声音更贴近某些特定场景。

展望未来，DeepMind表示研究人员正进一步优化这款“video-to-audio”模型，计划未来能够让模型直接根据视频内容，无须通过提示词即可生成视频背景音，同时还将改善视频中人物对白的口型同步能力。

上市一周后，摩尔线程拟用不超过... 12月12日傍晚，摩尔线程（688795.SH）公告称，拟使用最高75亿元进行现金管理，资金来源为闲...

神奇场景照进现实：创新科技让植... 暗室中一株向日葵叶片舒展花瓣泛起柔和荧光这是合肥神笔生物科技有限公司每日上演的“魔法时刻” ...

山东化工技师学院举办第一期技能... 为进一步丰富教师的技能体验，拓宽专业视野，12月12日下午，山东化工技师学院“跨年匠心科技迎新”...

与天津女排鏖战五局北京女排无... 12月12日，新赛季中国排球超级联赛在光彩体育馆开幕。在揭幕战中，北京北冰洋女排迎战天津渤海银行女排...

*ST红阳：继续推动重整程序中... 11月10日消息，*ST红阳公告，公司关于清收被控股股东南一农集团及其关联方占用的288,405.2...

陈茂波：香港年底经济将继续保持... 11月10日消息，香港特区政府财政司司长陈茂波10日在网志中表示，预计今年余下时间香港经济将继续保持...

西安发布重污染天气橙色预警，执... 11月10日消息，西安市生态环境保护委员会办公室今天发布通知，将重污染天气黄色预警升级至橙色预警。按...

今年经大连机场免签入境外籍旅客... 11月10日消息，从大连周水子边检站获悉，今年以来，已有来自118个国家和地区的27万余名外籍旅客自...

比特币突破7.9万美元关口，全... 11月10日消息，比特币续创历史新高，至高报79327万美元/枚，推动全球加密货币市值突破2.8万亿...

外贸逆势增长！中小微企业如何抓... 从“订单焦虑”到“扩产突围”，一家外贸企业的逆袭之路 2025年9月，浙江某智能家电企业负责人李女士...