AIGC实战——基于Transformer实现音乐生成
创始人
2025-01-08 13:04:49
0次

AIGC实战——基于Transformer实现音乐生成

    • 0. 前言
    • 1. 音乐生成的挑战
    • 2. MuseNet
    • 3. 音乐数据
      • 3.1 巴赫大提琴组曲数据集
      • 3.2 解析 MIDI 文件
      • 3.3 分词
      • 3.4 创建训练数据集
    • 4. MuseNet 模型
      • 4.1 正弦位置编码
      • 4.2 多输入/输出
    • 5. 音乐生成 Transformer 的分析
    • 6. 多声部音乐分词
      • 6.1 网格分词
      • 6.2 基于事件的分词
    • 小结
    • 系列链接

0. 前言

Transformer 是最流行的音乐生成技术之一,因为音乐可以视为一个序列预测问题,Transformer 模型将音符视为一个个符号的序列(类似于句子中的单词),从而用于生成音乐。Transformer 模型基于先前音符预测下一个音符,生成音乐作品。在本节中,将学习如何处理音乐数据,并应用 Transformer 生成与给定训练集风格相似的音乐。

1. 音乐生成的挑战

要让机器创作出悦耳的音乐,则必须克服与文本生成中所介绍的相似的技术挑战。模型必须能够学习并再现音乐的序列结构,且能够根据一组离散概率选择下一个音符。
然而,除了文本生成所需的技术外,音乐生成还存在其他挑战,即音高和节奏。音乐通常是多声部的,即不同乐器同时演奏多个音符流,它们结合在一起形成的是和声有可能不协和(刺耳)也有可能不协和(和谐)。文本生成仅需要处理一个单一的文本流,而音乐生成则需要处理多个并行的和弦流。
此外,文本生成可以逐个单词处理。但与文本数据不同,音乐是一个多部分、相交织在一起的声音轴,这些声音不一定同时出现,不同乐器之间不同节奏的相互作用是音乐的独特魅力。例如,吉他手可能弹奏一连串快速的音符,而钢琴师则可能弹奏一个较长的持续音。因此,逐音符生成音乐是复杂的,因为我们通常不希望所有乐器同时改变音符。

2. MuseNet

本节,我们将构建一个解码器

相关内容

热门资讯

一分钟了解作弊器!七天娱乐作弊... 一分钟了解作弊器!七天娱乐作弊器多功能AIapp,七天娱乐竟然真的有作弊器app1、超多福利:超高返...
一分钟教会你辅助!道游互娱辅助... 一分钟教会你辅助!道游互娱辅助多功能AI软件,道游互娱原来存在有辅助软件1、道游互娱公共底牌简单,道...
教程攻略透视器!神牛大厅透视器... 教程攻略透视器!神牛大厅透视器多功能AI软件,神牛大厅好像有透视器软件1、任何神牛大厅透视是真的假的...
来一盘辅助!悠悠互娱辅助多功能... 来一盘辅助!悠悠互娱辅助多功能AIapp,悠悠互娱确实是有辅助app1、游戏颠覆性的策略玩法,独创攻...
分享个大家作弊器!上游大厅作弊... 分享个大家作弊器!上游大厅作弊器多功能AI工具,上游大厅一直存在有作弊器工具1、用户打开应用后不用登...
玩家必看科普外挂!千秋互娱外挂... 玩家必看科普外挂!千秋互娱外挂多功能AI工具,千秋互娱竟然是真的有外挂工具1、千秋互娱模拟器是什么优...
今日百科透视器!新漫游透视器多... 今日百科透视器!新漫游透视器多功能AI工具,新漫游果然真的是有透视器工具1、玩家可以在新漫游线上大神...
终于知道外挂!多多娱乐外挂多功... 终于知道外挂!多多娱乐外挂多功能AI技巧,多多娱乐确实真的是有外挂技巧1、用户打开应用后不用登录就可...
推荐一款作弊器!豪发娱乐作弊器... 推荐一款作弊器!豪发娱乐作弊器多功能AI插件,豪发娱乐一贯真的有作弊器插件1、豪发娱乐辅助软件下载优...
专业讨论透视器!道游互娱透视器... 专业讨论透视器!道游互娱透视器多功能AI软件,道游互娱都是是有透视器软件1、该软件可以轻松地帮助玩家...