深度学习中Embedding的理解
创始人
2024-09-25 06:23:28
0

Embedding这个概念翻译过来的意思就是嵌入,就是把一个大的东西想办法嵌入到一个小的地方。在深度学习领域,Embedding一般用于代表某个类目的全部相关信息,表现形式为一个向量。

1、Embedding常见的操作有两个:加法和拼接,含义完全不同

Embedding的加法一般用于同类目的不同物品的合集表示。这个可以按照one-hot的思维去理解。为什么用one-hot而不用二进制去表示不同物品呢?就是因为不同one-hot做加法之后得到的向量可以反过来推断出包含了哪些向量,虽然序列信息无法放到里面。因此,同类目的不同物品的Embedding加法表示同时包含这些信息。

Embedding拼接一般用于不同类目的合集,一般用拼接的方式放到神经网络去。两个物品如果属于不同类目,那么放在一起最好用拼接。换个角度理解,不同类目表示的含义可以看作Embedding的维度可以不一致。

2、对连续特征离散化后进行Embedding

此外,会在工业中发现,经常会对一些连续特征做离散化再做embedding来提升效果。例如,历史时间一般会按照1天内,7天内,30天内,一年内进行离散化再去embedding。

3、多模态Embedding融合

此外,Embedding还多用于多模态特征的融合,因为多种模态数据最后都是汇聚到向量表示。这方面相关的技术在基于内容的推荐系统中应用十分广泛。NLP中对于文本的Embedding操作技术更加成熟。

4、Embedding用于下游任务

1、直接利用Embedding计算相似度或者对比loss,那么重点会放在Embedding的学习上面,注意此时最好不要再对Embedding进行拼接等操作。
2、如果对Embedding进行了contactnation的操作,并且经过了MLP网络,那么学习出来的Embedding对分类变量的表征能力会有所损失,损失点主要在于会更为了MLP后输出的loss目标。

相关内容

热门资讯

插件教程!微扑克辅助软件下载(... 插件教程!微扑克辅助软件下载(微扑克辅助软件)其实真的有挂(有挂安装)1、起透看视 微扑克辅助软件下...
透视揭秘!德扑线上有机器人吗,... 您好,德州ai机器人这款游戏可以开挂的,确实是有挂的,需要了解加微【487309276】很多玩家在这...
8分钟辅助挂!微扑克系统发牌&... 8分钟辅助挂!微扑克系统发牌"微扑克ai辅助器苹果版(其实真的有挂)-哔哩哔哩1、许多玩家不知道微扑...
解密教程!微扑克ai辅助会封号... 解密教程!微扑克ai辅助会封号吗(aapoker透明挂)原来确实真的有挂(有挂攻略)是一款可以让一直...
7分钟揭秘!wpk微扑克真的有... 7分钟揭秘!wpk微扑克真的有辅助吗"wepoke辅助插件(原来真的有挂)-哔哩哔哩运wpk微扑克真...
透视科普!微扑克有没有辅助,w... 透视科普!微扑克有没有辅助,wepkoe有外挂(其实真的有挂)是一款可以让一直输的玩家,快速成为一个...
新2024版!微扑克辅助软件查... 新2024版!微扑克辅助软件查得出来吗(微扑克辅助器ios)其实真的是有挂(有挂脚本)是一款可以让一...
九分钟实锤!aa扑克软件&qu... 九分钟实锤!aa扑克软件"wpk有辅助挂(其实真的有挂)-哔哩哔哩;科技详细教程小薇《1367043...
必备教程!来玩德州有挂吗(We... 必备教程!来玩德州有挂吗(WePoKe透视挂)其实真的是有挂(有挂方法)是一款可以让一直输的玩家,快...
透视开发!wpk辅助器小程序,... 透视开发!wpk辅助器小程序,德州之星辅助挂(原来真的有挂)1、德州之星辅助挂ai辅助优化,德州之星...