15现代循环神经网络—GRU与LSTM
创始人
2024-11-15 19:07:54
0次
目录
- 1.门控循环单元 GRU
- 关注一个序列
- 门
- 候选隐状态(candidate hidden state)
- 隐状态
- 总结
- 从零开始代码实现
- 代码简洁实现
- 2.长短期记忆网络 LSTM
- 门
- 候选记忆单元（candidate memory cell）
- 记忆单元
- 隐状态
- 代码
1.门控循环单元 GRU
GRU 是最近几年提出来的，在 LSTM 之后，是一个稍微简化的变体，通常能够提供同等的效果，并且计算速度更快
在某些情况下,希望存在某些机制能够实现:
- 希望某些机制能够在一个记忆元里存储重要的早期信息
- 希望某些机制能够跳过隐状态表示中的此类词元
- 希望某些机制能够重置内部状态表示
做 RNN 的时候处理不了太长的序列
- 因为序列信息全部放在隐藏状态中,当时间到达一定长度的时候,隐藏状态中会累积过多的信息,不利于相对靠前的信息的抽取
关注一个序列
在观察一个序列的时候,不是每个观察值都同等重要
- 对于一个猫的图片的序列突然出现一只老鼠,老鼠的出现很重要，第一次出现猫也很重要，但是之后再出现猫就不那么重要了
- 在一个句子中，可能只是一些关键字或者关键句比较重要
- 视频处理中，其实帧与帧之间很多时候都差不多，但是在切换场景的时候,每次的切换是比较重要的
在 RNN 中没有特别关心某些地方的机制，对于它来讲仅仅是一个序列，而门控循环单元可以通过一些额外的控制单元，使得在构造隐藏状态的时候能够挑选出相对来说更加重要的部分**(注意力机制在这方面强调得更多一点)**
- 更新门(update gate)
相关内容
热门资讯
太嚣张了！三哥玩摆头挂，aap...
三哥玩摆头挂 无需打开直接搜索微信：136704302本司针对手游进行，选择我们的四大理由: 1、软...
通报辅助！雀神麻雀科技公司，火...
通报辅助！雀神麻雀科技公司，火神微信辅助（一起来讨论开挂辅助下载）；雀神麻雀科技公司简单的透视挂控制...
太离谱了！嘟咪互动有挂吗，hh...
较多好评“微乐万能挂官网”开挂(透视)辅助教程 了解更多开挂安装加（136704302）微信号是一款...
必看开挂！微信卡农辅助，小闲辅...
您好：这款微信卡农辅助游戏是可以开挂的，确实是有挂的，很多玩家在这款微信卡农辅助游戏中打牌都会发现很...
太无语了！心悦辅助透视脚本，w...
太无语了！心悦辅助透视脚本，wepoker游戏安装教程（透视）开挂辅助工具（有挂详细）；无需打开直接...
正版开挂！微信随意玩辅助器，三...
正版开挂！微信随意玩辅助器，三哥玩摆头可以控制（透视安卓版开挂辅助插件）；无需打开直接搜索薇:136...
太无语了！网易水润血战到底辅助...
太无语了！网易水润血战到底辅助，wepoker破解游戏盒子（透视）开挂辅助软件（有挂方法）>>您好：...
传授辅助！广东雀神智能插件安装...
您好：广东雀神智能插件安装包这款游戏可以开挂的，确实是有挂的，很多玩家在这款游戏中打牌都会发现很多用...
太坑了！途游四川辅助器，wep...
大家好，今天小编来为大家解答途游四川辅助器这个问题咨询软件客服可以免费测试直接加微信（1367043...
详细辅助！微信小程序开心十三张...
详细辅助！微信小程序开心十三张脚本，西兵互娱辅助（今日头条开挂辅助安装）《详细加薇136704302...