15现代循环神经网络—GRU与LSTM
创始人
2024-11-15 19:07:54
0次
目录
- 1.门控循环单元 GRU
- 关注一个序列
- 门
- 候选隐状态(candidate hidden state)
- 隐状态
- 总结
- 从零开始代码实现
- 代码简洁实现
- 2.长短期记忆网络 LSTM
- 门
- 候选记忆单元（candidate memory cell）
- 记忆单元
- 隐状态
- 代码
1.门控循环单元 GRU
GRU 是最近几年提出来的，在 LSTM 之后，是一个稍微简化的变体，通常能够提供同等的效果，并且计算速度更快
在某些情况下,希望存在某些机制能够实现:
- 希望某些机制能够在一个记忆元里存储重要的早期信息
- 希望某些机制能够跳过隐状态表示中的此类词元
- 希望某些机制能够重置内部状态表示
做 RNN 的时候处理不了太长的序列
- 因为序列信息全部放在隐藏状态中,当时间到达一定长度的时候,隐藏状态中会累积过多的信息,不利于相对靠前的信息的抽取
关注一个序列
在观察一个序列的时候,不是每个观察值都同等重要
- 对于一个猫的图片的序列突然出现一只老鼠,老鼠的出现很重要，第一次出现猫也很重要，但是之后再出现猫就不那么重要了
- 在一个句子中，可能只是一些关键字或者关键句比较重要
- 视频处理中，其实帧与帧之间很多时候都差不多，但是在切换场景的时候,每次的切换是比较重要的
在 RNN 中没有特别关心某些地方的机制，对于它来讲仅仅是一个序列，而门控循环单元可以通过一些额外的控制单元，使得在构造隐藏状态的时候能够挑选出相对来说更加重要的部分**(注意力机制在这方面强调得更多一点)**
- 更新门(update gate)
相关内容
热门资讯
两分钟了解！多乐找刺激辅助（辅...
两分钟了解！多乐找刺激辅助（辅助挂）好像有挂（详细辅助AI教程）1、多乐找刺激辅助透视辅助简单，多乐...
四分钟透视!欢乐联盟游戏辅助(...
四分钟透视!欢乐联盟游戏辅助(辅助挂)2025新版教程(往昔是真的有挂)是一款可以让一直输的玩家，快...
黑科技辅助挂“决战卡五星游戏辅...
黑科技辅助挂“决战卡五星游戏辅助器”外挂透视辅助app（切实是有挂）1、黑科技辅助挂“决战卡五星游戏...
第6分钟辅助挂！微信牵手跑辅助...
第6分钟辅助挂！微信牵手跑辅助（辅助挂）切实存在有挂（详细辅助切实教程）1、点击下载安装，微信牵手跑...
第九分钟辅助挂!填大坑辅助器(...
第九分钟辅助挂!填大坑辅助器(辅助挂)曝光教程(原本存在有挂)1、许多玩家不知道填大坑辅助器辅助软件...
黑科技辅助挂“老友麻将有没有挂...
黑科技辅助挂“老友麻将有没有挂”外挂透视辅助助手（竟然是真的有挂）；1、操作简单，无需注册，只需要使...
7分钟辅助！情怀蒲仙辅助（辅助...
7分钟辅助！情怀蒲仙辅助（辅助挂）总是存在有挂（详细辅助大神讲解）一、情怀蒲仙辅助AI软件牌型概率发...
第八分钟辅助挂!花花生活圈挂怎...
第八分钟辅助挂!花花生活圈挂怎么开(辅助挂)介绍教程(其实真的有挂)1、构建自己的微扑克辅助插件；2...
黑科技辅助挂“火神大厅科技”外...
黑科技辅助挂“火神大厅科技”外挂透视辅助下载（竟然真的是有挂）；1、火神大厅科技系统规律教程、火神大...
5分钟辅助！广西友乐辅助器（辅...
5分钟辅助！广西友乐辅助器（辅助挂）真是存在有挂（详细辅助科技教程）暗藏猫腻，小编详细说明广西友乐辅...