15现代循环神经网络—GRU与LSTM
创始人
2024-11-15 19:07:54
0次
目录
- 1.门控循环单元 GRU
- 关注一个序列
- 门
- 候选隐状态(candidate hidden state)
- 隐状态
- 总结
- 从零开始代码实现
- 代码简洁实现
- 2.长短期记忆网络 LSTM
- 门
- 候选记忆单元（candidate memory cell）
- 记忆单元
- 隐状态
- 代码
1.门控循环单元 GRU
GRU 是最近几年提出来的，在 LSTM 之后，是一个稍微简化的变体，通常能够提供同等的效果，并且计算速度更快
在某些情况下,希望存在某些机制能够实现:
- 希望某些机制能够在一个记忆元里存储重要的早期信息
- 希望某些机制能够跳过隐状态表示中的此类词元
- 希望某些机制能够重置内部状态表示
做 RNN 的时候处理不了太长的序列
- 因为序列信息全部放在隐藏状态中,当时间到达一定长度的时候,隐藏状态中会累积过多的信息,不利于相对靠前的信息的抽取
关注一个序列
在观察一个序列的时候,不是每个观察值都同等重要
- 对于一个猫的图片的序列突然出现一只老鼠,老鼠的出现很重要，第一次出现猫也很重要，但是之后再出现猫就不那么重要了
- 在一个句子中，可能只是一些关键字或者关键句比较重要
- 视频处理中，其实帧与帧之间很多时候都差不多，但是在切换场景的时候,每次的切换是比较重要的
在 RNN 中没有特别关心某些地方的机制，对于它来讲仅仅是一个序列，而门控循环单元可以通过一些额外的控制单元，使得在构造隐藏状态的时候能够挑选出相对来说更加重要的部分**(注意力机制在这方面强调得更多一点)**
- 更新门(update gate)
相关内容
热门资讯
随着!约局吧app有挂吗(透视...
随着!约局吧app有挂吗(透视)创思维激k有后台吗(本来是有辅助插件)-哔哩哔哩创思维激k有后台吗是...
解密了解!八张透视辅助(辅助)...
解密了解!八张透视辅助(辅助)老友本来真的有辅助app(哔哩哔哩)八张透视辅助是不是有人用挂微扑克w...
据文件显示!德普之星辅助器ap...
据文件显示!德普之星辅助器app(透视)微乐四川小程序修改器(原来是真的辅助工具)-哔哩哔哩1、在德...
透视透视!竞技联盟破解版最新版...
透视透视!竞技联盟破解版最新版(透视)大唐麻将系统(辅助)总是存在有工具(哔哩哔哩)1、大唐麻将系统...
透视插件!pokeplus脚本...
透视插件!pokeplus脚本(透视)战皇大厅辅助排行(都是有辅助工具)-哔哩哔哩1、全新机制【战皇...
解迷了解!小程序边锋干橙眼辅助...
解迷了解!小程序边锋干橙眼辅助(辅助)丰城棋牌切实真的是有辅助器(哔哩哔哩)1、在小程序边锋干橙眼辅...
今日!wpk辅助(透视)微乐家...
今日!wpk辅助(透视)微乐家乡小程序脚本ios(切实存在有辅助插件)-哔哩哔哩；1、任何wpk辅助...
随着!拱趴大菠萝辅助神器(透视...
随着!拱趴大菠萝辅助神器(透视)中至上饶棋牌真的有挂透视(辅助)总是是真的有软件(哔哩哔哩)1、每一...
透视脚本!aapoker真的假...
透视脚本!aapoker真的假的(透视)葫芦娃七子降妖破解版(一贯真的有辅助安装)-哔哩哔哩亲，关键...
详情了解!唯思竞技辅助器(辅助...
详情了解!唯思竞技辅助器(辅助)新九五好像真的有辅助插件(哔哩哔哩)亲，关键说明，唯思竞技辅助器透视...