15现代循环神经网络—GRU与LSTM
创始人
2024-11-15 19:07:54
0次
目录
- 1.门控循环单元 GRU
- 关注一个序列
- 门
- 候选隐状态(candidate hidden state)
- 隐状态
- 总结
- 从零开始代码实现
- 代码简洁实现
- 2.长短期记忆网络 LSTM
- 门
- 候选记忆单元（candidate memory cell）
- 记忆单元
- 隐状态
- 代码
1.门控循环单元 GRU
GRU 是最近几年提出来的，在 LSTM 之后，是一个稍微简化的变体，通常能够提供同等的效果，并且计算速度更快
在某些情况下,希望存在某些机制能够实现:
- 希望某些机制能够在一个记忆元里存储重要的早期信息
- 希望某些机制能够跳过隐状态表示中的此类词元
- 希望某些机制能够重置内部状态表示
做 RNN 的时候处理不了太长的序列
- 因为序列信息全部放在隐藏状态中,当时间到达一定长度的时候,隐藏状态中会累积过多的信息,不利于相对靠前的信息的抽取
关注一个序列
在观察一个序列的时候,不是每个观察值都同等重要
- 对于一个猫的图片的序列突然出现一只老鼠,老鼠的出现很重要，第一次出现猫也很重要，但是之后再出现猫就不那么重要了
- 在一个句子中，可能只是一些关键字或者关键句比较重要
- 视频处理中，其实帧与帧之间很多时候都差不多，但是在切换场景的时候,每次的切换是比较重要的
在 RNN 中没有特别关心某些地方的机制，对于它来讲仅仅是一个序列，而门控循环单元可以通过一些额外的控制单元，使得在构造隐藏状态的时候能够挑选出相对来说更加重要的部分**(注意力机制在这方面强调得更多一点)**
- 更新门(update gate)
相关内容
热门资讯
一分钟辅助!免费闲逸辅助器免费...
一分钟辅助!免费闲逸辅助器免费(辅助挂)原来是真的辅助工具(有挂解密)1）免费闲逸辅助器免费辅助插件...
第三方插件！werplan有挂...
第三方插件！werplan有挂吗，微信决胜游戏辅助，大纲教程（有挂方略）1）微信决胜游戏辅助有没有挂...
第6分钟辅助!闲逸游戏游透视吗...
第6分钟辅助!闲逸游戏游透视吗(辅助挂)好像真的有辅助技巧(有挂秘诀)1、完成闲逸游戏游透视吗有辅助...
教学辅助挂！hhpoker外挂...
教学辅助挂！hhpoker外挂靠谱吗，贪玩游戏辅助，讲义教程（有挂详细）1、下载好贪玩游戏辅助透视辅...
1分钟辅助!wepokerpl...
1分钟辅助!wepokerplus辅助作弊(辅助挂)竟然是真的辅助插件(有挂方针)1、wepoker...
今天下午！wepoker买脚本...
今天下午！wepoker买脚本靠谱吗，蜀山四川小程序技巧，模板教程（有挂方法）一、蜀山四川小程序技巧...
7分钟辅助!财神13张辅助工具...
7分钟辅助!财神13张辅助工具(辅助挂)果然是有辅助工具(有挂总结)1、完成财神13张辅助工具有辅助...
事发当天！wepoker数据分...
事发当天！wepoker数据分析工具，上饶辅助设备出租，学习教程（有挂分析）1、上饶辅助设备出租辅助...
第三分钟辅助!金虎爷科技(辅助...
第三分钟辅助!金虎爷科技(辅助挂)都是有辅助app(有挂存在)1、上手简单，内置详细流程视频教学，新...
方法辅助挂！wepoker有没...
方法辅助挂！wepoker有没有挂，盛世辅助工具，模板教程（有挂辅助）进入游戏-大厅左侧-新手福利-...