15现代循环神经网络—GRU与LSTM
创始人
2024-11-15 19:07:54
0次
目录
- 1.门控循环单元 GRU
- 关注一个序列
- 门
- 候选隐状态(candidate hidden state)
- 隐状态
- 总结
- 从零开始代码实现
- 代码简洁实现
- 2.长短期记忆网络 LSTM
- 门
- 候选记忆单元（candidate memory cell）
- 记忆单元
- 隐状态
- 代码
1.门控循环单元 GRU
GRU 是最近几年提出来的，在 LSTM 之后，是一个稍微简化的变体，通常能够提供同等的效果，并且计算速度更快
在某些情况下,希望存在某些机制能够实现:
- 希望某些机制能够在一个记忆元里存储重要的早期信息
- 希望某些机制能够跳过隐状态表示中的此类词元
- 希望某些机制能够重置内部状态表示
做 RNN 的时候处理不了太长的序列
- 因为序列信息全部放在隐藏状态中,当时间到达一定长度的时候,隐藏状态中会累积过多的信息,不利于相对靠前的信息的抽取
关注一个序列
在观察一个序列的时候,不是每个观察值都同等重要
- 对于一个猫的图片的序列突然出现一只老鼠,老鼠的出现很重要，第一次出现猫也很重要，但是之后再出现猫就不那么重要了
- 在一个句子中，可能只是一些关键字或者关键句比较重要
- 视频处理中，其实帧与帧之间很多时候都差不多，但是在切换场景的时候,每次的切换是比较重要的
在 RNN 中没有特别关心某些地方的机制，对于它来讲仅仅是一个序列，而门控循环单元可以通过一些额外的控制单元，使得在构造隐藏状态的时候能够挑选出相对来说更加重要的部分**(注意力机制在这方面强调得更多一点)**
- 更新门(update gate)
相关内容
热门资讯
盘点几款辅助器方法!大唐麻将全...
盘点几款辅助器方法!大唐麻将全集多功能辅助器方法，大唐麻将全集果然是真的有辅助器方法大唐麻将全集辅助...
科普分享透视挂策略!新道游多功...
科普分享透视挂策略!新道游多功能透视挂攻略，新道游切实真的有辅助攻略1、在新道游插件功能辅助器技巧中...
我来教大家辅助器app!广东麻...
我来教大家辅助器app!广东麻将多功能辅助器app，广东麻将好像有辅助器app1、下载好广东麻将脚本...
盘点一款透视挂指引!163棋牌...
盘点一款透视挂指引!163棋牌多功能透视挂软件，163棋牌一贯存在有辅助软件1、163棋牌免费脚本咨...
科技通报辅助器教程!小白大作战...
您好，小白大作战这款游戏可以开挂的，确实是有挂的，需要了解加去威信【136704302】很多玩家在这...
玩家必看开挂手册!乐虎棋牌多功...
玩家必看开挂手册!乐虎棋牌多功能开挂方法，乐虎棋牌原来真的有辅助方法进入游戏-大厅左侧-新手福利-激...
我来分享辅助器攻略!丫丫棋牌多...
我来分享辅助器攻略!丫丫棋牌多功能辅助器攻略，丫丫棋牌竟然真的有辅助器攻略1、用户打开应用后不用登录...
最新技巧透视指南!丫丫湖南麻将...
最新技巧透视指南!丫丫湖南麻将多功能透视方法，丫丫湖南麻将一贯是有辅助方法1、每一步都需要思考，不同...
我来教教你透视器教程!微友南昌...
我来教教你透视器教程!微友南昌麻将多功能透视器教程，微友南昌麻将一贯真的有透视器教程1、下载好微友南...
重大通报辅助挂讲义!大富豪多功...
重大通报辅助挂讲义!大富豪多功能辅助挂工具，大富豪都是是真的有辅助工具该软件可以轻松地帮助玩家将大富...