15现代循环神经网络—GRU与LSTM
创始人
2024-11-15 19:07:54
0次

目录

    • 1.门控循环单元 GRU
      • 关注一个序列
      • 门
      • 候选隐状态(candidate hidden state)
      • 隐状态
      • 总结
      • 从零开始代码实现
      • 代码简洁实现
    • 2.长短期记忆网络 LSTM
      • 门
      • 候选记忆单元（candidate memory cell）
      • 记忆单元
      • 隐状态
      • 代码

1.门控循环单元 GRU

GRU 是最近几年提出来的，在 LSTM 之后，是一个稍微简化的变体，通常能够提供同等的效果，并且计算速度更快

在某些情况下,希望存在某些机制能够实现:

  • 希望某些机制能够在一个记忆元里存储重要的早期信息
  • 希望某些机制能够跳过隐状态表示中的此类词元
  • 希望某些机制能够重置内部状态表示

做 RNN 的时候处理不了太长的序列

  • 因为序列信息全部放在隐藏状态中,当时间到达一定长度的时候,隐藏状态中会累积过多的信息,不利于相对靠前的信息的抽取

关注一个序列

在这里插入图片描述

在观察一个序列的时候,不是每个观察值都同等重要

  • 对于一个猫的图片的序列突然出现一只老鼠,老鼠的出现很重要，第一次出现猫也很重要，但是之后再出现猫就不那么重要了
  • 在一个句子中，可能只是一些关键字或者关键句比较重要
  • 视频处理中，其实帧与帧之间很多时候都差不多，但是在切换场景的时候,每次的切换是比较重要的

在 RNN 中没有特别关心某些地方的机制，对于它来讲仅仅是一个序列，而门控循环单元可以通过一些额外的控制单元，使得在构造隐藏状态的时候能够挑选出相对来说更加重要的部分**(注意力机制在这方面强调得更多一点)**

  • 更新门(update gate)

上一篇：C#小结：string、double、TimeSpan等常见类型的小结和坑点

下一篇：第二证券：我国推进新型城镇化建设 7只概念股获多家机构关注

相关内容

热门资讯

第十分钟窍要！九游破解辅助插件... 第十分钟窍要！九游破解辅助插件官网（透视）如何购买广东雀神智能插件（有挂实锤）；无需打开直接搜索薇:...
辅助透视！pokemmo脚本辅... 辅助透视！pokemmo脚本辅助器下载，来玩app破解版（往昔有开挂辅助插件）；无需打开直接搜索打开...
第九分钟了解！德州hhpoke... 第九分钟了解！德州hhpoker脚本，雀姬辅助脚本，分享教程（有挂工具）；无需打开直接搜索加（薇:1...
三刹那精通“友友邳州辅助软件下... 三刹那精通“友友邳州辅助软件下载”起初有开挂辅助下载（有挂总结）1、下载安装好友友邳州辅助软件下载，...
第六分钟项目！新海贝之城开挂（... 您好：三哥玩摆头注可以控制这款游戏可以开挂的，确实是有挂的，很多玩家在这款游戏中打牌都会发现很多用户...
透视真的！智星德州有脚本吗，h... 透视真的！智星德州有脚本吗，hhpoker是真的吗（本来有开挂辅助下载）；无需打开直接搜索打开薇:1...
第二分钟了解！九游辅助插件，拱... 第二分钟了解！九游辅助插件，拱趴大菠萝有什么挂，爆料教程（有挂猫腻）；无需打开直接搜索打开薇:136...
1秒钟熟悉“广西八一字牌辅助”... 1秒钟熟悉“广西八一字牌辅助”先前有开挂辅助神器（有挂详细）；无需打开直接搜索打开薇:1367043...
第3分钟手册！微乐辅助软件购买... 您好：微乐辅助软件购买平台这款游戏可以开挂的，确实是有挂的，很多玩家在这款游戏中打牌都会发现很多用户...
透视辅助！德州真人透视脚本，c... 透视辅助！德州真人透视脚本，cloudpoker外挂（一向有开挂辅助安装）；无需打开直接搜索薇:13...