十分钟，带你掌握 RNN、LSTM 、GRU网站首页 其他

十分钟，带你掌握 RNN、LSTM 、GRU

派森学长 2025-02-12 00:01:04

简介十分钟，带你掌握 RNN、LSTM 、GRU

在正式介绍transformer之前，希望大家了解为什么会有transformer的出现。肯定是因为之前的不行，才会出现改进。首先这篇文章让我们来了解一下，前人存在什么问题。

1. RNN（循环神经网络）

1.1 RNN核心思想

循环结构：RNN 是一种处理序列数据的神经网络，它通过引入循环结构，能够将前一时刻的信息传递到当前时刻。
公式：假设输入序列为 x1,x2,…,xt，RNN 的状态更新公式为：
RNN状态更新公式
其中：
ht 是当前时刻的隐藏状态。
ht−1 是前一时刻的隐藏状态。
xt 是当前时刻的输入。
f 是激活函数（如 tanh）。
Whh 和 Wxh 是权重矩阵，b 是偏置。
优点：
能够处理序列数据，适用于自然语言处理、时间序列分析等任务。
缺点：
梯度消失/爆炸：在处理长序列时，梯度在反向传播过程中会逐渐变小（消失）或变大（爆炸），导致模型难以学习长距离依赖关系。
单向信息流：信息只能从过去流向未来，无法利用未来的信息。