循环神经网络（RNN）

循环神经网络（Recurrent Neural Network, RNN）是一种专门用于处理序列数据的神经网络。

由于其能够处理不同长度的输入序列，并保持过去信息的能力，它广泛应用于自然语言处理、语音识别和时间序列预测等领域。

RNN的算法原理

RNN 的核心思想是使用循环的连接结构来保持对之前处理过的信息的记忆。

这种记忆通过隐藏层的状态来表达，每个时间步的隐藏状态都依赖于前一时间步的隐藏状态和当前时间步的输入。这种结构使得 RNN 能够捕获时间序列数据中的动态变化特性。

每一个RNN单元：

举例：

应用：

序列标注：给定一个句子，得到每个单词的词汇属性

序列预测：给定每周七天的气温，预测每天的天气状况

图片描述：给定一张照片，生成一个描述照片的句子

文本分类：给定一个句子，区分这个句子是正面的还是负面的

缺点：

梯度消失

在 RNN 中，当网络层较多或者处理的序列数据较长时，由于梯度在反向传播过程中反复乘以小于1的数（如激活函数的导数），导致梯度逐渐变小，最终接近于零。这会使得网络中的权重无法有效更新，特别是序列前端的权重，从而难以捕捉到序列中早期的重要信息。

梯度爆炸

与梯度消失相反，梯度爆炸是指在反向传播过程中梯度逐渐变得非常大，这通常发生在权重值较大时。梯度爆炸会导致网络权重的大幅波动，使得训练过程变得不稳定，甚至导致数值计算溢出。

难以捕捉长期依赖

由于梯度消失和梯度爆炸的问题，「标准的 RNN 在处理长序列时难以学习到输入序列中的长距离依赖关系」。这意味着网络难以记忆并利用序列中早期的信息来影响后续的输出，这对于许多需要理解整个输入序列上下文的任务来说是一个大问题，如语言翻译、文本生成等。

这些问题直接影响了网络的训练效率和性能，进而催生了长短时记忆网络（LSTM）和门控循环单元（GRU）这两种更为高效的RNN变体。