总结

本文主要讲了N vs N，N vs 1、1 vs N、N vs M四种经典的RNN模型，以及如何使用Attention结构。

从单层网络谈起

在学习RNN之前，首先要了解一下最基本的单层网络，它的结构如图：

单层网络

输入是x，经过变换Wx+b和激活函数f得到输出y

经典的RNN结构(N vs N)

在实际应用中，我们还会遇到很多序列形的数据：

序列形的数据

如：

• 自然语言处理问题．x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。
• 语音处理．此时，x1、x2、x3……是每帧的声音信号。
• 时间序列问题．例如每天的股票价格等等

序列形的数据就不太好用原始的神经网络处理了。

为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。

先从h1的计算开始看：