在 TensorFlow 之中使用循环神经网络
在之前的学习之中,我们使用了全连接网络、卷积神经网络以及其他的网络。今天我们要来学习另一种常用的神经・网络 —— 循环神经网络(RNN)。
1. 什么是循环神经网络
循环神经网络( recurrent neural network )简称 RNN 。顾名思义,这种网络之中包含循环的结构,因此才被称作循环神经网络。
在我们之前学习过的网络之中,网络模型只是根据不同的样本的输入来进行处理,前面的输入和后面的输入互不相干,简而言之,我们之前学习过的网络模型不包含记忆性。而循环神经网络( RNN )则可以具有记忆性,它能够 “记住” 之前的输入,从而对后面输入的判别产生影响。
举个简单的例子,当我们在看电影的时候,如果用之前学过的模型来处理,就相当于一帧接着一帧地进行分析;而如果我们使用循环神经网络来处理,就相当于将多个帧联系起来处理。
因此我们可以得出结论,循环神经网络更适合用来处理一些连续输入的数据,比如文本、视频、音频等连续的数据。
既然想要使用循环神经网络,我们便要简单的了解一下循环神经网络的基本结构。
循环神经网络的基本结构如下图所示:
我们可以看到,与之前学习过的网络最大的不同就是该网络含有一个循环结构,具体来说,循环神经网络处理数据的基本过程为:
- 输入数据并处理;
- 数据经过隐含状态并得到两个结果:
- 这次输入数据的输出;
- 隐含状态的更新值。
- 将数据输出,同时更新隐含的状态。
正是因为 RNN 可以根据不同的输入来不断地更新自己的隐含状态,因此我们才会说 RNN 具有 “记忆性”,也就是说,隐含状态会 “记住之前地输入状态”。
在 RNN 的具体细节之中,涉及到许多的数学推导知识,我们在这里暂时不展开叙述,我们只需要学会如何使用循环神经网络即可。而且在实际的应用之中,我们会采用多个单元的方式进行,从而提升网络的容量。
2. 如何在 TensorFlow 之中使用循环神经网络
在 TensorFlow 之中使用循环神经网络也是一件非常容易的事情。但是值得注意的是,原生的循环神经网络在 TensorFlow 之中的的实现比较复杂,而且通过训练得到的效果也不是很好。因此,我们建议在 TensorFlow 之中使用 RNN 的一些变体,这些变体往往可以通过更少的工作量来获取到更好的工作成果,在这里,我们使用 LSTM (长短期记忆)与 GRU (门循环单元)为例。这两者的改变都涉及到比较底层的知识,大家不需要掌握,只需要知道这些变体能够取得更好的效果并且学会如何使用即可。
最简单的,我们可以通过使用以下 Keras 的 API 来进行长短期记忆(LSTM)的调用。
tf.keras.layers.LSTM(
units, activation='tanh', recurrent_activation='sigmoid',
dropout=0.0, recurrent_dropout=0.0, return_sequences=False,
return_state=False
)
其中的一些参数的意义如下:
- units: 正整数,输出的维度;
- activation: 要采用的激活函数,一般保持默认 “tanh” 即可;
- recurrent_activation: 在每次循环的时候要采用的激活函数,默认为 “sigmoid”;
- dropout:用来抑制过拟合的一种方法,被应用于输入的阶段;
- recurrent_dropout:用来抑制过拟合的一种方法,被应用于循环的阶段;
- return_sequences:布尔值,是否返回一个完整的输出序列,还是只返回最后一个输出;
- return_state:布尔值,是否返回中间的隐含状态。
对于 GRU ,我们可以使用以下的 API 实现。
tf.keras.layers.GRU(
units, activation='tanh', recurrent_activation='sigmoid', dropout=0.0,
recurrent_dropout=0.0, return_sequences=False, return_state=False
)
可以看到 GRU 的 API 和 LSTM 的 API 的参数非常相似,而实际上他们的含义也相同。
- units: 正整数,GRU 输出的维度;
- activation: GRU 要采用的激活函数,一般保持默认 “tanh” 即可;
- recurrent_activation: GRU 在每次循环的时候要采用的激活函数,默认为 “sigmoid”;
- dropout:用来抑制过拟合的一种方法,被应用于 GRU 输入的阶段;
- recurrent_dropout:用来抑制过拟合的一种方法,被应用于 GRU 循环的阶段;
- return_sequences:布尔值,定义 GRU 是否返回一个完整的输出序列,还是只返回最后一个输出;
- return_state:布尔值,决定 GRU 是否返回中间的隐含状态。
3. 在 TensorFlow 之中使用循环神经网络的示例
这一小节,我们将会使用一个具体的程序实例来演示如何在 TensorFlow 之中使用循环神经网络,在这里,我们会使用 LSTM 举例,大家也可以常使使用 GRU 等其他循环神经网络。与往常一样,我们仍然采用的是 IMDB 电影评价的数据集来进行演示。
在这里,我们具体的程序为:
import tensorflow as tf
import numpy as np
# 定义基本参数
words_num = 10000
val_num = 12500
EPOCHS = 10
pad_max_length = 256
BATCH_SIZE = 64
# 获取数据
(train_data, train_labels), (test_data, test_labels) = tf.keras.datasets.imdb.load_data(num_words=words_num)
word_index = tf.keras.datasets.imdb.get_word_index()
# 添加特殊字符
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<pad>"] = 0
word_index["<start>"] = 1
word_index["<unknown>"] = 2
word_index["<unused>"] = 3
# 数据预处理
train_data = tf.keras.preprocessing.sequence.pad_sequences(train_data, value=0, padding='post', maxlen=pad_max_length)
test_data = tf.keras.preprocessing.sequence.pad_sequences(test_data, value=0, padding='post', maxlen=pad_max_length)
# 划分训练集合与验证集合
x_val, x_train = train_data[:val_num], train_data[val_num:]
y_val, y_train = train_labels[:val_num], train_labels[val_num:]
# 模型构建
model = tf.keras.Sequential([
tf.keras.layers.Embedding(words_num, 32),
tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)),
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(1, activation='sigmoid')
])
model.summary()
# 编译模型
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
# 训练
history = model.fit(x_train, y_train, epochs=EPOCHS,
batch_size=BATCH_SIZE, validation_data=(x_val, y_val))
# 测试
results = model.evaluate(test_data, test_labels)
print(results)
可以看到,我们的代码与之前的模型几乎完全相同,只是我们的网络模型采用了 LSTM(长短期记忆),大家可以将这次运行的结果与之前运行的结果相比较。
该处的代码中,我们需要注意的一点是,我们将 LSTM 用 tf.keras.layers.Bidirectional () 这一网络层包裹起来了。顾名思义,这一个双向的网络层,通过将 LSTM 使用该网络层包裹,LSTM 不仅仅能够学习到正向的信息,也能学习到反向的信息。举个不恰当的例子,相当于人可以反着读书一样。这可以增强循环神经网络提取信息的能力,童儿提升模型的效果。
最终,通过运行代码,我们可以得到输出:
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
embedding_3 (Embedding) (None, None, 32) 320000
_________________________________________________________________
bidirectional_1 (Bidirection (None, 128) 49664
_________________________________________________________________
dense_6 (Dense) (None, 64) 8256
_________________________________________________________________
dense_7 (Dense) (None, 1) 65
=================================================================
Total params: 377,985
Trainable params: 377,985
Non-trainable params: 0
_________________________________________________________________
Epoch 1/10
196/196 [==============================] - 72s 369ms/step - loss: 0.5292 - accuracy: 0.7088 - val_loss: 0.3791 - val_accuracy: 0.8432
Epoch 2/10
196/196 [==============================] - 71s 360ms/step - loss: 0.2714 - accuracy: 0.8993 - val_loss: 0.3445 - val_accuracy: 0.8719
Epoch 3/10
196/196 [==============================] - 71s 363ms/step - loss: 0.1885 - accuracy: 0.9358 - val_loss: 0.3460 - val_accuracy: 0.8706
Epoch 4/10
196/196 [==============================] - 72s 365ms/step - loss: 0.1363 - accuracy: 0.9550 - val_loss: 0.3765 - val_accuracy: 0.8563
Epoch 5/10
196/196 [==============================] - 71s 363ms/step - loss: 0.0915 - accuracy: 0.9713 - val_loss: 0.4558 - val_accuracy: 0.8667
Epoch 6/10
196/196 [==============================] - 71s 362ms/step - loss: 0.0798 - accuracy: 0.9733 - val_loss: 0.7503 - val_accuracy: 0.8242
Epoch 7/10
196/196 [==============================] - 71s 363ms/step - loss: 0.0617 - accuracy: 0.9807 - val_loss: 0.5544 - val_accuracy: 0.8570
Epoch 8/10
196/196 [==============================] - 70s 359ms/step - loss: 0.0636 - accuracy: 0.9782 - val_loss: 0.5350 - val_accuracy: 0.7421
Epoch 9/10
196/196 [==============================] - 70s 357ms/step - loss: 0.0934 - accuracy: 0.9661 - val_loss: 0.6706 - val_accuracy: 0.8348
Epoch 10/10
196/196 [==============================] - 70s 356ms/step - loss: 0.0976 - accuracy: 0.9638 - val_loss: 0.5770 - val_accuracy: 0.8568
782/782 [==============================] - 34s 43ms/step - loss: 0.6340 - accuracy: 0.8440
[0.6339613795280457, 0.843999981880188]
可以看到,我们的网络模型的准确率达到了 84% ,对于之前的网络来说是一个不小的提升。
4. 总结
在这节课之中,我们学习了什么是循环神经网络,并且详细的了解了循环神经网络在 TensorFlow 之中的使用方法。与此同时,我们使用了一个具体的网络示例来展示了如何完整地使用 LSTM ,而这也达到了不错的效果。
- 还没有人评论,欢迎说说您的想法!