如下图所示，可以按批次分解各列，转成list格式文件。RNN会同时从不同位置开始训练时间序列：在示例中分别从4到6、从16到18和从28到30。用plural和series做变量名，是为了强调该变量为list文件，用来在每一步中表示具有多个位置的时间序列。

　　图4：将数据拆分为多列的原理图，用数字标出序列顺序，箭头表示相邻的时间步。

　　在我们的时间序列数据中，在三个位置同时开启训练，所以在前向传播时需要保存三个状态。我们在参数定义时就已经考虑到这一点了，故将init_state设置为3。

　　前向传播

　　接下来，我们继续构建计算图中执行RNN计算功能的模块。

　　# Forward passcurrent_state = init_statestates_series = [] forcurrent_input ininputs_series: current_input = tf.reshape(current_input, [batch_size, 1]) input_and_state_concatenated = tf.concat( 1, [current_input, current_state]) # Increasing number of columnsnext_state = tf.tanh(tf.matmul(input_and_state_concatenated, W) + b) # Broadcasted additionstates_series.append(next_state) current_state = next_state

　　在这段代码中，我们通过计算current_input Wa + current_state Wbin，得到两个仿射变换的总和input_and_state_concatenated。在连接这两个张量后，只用了一个矩阵乘法即可在每个批次中添加所有样本的偏置b。

　　图5：第8行代码的矩阵计算示意图，省略了非线性变换arctan。

　　你可能会想知道变量truncated_backprop_lengthis的作用。在训练时，RNN被看做是一种在每一层都有冗余权重的深层神经网络。在训练开始时，这些层由于展开后占据了太多的计算资源，j2直播，因此要在有限的时间步内截断。在每个批次训练时，网络误差反向传播了三次。

　　计算Loss

　　这是计算图的最后一部分，我们建立了一个从状态到输出的全连接层，用于softmax分类，标签采用One-hot编码，用于计算每个批次的Loss。

　　logits_series = [tf.matmul(state, W2) + b2 forstate instates_series] #Broadcasted additionpredictions_series = [tf.nn.softmax(logits) forlogits inlogits_series]losses = [tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels) forlogits, labels inzip(logits_series,labels_series)]total_loss = tf.reduce_mean(losses)train_step = tf.train.AdagradOptimizer( 0.3).minimize(total_loss)

　　最后一行是添加训练函数，TensorFlow将自动执行反向传播函数：对每批数据执行一次计算图，并逐步更新网络权重。

　　这里调用的tosparse_softmax_cross_entropy_with_logits函数，能在内部算得softmax函数值后，继续计算交叉熵。在示例中，各类是互斥的，非0即1，这也是将要采用稀疏自编码的原因。标签的格式为[batch_size，num_classes]。

　　可视化结果

　　我们利用可视化功能tensorboard，在训练过程中观察网络训练情况。它将会在时间维度上绘制Loss值，显示在训练批次中数据输入、数据输出和网络结构对不同样本的实时预测效果。

　　defplot(loss_list, predictions_series, batchX, batchY):plt.subplot( 2, 3, 1) plt.cla() plt.plot(loss_list) forbatch_series_idx inrange( 5): one_hot_output_series = np.array(predictions_series)[:, batch_series_idx, :] single_output_series = np.array([( 1ifout[ 0] < 0.5else0) forout inone_hot_output_series]) plt.subplot( 2, 3, batch_series_idx + 2) plt.cla() plt.axis([ 0, truncated_backprop_length, 0, 2]) left_offset = range(truncated_backprop_length) plt.bar(left_offset, batchX[batch_series_idx, :], width= 1, color= "blue") plt.bar(left_offset, batchY[batch_series_idx, :] * 0.5, width= 1, color= "red") plt.bar(left_offset, single_output_series * 0.3, width= 1, color= "green") plt.draw() plt.pause( 0.0001) 建立训练会话

　　已经完成构建网络的工作，开始训练网络。在TensorFlow中，该计算图会在一个会话中执行。在每一步开始时，都会随机生成新的数据。