语言建模是在许多NLP应用的重要任务。本讲介绍了语言建模，包括传统的基于n-gram的方法和更现代的神经方法。特别介绍了流行的递归神经网络（RNN）语言模型和其基本的训练及评估算法。

　　4，RNN和语言建模 Phil Blunsom

　　本讲继续上一节的内容，讨论了实施RNN语言模型中的一些问题。 描述了消失（vanishing）和爆炸梯度（exploding gradient）问题，并讨论了诸如LSTM这样的架构解决方案。

　　Week 4

　　5. 文本分类 Karl Moritz Hermann (DeepMind研究员)

　　本讲讨论文本分类，从诸如朴素贝叶斯这样的基本分类器开始，讲到RNN和卷积网络。

　　6. RNNs and GPUs Jeremy Appleyard (英伟达研究员)

　　本讲介绍了执行深度学习算法中CPU的替代方案——图形处理单元（GPU） ，讨论了GPU的优缺点以及内存带宽和计算是如何影响RNN的。

　　Week 5

　　7&8. Sequence Transduction Chris Dyer (CMU副教授、DeepMind研究员)

　　7. 序列转换 Chris Dyer (CMU副教授、DeepMind研究员)

　　本讲中，我们扩展了语言建模的概念。通过在表征输入上调节RNN语言模型，我们可以生成上下文相关语言。这个非常通用的想法可以应用于序列转换任务，例如翻译和总结，或将图像转换为描述其内容的说明性文字。

　　8. 序列转换 Chris Dyer (CMU副教授、DeepMind研究员)

　　本讲介绍了深度神经网络中最重要和最有影响力的机制之一：注意力机制。 注意力使得递归网络增加了对输入的特定部分进行调节的能力，这是在诸如机器翻译和图像说明任务中实现高性能的关键。

　　Week 6

　　9. Speech Andrew Senior （DeepMind研究员）

　　自动语音识别（ASR）是将语言的原始音频信号转换成文本的任务。 本讲涵盖了ASR模型的历史，从高斯混合，到经过注意力强化的RNN，到基本的语音学，以及经常使用的各种输入和输出的表示。

　　10. Speech Andrew Senior （DeepMind研究员）

　　本讲介绍将书面语言转换为口语的算法（文本到语音）。TTS是与ASR相反的过程，但是在应用的模型中存在一些重要区别。我们回顾了传统的TTS模型，然后引出更多的近期使用的神经方法，如DeepMind的WaveNet模型。

　　Week 7

　　11. 问答系统Karl Moritz Hermann

　　12. 记忆 Ed Grefenstette

　　Week 8

　　13. 语言结构 Chris Dyer

　　14. 结论 Phil Blunsom

　　学术背景要求

　　最后说明一下参与的学术背景。当然，这些也不是绝对的。因为，你在什么情况下，都能一边实践一边学习。

　　数学线性代数

　　微积分

　　概率

　　机器学习机器学习模型评测（训练/验证/测试分裂，交叉验证等）

　　过度拟合、泛化、正则化

　　优化（目标函数随机梯度下降）

　　线性回归及分类、神经网络（常规非线性、反向传播等）

　　编程掌握或有能力迅速掌握神经网络学习框架相关知识（如Torch、TensorFlow、Theano、DyNet）

　　还等什么，访问 Github：https://github.com/oxford-cs-deepnlp-2017/lectures