无监督学习被称做机器学习的下一个挑战。它是人类终身学习最关键的能力（监督学习和强化学习的信号无法提供足够数据）并和预测常识推理紧密相关（“补上缺少的部分”）。分层系统中各个组件联合学习的无监督学习是一个较为困难的问题（大神Bengio，NIPS2016 “大脑和比特”座谈会~akfletcher/brainsbits.html）。

　　测试

　　除了在视觉领域可能的测试，语音识别也为无监督学习提供了一展拳脚的机会。虽然现在最先进的语音识别器基本都是依靠对大语音资料库的监督学习，无监督学习需要在没有监督的情况下，探索音素，单词分割，和词汇汇编。该方向限于少量词汇下的识别进来已有所进展，见如下论文（Riccardi and Hakkani-Tur, 2003, Park and Glass, 2008, Kamper et al., 2016）。

　　.一个全面无监督语音识别测试可以在部分转录语音资料库进行训练（例如，TIMIT，https://catalog.ldc.upenn.edu/LDC93S1），然后学会在非常稀疏的监督下进行预测。

　　（16）强泛化

　　人类可以在看似不同却有着内在相似性的情形下转移知识和技能，在调整到一个新环境时保留技能的核心部分，该能力被如下论文（Tarlow, 2016; Gaunt et al., 2016）称作强泛化。如果我们学习怎么打扫房间，我们就知道怎么打扫其他大部分房间。

　　测试

　　1.一个通用集成机器人能够学会用一种材料构建一个玩具城堡（比如用乐高玩具），然后测试能不能也用其他材料（比如沙子，石头，木棍）建筑城堡。

　　2.家务机器人在一个环境中进行打扫和烹饪训练，并在高度陌生的环境下测试。

　　（17）从少数样本中进行类别学习

　　莱克和合作者们（https://staff.fnwi.uva.nl/t.e.j.mensink/zsl2016/zslpubs/lake15science.pdf）通过少数样本达到了人类级别的识别和生成文字。然而，从少数样本中学习更复杂的类别依然是个开放性问题。

　　测试

　　该数据集包含了按WordNet中不同层次语义（~richardw/papers/miller1995-wordnet.pdf）整理好的图像。从非常少的训练数据图像中正确地确定数据集里的各个类别，是一个从少数样本中学习的很有挑战性的测试。

　　（18）学会学习

　　学会学习，亦称元学习是技能的习得，并趋于促进未来的学习。具体考虑的情形是一个更一般更缓慢的学习过程产生了一个快速的更专门的学习过程。例如，生物进化产生了像人类这样高效的学习者。

　　测试

　　学习玩雅达利电子游戏是进来取得非常可观的成功的领域，包括了转移学习（见论文Parisotto et al., 2016）。然而，不存在任何系统能够在学习玩电子游戏中像人类一样经过一段时间的操作便可获取新游戏的玩法（见论文Lake et al., 2016）。

　　（19）组成学习

　　组成学习（见论文de Freitas, 2016; Lake et al., 2016）是一种能够重新结合原始表达来加快新知识获取的能力。它和获悉如何学习紧密相关。

　　测试

　　组成学习的测试需要验证学习者是否着实有效并且使用了组合表达。

　　1.一些ImageNet的类别与主要由组成成分布局所决定对象类别相对应，例如椅子和凳子，或者单轮车，自行车和三轮车。测试可以评价智能体用少量样本学习类别以及报告图中对象组成部分的能力。

　　2.组成学习在学习电子游戏时应该是非常有用的。学习者可以在已经掌握的游戏中进行测试，但是游戏的组成元素看起来却改变了（比如在游戏霜寒https://archive.org/details/atari_2600_frostbite_1983_activision_steve_cartwright_ax-031中长相不同的鱼）。即便没有或者很少附加的学习，学习者也应该能够玩这样的游戏。

　　（20）不遗忘学习

　　为了终身持续地学习，智能体必须能够对新的观测泛化，同时保留之前习得的知识。近来该方向的进展见论文（Kirkpatrick et al., 2016）和（Kirkpatrick et al., 2016）。内存增强神经网络的工作（见论文Graves et al., 2016）也很相关。

　　测试

　　不遗忘学习的一个测试需要序贯地呈现学习任务（较早的任务不重复），然后测试较早获取知识的保留量。也可以测试新任务下降的学习时间，来验证智能体利用了之前习得的知识。

　　不遗忘学习的一个很有挑战性的测试是序贯地学习识别ImageNet数据集中所有类别。

　　（21）转移学习