如今，LSTM 的变体很多。所有提及 LSTM 的论文都有着小小的改动，这些改进虽然并不明显。比如，最时尚的 LSTM 变体就是 Gers & Schmidhuber (2000) 提出的「猫眼连接」（peephole connections）的神经网络。另一个比较惹眼的变体为 GRU（Gated Recurrent），由 Cho, et al. (2014) 提出。

「在包括 Felix Gers 、Alex Graves、Santi Fernandez、Faustino Gomez、Daan Wierstra、Justin Bayer、Marijn Stollenga、Wonmin Byeon、Rupesh Srivastava、Klaus Greff 等人在内的我出色的学生及博士后的帮助下，该算法被逐步发展。LSTM，特别是在处理序列数据方面，已经变为了大多数如今被叫做深度学习算法的基础。」

在谈到今天深度学习研究取得的进展，他概括为「新瓶装旧酒」。计算能力的飞速发展彻底革新了过去的模式识别和机器学习。

Jürgen Schmidhuber 还提醒道，「实验室有一项影响不那么深远但非常实用的贡献，那就是极大地加快了深度监督前馈神经网络在图像处理器上的速度，尤其是使用 Linnainmaa 的反向传播技巧训练的卷积神经网络架构。」

Nnaisense，通往 AGI 之路

在追求通用人工智能的道路上，最为著名的公司当属 DeepMind。但是，不少人仍然不知道这公司的头四名成员中，有两位来自 Jürgen Schmidhuber 所在的 IDSIA，他们的第一位人工智能领域的博士雇员也来自 IDSIA，其中一个是联合创始人，另一个是公司的第一名员工；Jürgen Schmidhuber 的其他博士学生也稍后加入了 DeepMind，其中包括在 2010 年 Atari-Go 论文的联合作者。

Jürgen Schmidhuber 对机器人和通用人工智能的兴趣可以追溯到青少年时代。1963 年，Jürgen Schmidhuber 出生于慕尼黑。他在青年时代，从图书馆借阅了大量科普书籍和科幻小说——尤其喜欢奥拉夫·斯泰普尔顿（Olaf Stapleton）的《造星主》（Star Maker）、E·T·A·霍夫曼（ETA Hoffmann）的《沙人》（The Sandman），以及史坦尼斯劳·莱姆（Stanislaw Lem）的小说。

而现在，位于瑞士阿尔卑斯山卢加诺的实验室里，他的初创公司 Nnaisense 已经开发出一套婴儿般的系统，几乎可以不通过实验的方式了解世界的运转原理。Schmidhuber 认为，RNN 是打造通用人工智能的基础，与其借鉴脑科学发展人工智能，还不如深入研究数学和算法，尤其是机器学习和推荐程序。事实上，2000 年年初，在数学上最优的通用 AI 及问题解决器在 IDSIA 里 Schmidhuber 的实验室中已经被研发出来，如 Marcus Hutter's AIXI(tl) Model 或 self-referential Gödel Machine。

建立一个基于神经网络的人工智能，它可以逐步学习，至少变得和小动物一样聪明、好奇、有创造性，不断学习去计划和理性，将非常广泛的问题分解成可快速解决（或者已经解决）的子问题。

一旦动物水平的人工智能被实现，下一步对于人类水平人工智能的实现会容易很多：发展演化出聪明的动物花费了几十亿年的时间，但是在这之上演化成人类只用了几百万年。技术进化要比生物进化快得多，因为死路消亡的也要快得多。Jürgen Schmidhuber 认为，「一旦我们拥有了动物水平的人工智能，在几年或者几十年之后，我们或许就会拥有人类水平的人工智能，届时将拥有真正无限的应用，每一个业务将被改变，所有的文明也会被改变，一切都将改变。」

在 20 世纪 60 年代，人工智能的研究更多处于理论阶段并不实用，随着近些年计算机算力极大增长，这一波技术浪潮会带来更多垂直产业得到应用的落地。Schmidhuber 也将目光瞄向了推动技术成果向商业化应用转化，继续投注他对通用人工智能目标的远大设想。

2014 年，Jürgen Schmidhuber 和他在 IDSIA 共事的四位研究人员共同创办 Nnaisense。根据公司官网说明，Nnaisense 的愿景是「为超人感知和智能自动化打造大规模神经网络解决方案，最终目标是推广基于通用神经网络的人工智能」。在 Schmidhuber 看来，公司这项服务外包给多个行业，从每项工作中掌握的技能就会逐渐汇集成一个可以处理任何问题的系统。

据公开资料显示，Nnaisense 去年营业额为一千万欧元（1100 万美元），并于今年 1 月获得 A 轮融资，由 Mundi Ventures 领投，具体数额并未公开。

「这是真正的人工智能」，他说。虽然离终点还很遥远——它们大约有 10 亿个神经连接，而人类大脑皮层约有 100 万亿神经连接。但计算机每 5 年就会加快 10 倍，如果这一趋势不中断，那么 25 年之后我们就会拥有一个可与人脑媲美的循环神经网络。