kNN的优点在于易于理解和实现，无需估计参数，无需训练，适合对稀有事件进行分类，特别适合于多分类问题(multi-modal,对象具有多个类别标签)， 甚至比SVM的表现要好。

　　Han等人于2002年尝试利用贪心法，针对文件分类实做可调整权重的k最近邻居法WAkNN (weighted adjusted k nearest neighbor)，以促进分类效果；而Li等人于2004年提出由于不同分类的文件本身有数量上有差异，因此也应该依照训练集合中各种分类的文件数量，选取不同数目的最近邻居，来参与分类。

　　1969年 马文·明斯基将感知器兴奋推到最高顶峰。他提出了著名的XOR问题和感知器数据线性不可分的情形。

　　明斯基还把人工智能技术和机器人技术结合起来，开发出了世界上最早的能够模拟人活动的机器人Robot C，使机器人技术跃上了一个新台阶。明斯基的另一个大举措是创建了著名的“思维机公司”（Thinking Machines，Inc．），开发具有智能的计算机。

　　此后，神经网络的研究将处于休眠状态，直到上世纪80年代。尽管BP神经的想法由林纳因马在1970年提出，并将其称为“自动分化反向模式”，但是并未引起足够的关注。

　　|停滞不前的冷静时期

　　20世纪60年代中叶到70年代末

　　从60年代中到70年代末，机器学习的发展步伐几乎处于停滞状态。虽然这个时期 温斯顿(Winston)的 结构学习系统和 海斯·罗思(Hayes Roth)等的 基于逻辑的归纳学习系统取得较大的进展，但只能学习单一概念，而且未能投入实际应用。此外，神经网络学习机因理论缺陷未能达到预期效果而转入低潮。

　　这个时期的研究目标是 模拟人类的概念学习过程，并采用逻辑结构或图结构 作为机器内部描述。机器能够采用符号来描述概念(符号概念获取)，并提出关于学习概念的各种假设。

　　事实上，这个时期整个AI领域都遭遇了瓶颈。当时的计算机有限的内存和处理速度不足以解决任何实际的AI问题。要求程序对这个世界具有儿童水平的认识，研究者们很快发现这个要求太高了：1970年没人能够做出如此巨大的数据库，也没人知道一个程序怎样才能学到如此丰富的信息。

　　|重拾希望的复兴时期

　　20世纪70年代末到80年代中叶

　　从70年代末开始，人们从 学习单个概念扩展到学习多个概念，探索不同的学习 策略和各种学习方法。这个时期，机器学习在大量的时间应用中回到人们的视线，又慢慢复苏。

　　1980年，在美国的卡内基梅隆大学(CMU)召开了 第一届机器学习国际研讨会，标志着机器学习研究已在全世界兴起。此后，机器归纳学习进入应用。

　　经过一些挫折后， 多层感知器(MLP)由 伟博斯在1981年的神经网络反向传播(BP)算法中具体提出。当然BP仍然是今天神经网络架构的关键因素。有了这些新思想，神经网络的研究又加快了。

　　1985 -1986神经网络研究人员（鲁梅尔哈特，辛顿，威廉姆斯-赫，尼尔森）先后提出了 MLP与 BP训练相结合的理念。

　　一个非常著名的ML算法由 昆兰在1986年提出，我们称之为 决策树算法，更准确的说是 ID3算法。这是另一个主流机器学习的火花点。此外，与黑盒神经网络模型截然不同的是，决策树ID3算法也被作为一个软件，通过使用简单的规则和清晰的参考可以找到更多的现实生活中的使用情况。

　　《机器学习》中打网球的天气分类决策

　　决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。

　　|现代机器学习的成型时期

　　20世纪90年初到21世纪初