聚类算法是指对一组目标进行分类，属于同一组（亦即一个类，cluster）的目标被划分在一组中，与其他组目标相比，同一组目标更加彼此相似（在某种意义上）。

例子：

K-均值（k-Means）

k-Medians 算法

Expectation Maximi 封层 ation (EM)

最大期望算法（EM）

分层集群（Hierarchical Clstering）

优点：

让数据变得有意义

缺点：

结果难以解读，针对不寻常的数据组，结果可能无用。

基于实例的算法（Instance-based Algorithms）

基于实例的算法（有时也称为基于记忆的学习）是这样学 习算法，不是明确归纳，而是将新的问题例子与训练过程中见过的例子进行对比，这些见过的例子就在存储器中。

之所以叫基于实例的算法是因为它直接从训练实例中建构出假设。这意味这，假设的复杂度能随着数据的增长而变化：最糟的情况是，假设是一个训练项目列表，atv，分类一个单独新实例计算复杂度为 O（n）

例子：

K 最近邻（k-Nearest Neighbor (kNN)）

学习向量量化（Learning Vector Quantization (LVQ)）

自组织映射（Self-Organizing Map (SOM)）

局部加权学习（Locally Weighted Learning (LWL)）

优点：

算法简单、结果易于解读

缺点：

内存使用非常高

计算成本高

不可能用于高维特征空间

贝叶斯算法（Bayesian Algorithms）

贝叶斯方法是指明确应用了贝叶斯定理来解决如分类和回归等问题的方法。

例子：

朴素贝叶斯（Naive Bayes）

高斯朴素贝叶斯（Gaussian Naive Bayes）

多项式朴素贝叶斯（Multinomial Naive Bayes）

平均一致依赖估计器（Averaged One-Dependence Estimators (AODE)）

贝叶斯信念网络（Bayesian Belief Network (BBN)）

贝叶斯网络（Bayesian Network (BN)）

优点：

快速、易于训练、给出了它们所需的资源能带来良好的表现

缺点：

如果输入变量是相关的，则会出现问题

关联规则学习算法（Association Rule Learning Algorithms）

关联规则学习方法能够提取出对数据中的变量之间的关系的最佳解释。比如说一家超市的销售数据中存在规则 {洋葱，土豆}=> {汉堡}，那说明当一位客户同时购买了洋葱和土豆的时候，他很有可能还会购买汉堡肉。

例子：

Apriori 算法（Apriori algorithm）

Eclat 算法（Eclat algorithm）

FP-growth

图模型（Graphical Models）