可以通过命令 print dictionary 显示词典。你也许会发现一些不合理的单词数很多，但是别担心，这只是一个词典并且稍后你可以改进它。如果你是按照这篇文章说的那样操作的并且使用了我提供的数据集，那么请确保你的词典中包含以下最常用的单词的条目。这里，我已经选择了 3000 个词典中最常用的词。

[('order', 1414), ('address', 1293), ('report', 1216), ('mail', 1127), ('send', 1079), ('language', 1072), ('email', 1051), ('program', 1001), ('our', 987), ('list', 935), ('one', 917), ('name', 878), ('receive', 826), ('money', 788), ('free', 762)

3、特征提取过程

一旦词典准备就绪，我们可以为训练集的每封邮件提取 3000 维的词计数向量（word count vector，这里是我们的特征）。每个词计数向量包含了训练文件中的 3000 个单词的频率。当然，你现在可能已经猜到了它们大部分是 0。让我们举个例子。假设我们的词典中有 500 个词。每个词计数向量包含训练文件中 500 个字典词的频率。假设训练文件中的文本是「Get the work done, work done」，那么它将被编码为 [0,0,0,0,0，... .0,0,2,0,0,0，......，直播，0,0,1,0,0，... 0,0,1,0,0，... 2,0,0,0,0,0]。在这个 500 长度的词计数向量中，只有的第 296、359、415、495 位有词的计数值，其余位置都是零。

下面的 Python 代码将生成一个特征向量矩阵，其中行表示训练集的 700 个文件，列表示词典的 3000 个词。索引「ij」处的值将是第 i 个文件中词典的第 j 个词的出现次数。

def extract_features(mail_dir):

files = [os.path.join(mail_dir,fi) for fi in os.listdir(mail_dir)]

features_matrix = np.zeros((len(files),3000))

docID = 0;

for fil in files:

with open(fil) as fi:

for i,line in enumerate(fi):

if i == 2:

words = line.split()

for word in words:

wordID = 0

for i,d in enumerate(dictionary):

if d[0] == word:

wordID = i

features_matrix[docID,wordID] = words.count(word)

docID = docID + 1

return features_matrix

4、训练分类器

这里，我将使用 scikit-learn 机器学习库（）训练分类器。这是一个开源 Python 机器学习库，其被捆绑在第三方分布 anaconda（https://www.continuum.io/downloads）中，也可以按这个教程单独安装使用：。一旦安装，我们只需要将其导入到我们的程序中即可。

我已经训练了两个模型，即朴素贝叶斯分类器（Naive Bayes classifier）和支持向量机（SVM）。对于文档分类问题，朴素贝叶斯分类器是一种常规的并且非常流行的方法。它是一个基于贝叶斯定理的监督概率分类器，其假设每对特征之间是独立的。支持向量机是监督式的二元分类器，在你拥有更多的特征时它非常有效。支持向量机（SVM）的目标是将训练数据中的一些子集从被称为支持向量（support vector，分离超平面的边界）的剩余部分分离。预测测试数据类型的支持向量机模型的决策函数基于支持向量并且利用了核技巧（kernel trick）。

一旦分类器训练完毕，我们可以在测试集上检查模型的表现。我们提取了测试集中的每一封邮件的词计数向量，并使用训练后的朴素贝叶斯（NB）分类器和支持向量机模型预测其类别（ham 邮件或垃圾邮件）。以下是垃圾邮件过滤应用程序的完全代码。你必须包含我们在之前的步骤 2 和步骤 3 定义的两个函数。

import os

import numpy as np

from collections import Counter

from sklearn.naive_bayes import MultinomialNB, GaussianNB, BernoulliNB

from sklearn.svm import SVC, NuSVC, LinearSVC

# Create a dictionary of words with its frequency

train_dir = 'train-mails'

dictionary = make_Dictionary(train_dir)

# Prepare feature vectors per training mail and its labels

train_labels = np.zeros(702)

train_labels[351:701] = 1

train_matrix = extract_features(train_dir)

# Training SVM and Naive bayes classifier

model1 = MultinomialNB()

model2 = LinearSVC()

model1.fit(train_matrix,train_labels)

model2.fit(train_matrix,train_labels)

# Test the unseen mails for Spam

test_dir = 'test-mails'

test_matrix = extract_features(test_dir)

test_labels = np.zeros(260)

test_labels[130:260] = 1

result1 = model1.predict(test_matrix)

result2 = model2.predict(test_matrix)

print confusion_matrix(test_labels,result1)

print confusion_matrix(test_labels,result2)

测试表现水平