建立这样的神经网络，有两个阶段。在第一阶段使用大的标记的样本数据集或输入和期望的输出来训练神经网络。在部署神经网络的第二阶段中，使用其先前训练的参数来运行推理、分类、识别和有条件地处理诸如时间线帖子等未知输入。培训和推理可以在针对每个阶段优化的不同硬件平台上运行。

　　一切都起源于图像识别

　　Facebook AI 程序的起点在2012年，当时ML被用于理解用户帖子中图像的内容和背景。应用计算机视觉是一个非常广泛的研究领域，也是ML在学术界的早期应用示范。这是说服扎克伯格和 Facebook 的 CTO Mike Schroepfer（他在公司内部被称为“Schrep”）开始从研究到产品化地拓展 AI，将 AI 作为整个公司的平台，并增加对 ML 的投资的信号之一。这与 GPU 显著地提高图像识别精度是同时发生的，下图是年度的视觉识别挑战赛Imagenet的结果。

　　Manohar Paluri 于2012年作为实习生加入 Facebook 的应用计算机视觉团队，当时唯一在使用的图像识别是人脸识别。公司的搜索团队正在为 Facebook 的搜索引擎构建新的语法结构，当时的搜索引擎除了用户添加的标签外，无法理解图片的内容。根据 Paluri 的说法，应用视觉团队是为“理解图像中一切人类可以理解的东西，不需要让计算机记住特定的使用场景，而要建立这样一种方式，让产品组里的开发人员可以利用机器学习模型找到他们自己的答案。”

　　神经网络是由多个简单的、高度互连的单元（element）组成的计算系统，基于他们对外部输入的动态回应（dynamic-state response）来处理信息。神经网络被训练通过处理大量的标记数据来理解特定的应用情景。鸟的图像被标记为“bird”，汽车的图像被标记为“car”，等等。然后很快地，这个非常大的标记图像样本被压缩成像素处理。在这个训练阶段，通用的 ML 软件（例如 Torch 或 Tensorflow）被用于训练网络来识别图像中的物体。

　　在这种情况下，输入层是有标记图像的一个大型集合；输出层是将图像描述为“car”或“not car”之类的标签。处理单元（通常称为神经元）的隐藏层产生 ML 软件通过学习算法处理的中间值（权重），从而将权重与有标签的汽车图像相关联。然后，样本数据被重新处理为不带标签的数据，以测试模型预测标签的准确率。结果将被比较，然后校正误差并反馈到神经网络中以调整算法，利用反向传播过程来分配权重。这种迭代校正能得到更高的识别准确率，因此当图像识别模型被用于识别新图像中的内容时，模型在推理阶段能够更高效。

　　Paluri 的模型的第一个版本为 Facebook 用户上传的图像用一组标签进行标记，例如自拍、食物、室内、户外、风景等。这个图像元数据（metadata）被作为节点集成到 Facebook 的 Open Graph。Open Graph 是 Facebook 对其页面上共享的所有内容的一个动态对象存储库（dynamic object storage ），根据用户的隐私设置实行访问限制。用户信息、文章、照片、音乐等等，几乎所有的内容都是 Open Graph 的存储对象，并且与其他相关对象有链接。Paluri 的 ML 模型添加了元数据作为上传者的评论和标签的补充，并提供当没有评论时的理解。

　　这个添加的元数据改进了广告投放和搜索结果，并且基于用户的兴趣权衡帖子的重要程度，优化了新闻推送的发布顺序。这导致用户花更多时间浏览他们的时间线。

　　从公司的第一个图像理解项目以来，Facebook 的图像识别模型在识别照片中的物体，比如猫以外，获得了显著的提升，现在的图像识别技术包括：分类、探测、分割、图说（描述图像中的内容，比如照片中猫在哪个位置，旁边有什么）。

　　自应用计算机视觉团队开始工作以来，图像识别已经转移到一个称为 Lumos 的自助服务平台上（开发团队不再监督它）。今天，ML 图像识别训练模型和其他模型分布在整个 Facebook 的产品开发团队与 FB Learner 流程平台中。FBLearner Flow 目前由 Facebook 的 40 多个产品开发团队使用，包括搜索、广告和新闻源，用于训练由 FAIR 和应用机器学习团队创建的模型。