神经网络有很多固有的并行化，所有不同的神经元与其开奖直播的也是保持独立，特别本地接纳的，神经元仅仅接受一小部分比它更低的神经元作为输入。

　　在不同的GPU上和不同机器上可以做并行。只有边界上的数据需要通信。

　　数据并行化

　　优化的模型参数集不应该在一台机器上或者一台中心服务器上，应该有多个模型拷贝，这样协作区优化参数。

　　在训练过程中读取数据的随机部分。每一个拷贝在模型中获取当前的参数集，读取在当前梯度下的一点数据，找到想要的参数调整，在发送调整到中心的参数服务器中。这个参数服务器会对参数做调整。整个过程重复，这个也会在很多拷贝中进行。有些使用500份在500台不同机器上的拷贝，为了快速优化参数并处理大量数据。

　　一种方式是异步的，每一个都有自己的循环，取得参数，计算梯度，发送它们，不需要任何控制和跟其开奖直播的同步，不好的是当梯度返回到参数可能在计算结束后就被移走了。对有些例子可能有50到100份的拷贝。还有一种是同步，一个控制器控制所有的拷贝。

　　TensorFlow

　　在过去的几年间，本港台直播们已经建立了两代用于训练和部署神经网络的计算机系统，并且将这些系统应用于解决很多在传统上来说对计算机而言很难的问题。本港台直播们对许多这些领域的最新技术做了很大的改进。

　　第一代系统DistBeliet在可扩缩性上表现很好，但在用于研究时灵活性达不到预期。对问题空间的更深理解让本港台直播们可以做出一些大幅度的简化。

　　这也是第二代系统的研发动机，用 TensorFlow 表达高层次的机器学习计算。它是C++语言编写的核心，冗余少。而不同的前端，现有Python和C++前端，添加其开奖直播语言的前端也不是难题。

　　计算可以用一张数据流图来理解。

　　本港台直播们输入数据、权重、误差以及标签，在不同节点进行不同的运算。

　　TensorFlow名字的意义

　　Tensor(张量)意味着N维数组。1维时就是向量，2维时就是矩阵;通过图像可以代表更高维的数据流，比如，图像可以用三维张量(行，列，颜色)来表示。

　　Flow(流)意味着基于数据流图的计算。有许多运算(图中的节点)应用在数据流上。

　　张量从图象的一端流动到另一端，这就是“TensorFlow”。“边”代表张量(数据)，节点代表运算处理。

　　这是使用张量计算的示意图。

　　这是使用状态计算的示意图。

　　这是使用分布式计算的示意图。

　　它能够在各个平台上自动运行模型：电话上，单个机器上(CPU或GPU)，由成百上千的GPU卡组成的的分布式系统。

　　总结

　　如果你还没想通过深度学习网络去解决你的数据问题，你还是要赶紧考虑。TensorFlow 让每个人更容易获取深度学习能力。

高度扩展的设计，更快的实验速度加速研究进程

容易分享模型，开发代码应用到可重用的效果

通过同一个系统把研究工作直接用于生产环境

　　最后说一些quora上大家给Jeff Dean大神编的段子，供君一乐