但是，必须确保设备的正确配置。如果两个 worker 在不同的设备上分配变量，则不会发生合并。对此，TensorFlow 提供了 replica_device_setter 函数。只要每个 worker 以相同的顺序创建计算图，replica_device_setter 为变量分配提供了确定的方法，确保变量在同一设备上。这将在下面的代码中演示。

由于图间复制在很大程度上重复了原始图，因此多数相关的修改实际上都在集群中节点的配置上。因此，下面的代码段将只针对这一点进行改动。重要的是要注意，这个脚本通常会在集群中的每台机器上执行，但具体的命令行参数不同。下面来逐行研究代码。

import sysimport tensorflow as tf

# specify the cluster's architecture

cluster = tf.train.ClusterSpec({'ps': ['192.168.1.1:1111'],'worker': ['192.168.1.2:1111','192.168.1.3:1111']})# parse command-line to specify machine

job_type = sys.argv[1] # job type: "worker" or "ps"

task_idx = sys.argv[2] # index job in the worker or ps list# as defined in the ClusterSpec# create TensorFlow Server. This is how the machines communicate.

server = tf.train.Server(cluster, job_name=job_type, task_index=task_idx)# parameter server is updated by remote clients.# will not proceed beyond this if statement.if job_type == 'ps':

server.join()else:# workers onlywith tf.device(tf.train.replica_device_setter(

worker_device='/job:worker/task:'+task_idx,

cluster=cluster)):# build your model here as if you only were using a single machinewith tf.Session(server.target):# train your model here

运行分布式 TensorFlow 的第一步是使用 tf.train.ClusterSpec 来指定集群的架构。节点通常分为两个角色（或「job」）：含有变量的参数服务器（「ps」）和执行大量计算的「worker」。下面提供每个节点的 IP 地址和端口。接下来，脚本必须确定其 job 类型和在网络中的索引；这通常是通过将命令行参数传递给脚本并解析来实现的。job_type 指定节点是运行 ps 还是 worker 任务，而 task_idx 指定节点在 ps 或 worker 列表中的索引。使用以上变量创建 TensorFlow 服务器，用于连接各设备。

接下来，如果节点是参数服务器，它只连接它们的线程并等待它们终止。虽然似乎没有特定的 ps 代码，但图元素实际上是由 worker 推送到 ps 的。

相反，如果设备是 worker，则使用 replica_device_setter 构建我们的模型，以便在前面讨论的这些 ps 服务器上连续分配参数。这些副本将在很大程度上与单机的流程图相同。最后，我们创建一个 tf.Session 并训练我们的模型。

总结

希望本文清楚地阐述了与分布式 TensorFlow 相关的一些术语和技术。在以后的文章中，我们将详细探讨与此相关及其它的主题。

原文链接：https://clindatsci.com/blog/2017/5/31/distributed-tensorflow

本文为机器之心编译，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]