为了验证标签没有显着变化,我们在合成和精细图像上手动绘制椭圆,并计算其中心之间的差异。在图9中,我们显示了50个这样的中心差异的散点图。合成和相应精致图像的估计瞳孔中心之间的绝对差异非常小:1.1 +/- 0.8px(眼宽= 55px)。 图9.合成图像和实际图像的瞳孔中心之间的距离的散点图。 如何设置超参数?提示与技巧。 G的初始化 首先,我们用自正则化损失初始化G,以便它可以开始生成模拟版本的合成输入。通常,G(没有训练D)需要500-2,000步。 首先,我们用自正则化损失初始化G,以便它可以开始生成模拟版本的合成输入。通常情况下,atv,G需要五百到两千步(没有训练D)。 每个训练迭代G和D的不同步骤 我们在每个训练迭代中使用了不同数量的步进生成器和鉴别器。对于具有深度的手势估计,我们对于每个D步骤使用G的两个步骤,并且对于眼睛注视估计实验,我们最终对于每个D步骤使用50个步骤G。我们发现鉴别器与生成器相比更快地收敛,部分是因为鉴别器中的批量规范。所以我们将#D步骤修改为1,并从小数字开始变化#G步骤,根据鉴别器丢失值缓慢增加。 我们在每个训练迭代中使用了不同数量的步进生成器和鉴别器。对于具有深度的手势估计,我们对于每个D步骤使用G的两个步骤,并且对于眼睛注视估计实验,我们最终对于每个D步骤使用五十个步骤G。我们发现鉴别器与生成器相比更快地收敛,部分是因为鉴别器中的批量规范。所以我们将#D步骤修改为1,并从小数字开始变化#G步骤,根据鉴别器丢失值缓慢增加。 学习率和停止标准 我们发现保持学习率非常小(?0.0001),训练很长时间是有帮助的。这种方法可能是因为它使发电机或鉴别器不会发生突然的转移,这会使另一个发生故障。我们发现难以通过可视化训练损失来停止训练。相反,我们保存训练图像作为训练进度,并且当精细图像看起来与真实图像视觉相似时,停止训练。 定性结果 为了评估精细图像的视觉质量,我们设计了一个简单的用户研究,其中被摄体被要求将图像分类为真实或精细的合成。受试者发现真正和精致的图像之间很难区别。在我们的总体分析中,10个受试者在1000次试验中选择了正确的标签517次,这意味着它们不能可靠地区分真实图像和精制合成图像。相比之下,当对原始合成图像与真实图像进行测试时,我们显示每个受试者10个实际和10个合成图像,受试者在200次试验中正确选择了162次。在图10中,我们展示了一些合成和对应的精细图像。 图10 使用上述的方法实际生成精细的眼睛图像。 定量结果 图11显示了使用精细数据的改进,与使用原始合成数据的训练相比。 从图中可以看出两点:(1)使用精细图像进行训练优于使用原始合成图像的训练,(2)使用更多的合成数据可进一步提高性能。在图12中,我们将目光估计误差与其他最先进的方法进行比较,并且表明改进真实感有助于模型推广实际测试数据。 图11 使用合成和精细图像进行注视估计的训练比较。对实际测试图像进行评估。 (责任编辑:本港台直播) |