N(μ, ??)(这里 μ 和 ?? 都是带参数的网络,通过学习得到)。当采样的 x 通过 Q 后就可以得到z。但是由于这一步是随机过程,atv,backpropagation就会中断。这个时候我们就可以利用 N(μ, ??) = N(0, I) ? ?? + μ 将随机过程转移到输入端。先从标准正态分布采样 z0,此时网络 Q 并不直接输出z,而是输出两个参数μ 和 ??,之后在通过 z=z0 ? ?? + μ 得到z。由于中间节点变成了常规运算,因此backpropagation可以正常传回输入端。 作者介绍 赵越,本科SJTU,现在NCSU phd,研究领域编译器,程序语言。此外对深度学习感兴趣。 联系方式: [email protected] 关于PaperWeekly PaperWeekly是一个分享知识和交流学问的学术组织,关注的领域是NLP的各个方向。如果你也经常读paper,也喜欢分享知识,也喜欢和大家一起讨论和学习的话,请速速来加入我们吧。 微信公众号:PaperWeekly 微博账号:PaperWeekly() 微信交流群:微信+ zhangjun168305(请备注:加群交流或参与写paper note) (责任编辑:本港台直播) |