详解径向基函数神经网络RBNN，它和多层感知器MLP有何区别

2017-08-20 11:35 来源:机器人圈

原标题：详解径向基函数神经网络RBNN，它和多层感知器MLP有何区别

原文来源：medium

作者：Ramraj Chandradevan

「机器人圈」编译：嗯~阿童木呀、多啦A亮

在单层感知器/多层感知器（MLP）中，我们只有线性可分性，因为它们是由输入和输出层（MLP中的一些隐藏层）组成的。

例如，AND和OR函数是线性分离的，而XOR函数则不是线性分离的。

AND，OR，XOR函数的线性分离性

•我们至少需要一个隐藏层来导出一个非线性分离性。

•那我们的RBNN所指代的是什么呢？它将输入信号转换成另一种形式，atv，然后将其馈送到网络中以获得线性可分离性。

•RBNN在结构上与感知器（MLP）相同。

MLP（多层感知器）和RBF（径向基函数）之间的区别

•RBNN由输入、隐藏和输出层组成。RBNN被严格限制为只能含有一个隐藏层。我们将这个隐藏层称为特征向量。

•RBNN增加了特征向量的维度。

RBNN架构的简略图

扩展图显示了具有隐藏函数的RBNN架构。

•在进行分类问题之前，我们将非线性传递函数应用于特征向量。

•当我们增加特征向量的维度时，特征向量的线性可分离性就会增加。

相较于在低维空间中，非线性可分离问题（模式分类问题）在高维空间中具有高度可分离性。

•什么是径向基函数？

我们定义一个接受器= t。

我们在接受器周围画出confrontal映射。

高斯函数通常用于径向基函数（confrontal映射）。因此我们定义径向距离r = || x-t ||。

具有confrontal映射的径向距离和径向基函数

高斯径向函数：ϕ(r) = exp (- r⊃2;/2σ⊃2;)，其中σ> 0。

分类仅在第二阶段发生，其中隐藏函数的线性组合被驱动到输出层

•例如，XOR函数：

我有4个输入，而我不会在此增加特征向量的维度。所以我将在此处选择2个接受器。对于每个变换函数φ（x），我们都将得到每个接受器t。

现在需要考虑的是RBNN架构：

P := # 输入特征 / 值

M = #变换后的向量维数（隐藏层宽度）. 因此通常 M ≥ P

隐藏层中的每个节点，执行一组非线性径向基函数。

输出值C将与分类问题保持相同（一定数量的类标签是预定义的）。

XOR RBNN架构

具有接受器和方差的变换函数

输出→变换函数的线性组合列表

•隐藏层中只有节点执行弧度基变换函数。

•输出层执行隐藏层的输出的线性组合，以在输出层给出最终的概率值。

•所以分类只@（隐层→输出层）中执行。

训练RBNN：

•首先，我们应该使用反向传播来训练隐藏层。

•神经网络训练（反向传播）是一种曲线拟合方法。它在训练阶段适合非线性曲线。它通过随机逼近法运行，我们称之为反向传播。

•对于隐层中的每个节点，我们必须找到t（接受器）和方差（σ）[方差——径向基函数的扩展系数spread。

•在第二个训练阶段，我们必须更新隐藏层和输出层之间的权重向量。

•在隐藏层中，每个节点表示每个变换基函数。任何一个函数都可以满足非线性的可分离性，甚至组合函数也可以满足非线性的可分离性。

•所以在我们的隐藏层转换中，包括了所有的非线性项。就像X⊃2;+Y⊃2;+ 5XY；它都包含在超曲面方程（X＆Y是输入）中。