date: 2017/10/25

Week4 & Week 5


逻辑回归的局限

Sigmoid函数:

如果只有两个特征:

当特征的数量增加时,参数的个数会快速增长,复杂度为


神经网络的结构

神经元

ML-Andrew-3-1.jpg

其中橘黄色的圆表示一个神经元,蓝色的圆表示输入,为权重weights;

是偏置单元,一般省略不画出;


网络

ML-Andrew-3-2.png

表示第j-1层的相关神经元到第j层第i个神经元的输入加权和;

表示第j-1层相关神经元到第j层各神经元的输入加权和构成的行向量;

表示第j层第i个神经元的激励activation;

表示第j层各个神经元激励构成的行向量;

表示第k层的第i个神经元输出在第k+1层的第j个神经元的权重;

表示第k层到第k+1层的权重矩阵;

从左到右前向传播


ML-Andrew-3-3.png

,每一层输入都会引入一个偏置单元,且输出层上的神经元的激励即为


举例

实现AND逻辑的神经元

ML-Andrew-3-4.jpg

选择适当的权重,即可以实现一个AND逻辑的神经元


实现XNOR逻辑的神经网络

ML-Andrew-3-5.jpg

通过AND逻辑、(NOT) AND (NOT)逻辑、OR逻辑的神经元分层组合即可得到XNOR逻辑的神经网络


反向传播算法

论文:《Learning representation by back-propagating errors(1986)

成本函数Cost function


操作过程

  1. for i = 1 to m
    1. 前向传播,利用递推计算

    2. 已知,可以计算得到输出层各输出神经元的的误差
    3. 反向传播,利用递推计算

      可以推导得到——(推导过程略)

      不需要计算,因为第一层是输入层,没有误差
    4. 分别更新

      可以写成——
  1. 计算

  2. 可以证明——(证明过程略)
  3. 最后应用梯度下降算法即可求得$\Theta$


梯度检验


实际应用

随机初始化


标记的表示方式

不能简单地用 来表示标记;

而应使用一个  的列向量来表示,其中只有一项为1,其余为0,如


神经元数量