date: 2017/10/17

Week1 & Week2 & Week3


绪论


线性回归


LMS(Least Mean Squares)算法

寻找最优的参数,使成本J最小


梯度下降(gradient descent)算法

考虑单一参数,

代入、求偏导可得

其中,

表示第i个样本的第j个特征值

是学习速率,太小,算法收敛速度太慢;太大,则会出现振荡现象

为误差项


再考虑多个参数,有两种更新方式——

  1. 批梯度(batch gradient descent)下降

    有关,这里要求所有同时更新。换句话说,每次循环中参与计算的统一取上次循环中的值而不是取本次循环的更新值
    每次更新都需要扫描整个数据集
  2. 增量(incremental)梯度下降 或 随机(stochastic)梯度下降

    每次只用一个样本进行更新,虽然难以收敛到最优解(会在最优解附近振荡),但一般来说是足够近似的
    如今经常称为“随机梯度下降”的方法实际上指代的是批梯度下降 


ML-Andrew-1-2.png


正规方程算法


带权重的线性回归


逻辑回归

逻辑回归其实是讨论的是分类问题,而不是回归问题


sigmoid函数

《机器学习实战》逻辑回归 


代价函数

ML-Andrew-1-4.png


多分类问题

一个n分类问题可以转化为个二分类问题,

即(是A/不是A)、(是B/不是B)、……

计算出所有可能的预测概率,取最大者作为预测分类