date: 2017/10/17

Week3


过拟合

过拟合是指学习器千方百计地逼近训练集导致不能很好的进行泛化

如下两图,分别是回归问题和分类问题的欠拟合、恰好拟合、过拟合的几种表现——

ML-Andrew-1-6.png

ML-Andrew-1-7.png

解决方法:

  1. 减少特征数量
  1. 正则化
    保留特征,但减小参数


正则化

成本函数

引入正则化项的目的是平衡“拟合训练目标”和“保持参数较小”两个目标

很大时,


牛顿法


正规方程法


优点