date: 2017/09/05

线性回归

线性模型

将数据集(m组数据,d个属性)表示为:

寻找最优解(均方误差最小化):


广义线性模型

考虑单调可微函数,则是一个广义线性模型

是一个联系函数


对数几率回归

考虑二分类任务,可以采用单位阶跃函数来进行分类

但单位阶跃函数不连续,因此不能直接作为

通常采用对数几率函数(对率函数,一种Sigmoid函数)来代替——

image.png

代入广义线性模型

也即

其中是正例的相对与反例的可能性(y为正例可能性,(1-y)是反例的可能性),称为“几率”

则可以称为“对数几率”


对数几率回归的优点:


线性判别分析(LDA)