相关语录

监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P（X,Y）

正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大

在线学习可以是监督学习，也可以是无监督学习，强化学习本身就拥有在线学习的特点。

信息增益（informationgain）表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。

分类问题、标注问题和回归问题。

本书介绍的核函数支持向量机，以及核PCA、核k均值属于核方法。

这是理论上模型f（X）关于联合分布P（X,Y）的平均意义下的损失，称为风险函数（riskfunction）或期望损失（expectedloss）。

参数向量θ取值于n维欧氏空间Rn，称为参数空间（parameterspace）。

隐马尔可夫模型（hiddenMarkovmodel，HMM）是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型

判别方法由数据直接学习决策函数f（X）或者条件概率分布P（Y|X）作为预测的模型，即判别模型。