机器学习(一)

图片来自吴恩达机器学习课程。
什么是机器学习?
机器程序从经验E中学习解决某一任务T进行某一性能度量P,通过P测定在T上的表现因经验而提高。

有监督学习和无监督学习

监督学习
给算法一个数据集,里面包含正确答案(即有标签的数据),算法的目的是给出更多的正确答案。
例1:房价预测,已有的数据集(Size,Price),对不同面积房子价格进行预测,数据为连续的(回归问题)。

例2:肿瘤检测,已有数据集(Tumor Size,Malignant(1/0)),此为分类问题,即输出的结果为离散值如例中的0或者1也可以为2中以上的离散值。

无监督学习
无监督学习中的数据集没有标签,即没有告知明确的答案,而是通过聚类的方法来对数据集进行分类。
例:谷歌新闻将具有相同话题的新闻整合到一个模块中。过程是在网络中搜寻很多新闻然后用聚类算法进行分类整合。

无监督学习还可以用来对社交网络进行分析,对你常联系的人进行记录或者你的好友进行识别,来判断哪些人可能相互认识。还可以对市场中的客户信息进行分割,将客户分到不同的市场中。

鸡尾酒问题
两个麦克风都收到两个人的声音,将混合的不同声音进行分离。

线性回归

单一变量的线性回归
机器学习(一)_第1张图片
H(x)为单一变量线性回归的假设函数。θ为模型参数。 线性回归要做的是找到最合适的θ来对数据集进行拟合找到最合适的假设函数,引入代价函数J(θ)来表示拟合的程度。
机器学习(一)_第2张图片
J(θ_0,θ_1)为代价函数,线性回归目的是找到θ使代价函数最小,即预测值和实际值的平方差最小,从而达到较好的数据拟合。

梯度下降
用来最小化函数。
步骤:给出θ的初始值然后不断地改变θ,同时J(θ)发生改变,直到代价函数到达最优值或者局部最优值。
机器学习(一)_第3张图片
梯度下降算法,同步更新所有θ直到收敛。α表示学习速度,如果太大可能会反复的越过最低点,如果太小则收敛速度很慢。
机器学习(一)_第4张图片
线性回归的梯度下降
机器学习(一)_第5张图片
将代价函数带入导数项中,得到线性回归中θ的更新算法:
机器学习(一)_第6张图片
Batch梯度下降算法:每步都用到所有的训练样本。
多元线性回归
机器学习(一)_第7张图片
机器学习(一)_第8张图片
多元线性回归中的假设函数和代价函数以及θ更新方法。

特征缩放:使所有的特征在相近的取值范围内可以使梯度下降算法更快的收敛。
机器学习(一)_第9张图片
归一化公式,减去平均值后除以取值范围(MAX-MIN)。
正规方程
机器学习(一)_第10张图片
特征加入x0=1的一列 X为特征矩阵 y为结果向量,通过计算得到θ的算法。

梯度下降和正规方程比较:
机器学习(一)_第11张图片
当X^TX不可逆时可能是包含了多余的特征或者特征太多。
多余的特征即两个或以上的特征有相同的性质,如平方英尺和平方米,总满足线性关系。
特征太多是特征在数量上太多。

你可能感兴趣的