机器学习基石 作业0

机器学习基石 作业0

    • 1 Probability and Statistics
    • 2 Linear Algebra
    • 3 Caculus

网上没找到作业0的答案,这是自己做的版本,有一些可能会有错误,欢迎讨论。

1 Probability and Statistics

在这里插入图片描述
用数学归纳法。N=1时满足,假定N=n满足,当N=n+1同样满足。得证。

在这里插入图片描述
10个挑4个正面 C 10 4 ( 1 / 2 ) 4 ( 1 / 2 ) 6 C_{10}^{4}(1/2)^{4}(1/2)^{6} C104(1/2)4(1/2)6
52张牌挑5个。先从13个里挑2个数字,这两种做X和Y时不相同,再计算2种数字的组合方式。 A 13 2 C 4 3 C 4 2 C 52 5 \dfrac{A_{13}^{2}C_{4}^{3}C_{4}^{2}}{C_{52}^{5}} C525A132C43C42

在这里插入图片描述
假设已知第一次正面,那么三次都是正面的概率是1/4。而提供的是有一个已知正面,那么三次里每一次都有可能。即 3 ∗ 1 / 3 ∗ 1 / 4 = 1 / 4 3*1/3*1/4 = 1/4 31/31/4=1/4

以上为错误答案。正确答案为P(三个硬币正面向上|有一个正面向上) = P(三个正面向上&&有一面正面向上)/P(有一个正面向上) = 1/7
在这里插入图片描述
p ( x = − 1 ∣ ∣ x ∣ = 1 ) = p ( x = − 1 ) p ( ∣ x ∣ = 1 ) = 1 / 2 ∗ 1 / 4 1 / 2 ∗ 1 / 4 + 1 / 2 ∗ 1 / 8 = 2 / 3 p(x=-1| |x|=1) = \dfrac{p(x=-1)}{p(|x|=1)} = \dfrac{1/2*1/4}{1/2*1/4+1/2*1/8} = 2/3 p(x=1x=1)=p(x=1)p(x=1)=1/21/4+1/21/81/21/4=2/3
机器学习基石 作业0_第1张图片
0.3 0 0.7 0.4

2 Linear Algebra

在这里插入图片描述
秩为2
在这里插入图片描述
( 1 / 8 − 5 / 8 3 / 4 − 1 / 4 1 / 4 − 1 / 2 3 / 8 − 3 / 8 1 / 4 ) \begin{pmatrix} 1/8 & -5/8 & 3/4 \\ -1/4 & 1/4 & -1/2 \\ 3/8 & -3/8 & 1/4 \end{pmatrix} 1/81/43/85/81/43/83/41/21/4
在这里插入图片描述
λ 1 = 4         λ 2 = λ 3 = 2 \lambda_{1} = 4 \ \ \ \ \ \ \ \lambda_{2}=\lambda_{3}=2 λ1=4       λ2=λ3=2
对应特征向量 v 1 = [ 1   2   − 1 ]    v 2 = v 3 = [ 1   1   − 2 ] v_{1}= [1\ 2 \ -1] \ \ v_{2}=v_{3} = [1 \ 1 \ -2] v1=[1 2 1]  v2=v3=[1 1 2] v 2 v_{2} v2 v 3 v_{3} v3只要满足元素和为0即可,也不用相等
机器学习基石 作业0_第2张图片
(a) svd分解中 U U U V V V都是正交矩阵,直接乘即可。
(b)两个矩阵相乘得单位阵
机器学习基石 作业0_第3张图片
(a) x T Z Z T x x^{T}ZZ^{T}x xTZZTx = ( Z T x ) ∗ Z T x (Z^{T}x)*{Z^{T}x} (ZTx)ZTx 结果的每个元素都非负,得证
(b)对称矩阵可以用标准正交阵进行分解,在特征值都为正时结果的每个元素为正。

在这里插入图片描述
x T x ∣ x ∣ \dfrac{x^{T}x}{|x|} xxTx x ∣ x ∣ \dfrac{x}{|x|} xx
− x T x ∣ x ∣ \dfrac{-x^{T}x}{|x|} xxTx − x ∣ x ∣ \dfrac{-x}{|x|} xx
0 当u与x垂直时

3 Caculus


普通求导
在这里插入图片描述
链式法则普通求导
在这里插入图片描述
普通求梯度和黑塞矩阵
在这里插入图片描述
二元泰勒展开 https://zhuanlan.zhihu.com/p/33316479
可以用上(3)中的梯度和黑塞矩阵的结果
在这里插入图片描述
求导为0的地方是最小值。因为只有一个矩阵为0的位置,而正无穷与负无穷两头对应的结果都是无穷大且值一直大于0。
在这里插入图片描述
应该是按矩阵乘法里的每个分量进行求导然后写会矩阵形式。略难写。

你可能感兴趣的