线性代数笔记12:二次型与函数极值

这一节我们将看见,如何将数值函数用矩阵表示,并使用正定矩阵来指示函数的极值。

二次型

  1. 定义: n n 维实向量 x x n n 阶实对称矩阵 A A ,称以下数值函数为一个实二次型(quadratic form),为一个二次齐次多项式。

    f(x)=xTAx=i=1nj=1naijxixj f ( x ) = x T A x = ∑ i = 1 n ∑ j = 1 n a i j x i x j

  2. n n 维复向量 x x 以及 n n 阶复矩阵 A A A=A¯T(Hermitian) A = A ¯ T ( H e r m i t i a n ) ,则称 f(x)=x¯TAx f ( x ) = x ¯ T A x 为复二次型。

  3. n n 阶矩阵 D D 为对角阵,则称二次型为对角型的:

    f(x)=xTDx=i=1ndiix2i f ( x ) = x T D x = ∑ i = 1 n d i i x i 2

    任何二次型总可以经过坐标变换 x=Qy x = Q y 变为对角型的,这是因为对实对称矩阵 A A ,总存在正交阵 Q Q ,使得 QTAQ=Λ=diag(λ1,...,λn) Q T A Q = Λ = d i a g ( λ 1 , . . . , λ n )

    f(x)=xTQΛQTx=yTΛy=i=1nλiy2i ∴ f ( x ) = x T Q Λ Q T x = y T Λ y = ∑ i = 1 n λ i y i 2

二次型的分类

一个二次型 f(x)=xTAx f ( x ) = x T A x 是:

  • 正定的,若对所有 x0 x ≠ 0 ,有 f(x)>0 f ( x ) > 0 ;
  • 负定的,若对所有 x0 x ≠ 0 ,有 f(x)<0 f ( x ) < 0 ;
  • 不定的,若 f(x) f ( x ) 既有正值,也有负值;
  • 半正定的,若对所有 x0 x ≠ 0 ,有 f(x)0 f ( x ) ≥ 0 ;
  • 半负定的,若对所有 x0 x ≠ 0 ,有 f(x)0 f ( x ) ≤ 0 ;

性质及定理

  1. 主轴定理:

    A A 是一个 n n 阶实对称矩阵,则存在正交变换 x=Qy x = Q y ,使得二次型变为对角型的二次型:

    xTAx=yTΛy=λiy2i x T A x = y T Λ y = ∑ λ i y i 2

  2. 推论:

    A A n n 阶正定矩阵,则 xTAx=1 x T A x = 1 表示中心在原点,主轴沿着 A A 的特征值方向,半长轴相应为 1λ1,...1λn 1 λ 1 , . . . 1 λ n 的椭球面,其中 λ1,...λn λ 1 , . . . λ n A A 的特征值。

  3. A A n n 阶实对称矩阵,则二次型 f(x)=xTAx f ( x ) = x T A x 是:

    • 正定的 <=> A A 的所有特征值都是正数;
    • 负定的 <=> A A 的所有特征值都是负数;
    • 不定的 <=> A A 的特征值既有负数,也有正数;
  4. 矩阵的合同

    若两个矩阵 A,B A , B ,若存在 n n 阶可逆矩阵 C C ,使得:

    CTAC=B C T A C = B

    则称矩阵 A A B B 合同(congruent)

  5. 主轴定理可表述为:任何实对称矩阵正交合同与对角阵。

  6. 事实上,实对称矩阵不限于正交合同,其他代换(如LDU分解)也可合同与对角阵。

  7. 惯性定理:

    实对称矩阵 A A 与矩阵 CTAC C T A C 具有相同数目的正特征值,负特征值和零特征值。

在函数极值中的应用

  • 这里不给出证明,当我们使用一阶导为0求得稳定点之后,将函数转化为二次型,可根据二次型的性质判断是极小值还是极大值。

  • 二次型矩阵(Hessian矩阵):

    Hessianf(x0,y0)=2fx2(x0,y0)2fxy(x0,y0)2fxy(x0,y0)2fy2(x0,y0) H e s s i a n f ( x 0 , y 0 ) = ( ∂ 2 f ∂ x 2 ( x 0 , y 0 ) ∂ 2 f ∂ x ∂ y ( x 0 , y 0 ) ∂ 2 f ∂ x ∂ y ( x 0 , y 0 ) ∂ 2 f ∂ y 2 ( x 0 , y 0 ) )

  • 若二次型负定,则 f(x,y) f ( x , y ) (x0,y0) ( x 0 , y 0 ) 达到极大值。

  • 若二次型正定,则 f(x,y) f ( x , y ) (x0,y0) ( x 0 , y 0 ) 达到极小值。

  • 若二次型不定,则 f(x,y) f ( x , y ) (x0,y0) ( x 0 , y 0 ) 不是极值。

你可能感兴趣的