浅谈马尔可夫预测方法

浅谈马尔可夫预测

文章目录

    • 浅谈马尔可夫预测
  • 前言
  • 一、马尔可夫链的定义
    • 1.2 定义1:
      • 马氏链的两个重要类型
        • 1.2.1 正则链
        • 1.2.2 吸收链
    • 1.3 定义2:
  • 二、转移概率矩阵
    • 2.1 定义3:
    • 2.2 例子1
  • 三、转移矩阵的极限分布
    • 3.1 定理1(柯尔莫哥洛夫—开普曼定理)
    • 3.2 定理2
    • 3.3 例子2
    • 3.4 定义4
      • 思考:
    • 3.5 定理3
    • 3.6 定理4
    • 3.7 例子3


前言

某一系统在已知现在情况的条件下,系统未来时刻的情况只与现在有关,而与过去的历史无直接关系,描述这类随机现象的数学模型称为马尔可夫模型,简称马氏模型


一、马尔可夫链的定义

1.2 定义1:

n,n=1,2,…}是一个随机序列,状态空间E为有限或可列集,对于任意的正整数m,n,
若i,j,ik∈E(k=1 , … , n-1),有
P{ξn+m=j | ξn=i,ξn-1=in-1,…,ξ1=i1}=P{ξn+m=j | ξn= i } (1)
则称{ξn,n=1,2,…}是一个马尔科夫链(简称马氏链), (1)式称为马氏性

(对于(1)式的理解:我们可以先假设m=1,我们可以把它当成某种关于天数问题看,假设第一天是某种状态,第二天是某种状态,第n天是某种状态,这个时候我们要求第n+1天是某种状态的概率,我们就用P{ξn+m=j | ξn=i,ξn-1=in-1,…,ξ1=i1}来表达。
而P{ξn+m=j | ξn=i} 是只知道第n天的状态,要求第n+1天的状态。
对马尔可夫来说,它是具有后无效性的,也就是说从第1天只要我到了第2天,那么第1天到第2天一天里面所有的情况,所有的状态都跟未来没有任何关系,我未来只跟第N天有关。当然我们可以利用这个数学归纳法,当m=1的时候成立,我们可以从m=1来推,如果m=1成立,那m=2也应该成立,所以我们就可以用数学归纳法推导,对于任意的正整数m这个事情都成立。)

马氏链的两个重要类型

1.2.1 正则链

从任一状态出发经有限次转移能以正概率到达另外任一状态。
正则链 ⇔ ∃N,PN>0
正则链 ⇔ ∃w,a(n)→w(n→∞) w→稳态概率
(1)w满足wP=w
例:
在这里插入图片描述
(2)w满足
在这里插入图片描述
则w1+w2=1
得w=(7/9,2/9)

1.2.2 吸收链

存在吸收状态(一旦到达就不会离开的状态 i ,pij=1),且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态。

1.3 定义2:

设{ξn,n=1,2,…}是一个马尔可夫链。如果(1)等式右边的条件概率与n无关,即
P{ξn+m=j | ξn= i }=pij(m) (2)
则称{ξn,n=1,2,…}为时齐的马尔可夫链。
称pij(m)为系统由状态 i 经过m个时间间隔(或m步)转移到状态 j 的转移概率。
(2)式称为时齐性,它的含义是系统由状态 i 经过到状态 j 的转移概率只依赖于时间间隔的长短与起始的时刻无关

二、转移概率矩阵

2.1 定义3:

对于一个马尔可夫链{ξn,n=1,2,…},称以m步转移概率pij(m)为元素的矩阵P(m)=(pij(m))为马尔可夫链的m步转移矩阵。当m=1时,记P(1)=P称为马尔可夫链的一步转移矩阵,或简称转移矩阵
它们具有下列三个基本性质:
(1)对一切 i ,j ∈E,0<=pij(m)<=1
(2)对一切 i ,j∈E,
在这里插入图片描述
(概率的基本性质)

(3)对一切 i ,j∈E,
在这里插入图片描述

当实际问题可以用马尔可夫链来描述时,首先要确定它的空间状态参数集合,然后确定它的一步转移概率。
关于这一概率的确定,可以由问题的内在规律得到,也可以由过去经验给出,还可以根据观测数据来估计。

2.2 例子1

设一随机系统的状态空间E={1,2,3,4},记录观测系统所处状态如下:
43214311232123443311
13321222442323112431

若该系统可用马氏链模型描述,估计转移概率pij
解:首先将不同类型的转移数nij统计出来分类记入下表
浅谈马尔可夫预测方法_第1张图片
行和nj系统从状态 i 转移到其他状态的次数,nij由状态 i 到状态 j 的转移次数
pij的估计值pij=nij/ni
计算得:
浅谈马尔可夫预测方法_第2张图片

三、转移矩阵的极限分布

3.1 定理1(柯尔莫哥洛夫—开普曼定理)

设{ξn,n=1,2,…}是一个马尔可夫链,其状态空间E={1,2,…},则对任意正整数m,n,有
在这里插入图片描述

3.2 定理2

设P是一步马尔可夫链转移矩阵(P的行向量是概率向量),P(0)是初始分布行向量,
则第n步的概率分布为
P(n)=P(0)Pn

3.3 例子2

若顾客的购买是无记忆的,即已知现在顾客购买情况,未来顾客的购买情况不受过去的购买历史的影响,而只与现在购买情况有关。
现在市场上供应A,B,C三个不同厂家生产的50g袋装味精。若已知第一次顾客购买三个厂味精的概率依次为0.2,0.4,0.4。
还已知一般顾客的购买倾向(由表给出)
在这里插入图片描述

求顾客第四次购买各家味精的概率?

解:第一次购买的概率分布为
P(1)=[0.2,0.4,0.4]
一步状态转移矩阵为:
在这里插入图片描述
则顾客第四次购买各家味精的概率为
P(4)=P(1)P3=[0.7004,0.136,0.1636]

3.4 定义4

一个马尔可夫链的转移矩阵P是正则的,当且仅当存在正整数k,使Pk的每一元素都是正数
(所有矩阵经过初等行变换以后都能变成分块矩阵,其中一块是一个 I 矩阵(单位矩阵),其他是0的分块矩阵,这样的分块矩阵叫做正则矩阵,且该矩阵是正方矩阵,且它的逆矩阵也是存在的。)

思考:

当n增大,Pn是否会趋于某一固定矩阵?

当n->+∞时,且转移矩阵P为
在这里插入图片描述
则有
在这里插入图片描述
若取u=[7/12 , 5/12],则uP=u
uT为矩阵PT的对应于特征值 λ =1的特征(概率)向量
u也称为P的不动点向量。

3.5 定理3

若P是一个马尔可夫链的正则矩阵,则:
(1)P有唯一的不动点向量W,W的每个分量为正。
(2)P的n次幂Pn(n为正整数)随着n的增加趋于矩阵 ̅W , ̅W 的每一个向量均等于不动点向量W。
一般地,设时齐马尔可夫链的状态空间为E,如果对于所有 i,j∈E,转移概率Pij(n)存在极限
在这里插入图片描述
则称此链具有遍历性。

3.6 定理4

设时齐马尔可夫链{ξn,n=1,2,…}的状态空间为E={a1, … , aN},P=(pij)是它的一步转移概率矩阵,
如果存在正整数m,使对任意的ai,aj∈E,都有
pij(m)>0,i,j=1,2,…,N
则此链具有遍历性,且有极限分布π=[π1, … ,πN],它是方程组
π=πP

在这里插入图片描述
j=1,…,N
的满足条件:
在这里插入图片描述
的唯一解。

3.7 例子3

根据例子2中给出的一般顾客购买三种味精倾向的转移矩阵,预测经过长期的多次购买之后,顾客的购买倾向如何?
解:这个马尔科夫链的转移矩阵满足定理4的条件,可以求出其极限概率分布。
为此,解下列方程:
浅谈马尔可夫预测方法_第3张图片
求得p1=5/7,p2=11/84,p3=13/84。
这说明。无论第一次顾客购买的情况如何,
经过长期多次购买以后,A厂产的味精占市场的5/7,B,C两厂产品分别占有市场的11/84,13/84。

你可能感兴趣的