自從發現馬爾科夫鏈之後，馬爾可夫便開始進行深度挖掘。
一個係統的某些因素在轉移中，第n次結果隻受第n-1的結果影響，隻與當前所處狀態有關，與其他無關。在馬爾科夫分析中，引入狀態轉移這個概念。所謂狀態是指客觀事物可能出現或存在的狀態；狀態轉移是指客觀事物由一種狀態轉移到另一種狀態的概率。
馬爾可夫認為自己可以對一個係統進行預測，自己可以當一個完美的算命先生。
就是使用馬爾可夫轉移矩陣法。
假定某大學有1萬學生，每人每月用1支牙膏，並且隻使用“中華”牙膏與“黑妹”牙膏兩者之一。根據本月（12月）調查，有3000人使用a牙膏，7000人使用b牙膏。又據調查，使用a牙膏的3000人中，有60％的人下月將繼續使用a牙膏，40％的人將改用b牙膏；使用b牙膏的7000人中，有70％的人下月將繼續使用b牙膏，30％的人將改用a牙膏。
現用\\擬用 a牙膏 b牙膏
a牙膏 60％ 40％
b牙膏 30％ 70％
根據這個表，馬爾可夫用矩陣表示。
b=[ 60% 40%]
[ 30% 70%]
稱為轉移概率矩陣。可以看出，轉移概率矩陣的一個特點是其各行元素之和為1。在本例中，其經濟意義是：現在使用某種牙膏的人中，將來使用各種品牌牙膏的人數百分比之和為1。
有了轉移矩陣，可以預測下一個月（1月）的使用各種牙膏的人數。
（3000 ，7000）[ 60% 40%]=（3900，6100）
[ 30% 70%]
如果轉移概率矩陣不變，繼續可以預測2月份情況
（3900，6100）[ 60% 40%]=（4170，5830）
[ 30% 70%]
二月份使用牙膏數也知道了。
而且從中可以看出其中2個月的變化，就是這個矩陣的二次方。
辛欽對馬爾可夫說：“你發現的第n次結果隻受第n-1的結果影響，隻與當前所處狀態有關，與其他無關。這個會有很大作用嗎？感覺n-1以前的全部作廢了？”
馬爾可夫說：“你的腦子還是沒轉過來吧。n-1與n-2有關聯，n-2與n-3有關聯啊！”
辛欽說：“我們不是要研究n的狀態嗎？前麵的我們還要管他幹嘛？”
馬爾可夫說：“很多係統，在時間演變過程中，我們隻是取到其中幾個時間點的一些碎片。我們要把整個係統的演化過程推演出來，之後分成很多段時間點，把從上到下的每個轉移矩陣推敲出來，然後對係統前後的變化進行推敲。”
辛欽搖搖頭說：“概率轉移矩陣又不是恆定的？你這樣做的意義？”
馬爾可夫說：“不一樣，所以可以把每個狀態的概率矩陣都寫出來，然後觀察其中的變化。”
辛欽說：“試圖尋找穩定的，或者即使是不穩定的，也是可預測的那種？”
辛欽說：“是的。”
後來結合蒙特卡洛，馬爾科夫又發現了馬爾可夫鏈蒙特卡洛方法(markov chain monte carlo)，簡稱mcmc，產生於19世紀50年代早期，是在貝葉斯理論框架下，通過計算機進行模擬的蒙特卡洛方法(monte carlo)。該方法將馬爾科夫(markov)過程引入到monte carlo模擬中，實現抽樣分布隨模擬的進行而改變的動態模擬，彌補了傳統的蒙特卡羅積分隻能靜態模擬的缺陷。mcmc是一種簡單有效的計算方法，在很多領域到廣泛的應用，如統計物、貝葉斯(bayes)問題、計算機問題等。
一個係統的某些因素在轉移中，第n次結果隻受第n-1的結果影響，隻與當前所處狀態有關，與其他無關。在馬爾科夫分析中，引入狀態轉移這個概念。所謂狀態是指客觀事物可能出現或存在的狀態；狀態轉移是指客觀事物由一種狀態轉移到另一種狀態的概率。
馬爾可夫認為自己可以對一個係統進行預測，自己可以當一個完美的算命先生。
就是使用馬爾可夫轉移矩陣法。
假定某大學有1萬學生，每人每月用1支牙膏，並且隻使用“中華”牙膏與“黑妹”牙膏兩者之一。根據本月（12月）調查，有3000人使用a牙膏，7000人使用b牙膏。又據調查，使用a牙膏的3000人中，有60％的人下月將繼續使用a牙膏，40％的人將改用b牙膏；使用b牙膏的7000人中，有70％的人下月將繼續使用b牙膏，30％的人將改用a牙膏。
現用\\擬用 a牙膏 b牙膏
a牙膏 60％ 40％
b牙膏 30％ 70％
根據這個表，馬爾可夫用矩陣表示。
b=[ 60% 40%]
[ 30% 70%]
稱為轉移概率矩陣。可以看出，轉移概率矩陣的一個特點是其各行元素之和為1。在本例中，其經濟意義是：現在使用某種牙膏的人中，將來使用各種品牌牙膏的人數百分比之和為1。
有了轉移矩陣，可以預測下一個月（1月）的使用各種牙膏的人數。
（3000 ，7000）[ 60% 40%]=（3900，6100）
[ 30% 70%]
如果轉移概率矩陣不變，繼續可以預測2月份情況
（3900，6100）[ 60% 40%]=（4170，5830）
[ 30% 70%]
二月份使用牙膏數也知道了。
而且從中可以看出其中2個月的變化，就是這個矩陣的二次方。
辛欽對馬爾可夫說：“你發現的第n次結果隻受第n-1的結果影響，隻與當前所處狀態有關，與其他無關。這個會有很大作用嗎？感覺n-1以前的全部作廢了？”
馬爾可夫說：“你的腦子還是沒轉過來吧。n-1與n-2有關聯，n-2與n-3有關聯啊！”
辛欽說：“我們不是要研究n的狀態嗎？前麵的我們還要管他幹嘛？”
馬爾可夫說：“很多係統，在時間演變過程中，我們隻是取到其中幾個時間點的一些碎片。我們要把整個係統的演化過程推演出來，之後分成很多段時間點，把從上到下的每個轉移矩陣推敲出來，然後對係統前後的變化進行推敲。”
辛欽搖搖頭說：“概率轉移矩陣又不是恆定的？你這樣做的意義？”
馬爾可夫說：“不一樣，所以可以把每個狀態的概率矩陣都寫出來，然後觀察其中的變化。”
辛欽說：“試圖尋找穩定的，或者即使是不穩定的，也是可預測的那種？”
辛欽說：“是的。”
後來結合蒙特卡洛，馬爾科夫又發現了馬爾可夫鏈蒙特卡洛方法(markov chain monte carlo)，簡稱mcmc，產生於19世紀50年代早期，是在貝葉斯理論框架下，通過計算機進行模擬的蒙特卡洛方法(monte carlo)。該方法將馬爾科夫(markov)過程引入到monte carlo模擬中，實現抽樣分布隨模擬的進行而改變的動態模擬，彌補了傳統的蒙特卡羅積分隻能靜態模擬的缺陷。mcmc是一種簡單有效的計算方法，在很多領域到廣泛的應用，如統計物、貝葉斯(bayes)問題、計算機問題等。