本书讲述了马尔可夫链模型在排队系统、网页重要性排名、制造系统、再制造系统、库存系统以及金融风险管理等方面的最新应用进展.全书共安排8章内容，第1章介绍马尔可夫链、隐马尔可夫模型和马尔可夫决策过程的基本理论和方法，其余7章分别介绍马尔可夫链模型在不同领域中的应用. 本书可作为自动化、工业工程、统计学、应用数学以及管理学等专业高年级本科生或研究生的专业课教材，也可作为相关领域的研究人员及工程技术人员的参考书.

陈曦，清华大学自动化系，副研究员。香港中文大学哲学博士(系统工程专业,2000).新加坡南阳理工大学、香港中文大学博士后。长期从事随机控制与优化，无线传感器网络的研究。在本领域著名国际期刊发表学术论文多篇。2009年获国家自然科学二等奖（“离散事件动态系统的理论与方法”，第三完成人）。应邀担任多个国际著名期刊及会议的评审人。翻译出版教材《随机学习与优化—基于灵敏度的方法》（国际知名教材中译本系列，清华大学出版社/Springer）。编著《系统与控制中的随机方法》（清华大学出版社，2013）�

前言 本书旨在概述近年来马尔可夫模型的进展及其在排队系统、制造系统、再制造系统、库存系统、网页重要性排名以及金融风险管理中的应用. 本书共有8章. 第1章简介离散和连续时间马尔可夫链的经典理论，突出了有限状态的马尔可夫链与矩阵理论之间的关系，介绍了一些可用于求马尔可夫链平稳分布的解线性系统的经典迭代方法，然后给出隐马尔可夫模型和马尔可夫决策过程的基础理论和算法. 第2章讨论如何用连续时间马尔可夫链对排队系统建模，以及如何利用离散时间马尔可夫链计算在互联网中代表网址重要性的网页排名.第3章研究制造和再制造系统的马尔可夫模型,介绍了被捕获到的系统的闭式解和求解此系统的快速数值算法.第4章提出了一个简单的隐马尔可夫模型以及估计模型参数的快速数值算法，然后介绍隐马尔可夫模型在客户分类中的应用. 客户终身价值是营销管理中的一个重要的概念和数量.第5章讨论客户终身价值的马尔可夫决策过程，提出了一种基于马尔可夫决策过程，采用真实数据计算客户终身价值的方法. 第6章考虑高阶马尔可夫链模型，特别讨论了一类简化的高阶马尔可夫链模型，介绍了基于线性规划的模型参数的高效估计方法，以及当前有关需求预测、库存控制和金融风险度量等方面的应用研究成果.第7章介绍了一类简化的多元马尔可夫模型，并再次提出基于线性规划的高效估计方法，讨论了这类模型在需求预测、库存控制和信用分级数据建模中的应用.第8章重新回到隐马尔可夫模型，提出一类新的隐马尔可夫模型及其模型参数估计的高效算法，讨论此模型在利率、信用分级和违约数据建模中的应用. 作者感谢Operational Research Society,Oxfo...