本文考虑了连续时间马尔可夫决策过程中平均报酬的方差优化问题。 假设状态空间是可计数的，而动作空间是Borel可测量的空间。 本文的主要目的是在确定性平稳策略空间中找到方差最小的策略。 与传统的马尔可夫决策过程不同，方差准则中的成本函数将受到未来行动的影响。 为此，我们通过引入称为伪方差的概念将方差最小化问题转换为标准（MDP）。 通过给出伪方差优化问题的策略迭代算法，推导了原始方差优化问题的最优策略，并给出了方差最优策略的充分条件。 最后，我们用一个例子来说明本文的结论。

约束马尔可夫决策过程在5G网络切片中的自适应虚拟资源分配

第2课 马尔可夫决策过程

2009年写的matlab mdp源码，里面有全部的英文document介绍说明

神经网络解决马尔可夫决策问题思路，理解强化学习的先导

2009年写的matlab mdp源码，里面有全部的英文document介绍说明

研究含比例型手续费的离散时间投资组合优化问题. 基于马尔可夫决策过程模型和性能灵敏度分析方法, 推导两个不同投资策略之间的资产长期平均增值率的差分公式, 利用差分公式的结构特点, 证明了最优性方程, 并设计出可在线应用的策略迭代算法. 仿真实例验证了所提出算法的有效性.

无线物联网（WBAN）作为物联网（IOT）的重要组成部分以及设备到设备（D2D）通信的特殊情况，逐渐成为人们关注的焦点。 由于WBAN是一个以人体为中心的网络，因此传感器节点的能量受到严格限制，因为它们是由电量有限的电池供电的。 在每个数据收集中，仅安排一个传感器节点将其测量结果通过衰落信道直接传输到接入点（AP）。 我们提出了在公平性约束下动态选择哪个传感器应与AP通信以最大化网络寿命的问题，这是受约束的马尔可夫决策过程（CMDP）。 在动态规划中，通过Bellman方程获得最优寿命和最优策略。 所提出的算法定义了在不同程度的公平性约束下WBAN生命周期的限制性能。 针对获取全局信道状态信息（CSI）时实现开销较大的缺点，提出了采用局部CSI的分布式调度算法，节省了网络开销，简化了算法。 通过仿真证明，该调度算法可以在不同的信道条件下合理分配时隙，以平衡网络寿命和公平性。

清晰，可复制文字，学理论，写论文很有帮助！ 清晰，可复制文字，学理论，写论文很有帮助！ 清晰，可复制文字，学理论，写论文很有帮助！ 清晰，可复制文字，学理论，写论文很有帮助！ 清晰，可复制文字，学理论，写论文很有帮助！

实用马尔可夫决策过程 对于智能规划的学习有很大的帮助