Sürekli Zaman Markov Karar Süreçlerinin Özgüleştirilmesi

Abstract

Özgüleştirme tekniğinin amacı, bir üstel yarı-Markov karar sürecini (ÜYMKS) kendine özdeş, ama farklı formülasyona sahip bir başka ÜYMKS’ye dönüştürmektir. Bu sayede, özellikle optimal politikaların yapısal özelliklerini daha kolay bir şekilde ispatlamak mümkündür. Özgüleştirme tekniğinin literatürdeki mevcut hali, beklenen toplam indirgenmiş maliyeti en küçüklemeye çalışan ÜYMKS’lere uygulanmaktadır. Bu makale, ÜYMKS’ler için önerilmiş olan özgüleştirme tekniğinin sürekli zaman Markovkarar süreçlerine (SZMKS) nasıl uygulanabileceğini, sınırlı maliyet fonksiyonu ve üstten sınırlı geçiş hızları varsayımları altında, göstermeyi hedeflemektedir. Bu amaçla, verilen SZMKS, öncelikle bir ÜYMKS’ye dönüştürülmüştür ve daha sonra bu yeni ÜYMKS özgüleştirilmiştir.The customization technique can convert a given exponential semi-Markov decision process (ESMDP) into another equivalent ESMDP whose formulation makes the proof of a specific structural property of the optimal policy easier. The customization technique is first proposed for ESMDPs with the expected total discounted cost criterion. This paper aims to show how the customization technique for ESMDPs can be applied to continuous-time Markov decision processes (CTMDPs) under the assumptions of bounded cost function and bounded-above transition rates. This is achieved by converting the initial CTMDP into an ESMDP which is customized later.