Аннотация:
Рассматривается непрерывное и импульсное управление марковской цепью (МЦ) с конечным множеством состояний в непрерывном времени. Непрерывное управление определяет интенсивность переходов между состояниями МЦ, при этом времена переходов и их направления случайны. Тем не менее иногда требуется обеспечить переход, который ведет к мгновенному изменению состояния МЦ. Поскольку такие переходы требуют различных воздействий и могут производить различное действие на состояние МЦ, такие управления можно трактовать как импульсные. В статье используется мартингальное представление управляемой МЦ и дается условие оптимальности, которое с использованием принципа динамического программирования приводится к форме квазивариационного неравенства. Решение этого неравенства может быть получено в форме уравнения динамического программирования, которое для МЦ с конечным множеством состояний сводится к системе обыкновенных дифференциальных уравнений с одной линией переключения. Дано доказательство достаточного условия оптимальности и рассмотрены примеры задач с детерминированным и случайным импульсным воздействием.
Ключевые слова:
марковская цепь, импульсные управления, квазивариационное неравенство.
Работа выполнена А.Б. Миллером и Б.М. Миллером частично за счет средств субсидии,
выделенной в рамках Государственной поддержки Казанского (Приволжского) федерального университета в целях повышения его конкурентоспособности среди ведущих
мировых научно-образовательных центров.
Статья представлена к публикации членом редколлегии:Е. Я. Рубинович
Поступила в редакцию: 20.06.2019 После доработки: 14.08.2019 Принята к публикации: 26.09.2019
Образец цитирования:
А. Б. Миллер, Б. М. Миллер, К. В. Степанян, “Одновременное импульсное и непрерывное управление марковской цепью в непрерывном времени”, Автомат. и телемех., 2020, № 3, 114–131; Autom. Remote Control, 81:3 (2020), 469–482
\RBibitem{MilMilSte20}
\by А.~Б.~Миллер, Б.~М.~Миллер, К.~В.~Степанян
\paper Одновременное импульсное и непрерывное управление марковской цепью в непрерывном времени
\jour Автомат. и телемех.
\yr 2020
\issue 3
\pages 114--131
\mathnet{http://mi.mathnet.ru/at15438}
\crossref{https://doi.org/10.31857/S0005231020030071}
\elib{https://elibrary.ru/item.asp?id=43266323}
\transl
\jour Autom. Remote Control
\yr 2020
\vol 81
\issue 3
\pages 469--482
\crossref{https://doi.org/10.1134/S0005117920030066}
\isi{https://gateway.webofknowledge.com/gateway/Gateway.cgi?GWVersion=2&SrcApp=Publons&SrcAuth=Publons_CEL&DestLinkType=FullRecord&DestApp=WOS_CPL&KeyUT=000521836700006}
\scopus{https://www.scopus.com/record/display.url?origin=inward&eid=2-s2.0-85082837062}
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/at15438
https://www.mathnet.ru/rus/at/y2020/i3/p114
Эта публикация цитируется в следующих 4 статьяx:
Alexey Piunovskiy, Yi Zhang, “Gradual-Impulsive Control for Continuous-Time Markov Decision Processes with Total Undiscounted Costs and Constraints: Linear Programming Approach via a Reduction Method”, SIAM J. Control Optim., 60:3 (2022), 1892
A. Piunovskiy, Y. Zhang, “Linear programming approach to optimal impulse control problems with functional constraints”, J. Math. Anal. Appl., 496:2 (2021), 124817
К. А. Вытовтов, Е. А. Барабанова, “Аналитический метод анализа неоднородных непрерывных марковских процессов с кусочно-постоянными интенсивностями перехода”, Автомат. и телемех., 2021, № 12, 90–104; K. A. Vytovtov, E. A. Barabanova, “An analytical method for the analysis of inhomogeneous continuous Markov processes with piecewise constant transition intensities”, Autom. Remote Control, 82:12 (2021), 2112–2124
X. Guo, A. Kurushima, A. Piunovskiy, Y. Zhang, “On gradual-impulse control of continuous-time Markov decision processes with exponential utility”, Adv. Appl. Probab., 53:2 (2021), 301–334
Цитирование в формате AMSBIB
Обратная связь: