Аннотация:
Рассматривается задача выбора моделей глубокого обучения субоптимальной сложности. Под сложностью модели понимается минимальная длина описания совокупности выборки и модели классификации или регрессии. Под субоптимальной сложностью понимается приближенная оценка минимальной длины описания, полученная с использованием байесовского вывода и вариационных методов. Вводятся вероятностные предположения о распределении параметров. На основе байесовского вывода предлагается функция правдоподобия модели. Для получения оценки правдоподобия применяются вариационные методы с использованием градиентных алгоритмов оптимизации. Проводится вычислительный эксперимент на нескольких выборках.
Образец цитирования:
О. Ю. Бахтеев, В. В. Стрижов, “Выбор моделей глубокого обучения субоптимальной сложности”, Автомат. и телемех., 2018, № 8, 129–147; Autom. Remote Control, 79:8 (2018), 1474–1488
\RBibitem{BakStr18}
\by О.~Ю.~Бахтеев, В.~В.~Стрижов
\paper Выбор моделей глубокого обучения субоптимальной сложности
\jour Автомат. и телемех.
\yr 2018
\issue 8
\pages 129--147
\mathnet{http://mi.mathnet.ru/at14742}
\elib{https://elibrary.ru/item.asp?id=35730323}
\transl
\jour Autom. Remote Control
\yr 2018
\vol 79
\issue 8
\pages 1474--1488
\crossref{https://doi.org/10.1134/S000511791808009X}
\isi{https://gateway.webofknowledge.com/gateway/Gateway.cgi?GWVersion=2&SrcApp=Publons&SrcAuth=Publons_CEL&DestLinkType=FullRecord&DestApp=WOS_CPL&KeyUT=000441743800009}
\scopus{https://www.scopus.com/record/display.url?origin=inward&eid=2-s2.0-85051549048}
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/at14742
https://www.mathnet.ru/rus/at/y2018/i8/p129
Эта публикация цитируется в следующих 3 статьяx:
А. В. Грабовой, В. В. Стрижов, “Вероятностная интерпретация задачи дистилляции”, Автомат. и телемех., 2022, № 1, 150–168; A. V. Grabovoy, V. V. Strijov, “Probabilistic interpretation of the distillation problem”, Autom. Remote Control, 83:1 (2022), 123–137
О. С. Гребенькова, О. Ю. Бахтеев, В. В. Стрижов, “Вариационная оптимизация модели глубокого обучения с контролем сложности”, Информ. и её примен., 15:1 (2021), 42–49
М. С. Потанин, К. О. Вайсер, В. А. Жолобов, В. В. Стрижов, “Оптимизация структуры сетей глубокого обучения”, Информ. и её примен., 14:4 (2020), 55–62