Аннотация:
Глубокие нейронные сети в настоящее время становятся одним из самых популярных подходов к созданию систем искусственного интеллекта, таких как распознавание речи, обработка естественного языка, компьютерное зрение и т.п. В статье представлен обзор истории развития и современного состояния методов обучению глубоких нейронных сетей. Рассматривается модель искусственной нейронной сети, алгоритмы обучения нейронных сетей, в том числе алгоритм обратного распространения ошибки, применяемый для обучения глубоких нейронных сетей. Описывается развитие архитектур нейронных сетей: неокогнитрон, автокодировщики, сверточные нейронные сети, ограниченная машина Больцмана, глубокие сети доверия, сети долго-краткосрочной памяти, управляемые рекуррентные нейронные сети и сети остаточного обучения. Глубокие нейронные сети с большим количеством скрытых слоев трудно обучать из-за проблемы исчезающего градиента. В статье рассматриваются методы решения этой проблемы, которые позволяют успешно обучать глубокие нейронные сети с более чем ста слоями. Приводится обзор популярных библиотек глубокого обучения нейронных сетей, которые сделали возможным широкое практическое применение данной технологии. В настоящее время для задач компьютерного зрения используются сверточные нейронные сети, а для обработки последовательностей, в том числе естественного языка, — рекуррентные нейронные сети, прежде всего сети долго-краткосрочной памяти и управляемые рекуррентные нейронные сети.
\RBibitem{Soz17}
\by А.~В.~Созыкин
\paper Обзор методов обучения глубоких нейронных сетей
\jour Вестн. ЮУрГУ. Сер. Выч. матем. информ.
\yr 2017
\vol 6
\issue 3
\pages 28--59
\mathnet{http://mi.mathnet.ru/vyurv170}
\crossref{https://doi.org/10.14529/cmse170303}
\elib{https://elibrary.ru/item.asp?id=30016527}
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/vyurv170
https://www.mathnet.ru/rus/vyurv/v6/i3/p28
Эта публикация цитируется в следующих 16 статьяx:
А. В. Литаврин, Т. В. Моисеенкова, “Об одном группоиде, ассоциированном с композицией многослойных нейронных сетей прямого распространения сигнала”, Журнал СВМО, 26:2 (2024), 111–122 [A. V. Litavrin, T. V. Moiseenkova, “About one groupoid associated with the composition of multilayer feedforward neural networks”, Zhurnal SVMO, 26:2 (2024), 111–122]
Ergash Yu. Akhmedov, Dmitriy E. Palchunov, Durdona Z. Khaitboeva, Mukhiddin F. Ibragimov, Otojon R. Sultanov, Laylo S. Rakhimova, 2024 IEEE 25th International Conference of Young Professionals in Electron Devices and Materials (EDM), 2024, 2460
V. A. Mishchuk, “The Relationship between the Concepts of “Artificial Intelligence” and “Artificial Neural Networks” in Forensic Expertology”, Teor. prakt. sud. èkspert., 19:3 (2024), 33
A. N. Sunami, A. I. Musaev, “«The Trouble with Bias» in Neural Networks: Conflict and Ethical Challenges”, Upravlencheskoe konsul'tirovanie, 2024, no. 5, 150
Ergash Yu. Akhmedov, Dmitriy E. Palchunov, 2024 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), 2024, 282
Aleksey Rogachev, Ilya Belousov, Dmitry Rogachev, Lecture Notes in Networks and Systems, 798, Fourth International Conference on Image Processing and Capsule Networks, 2023, 449
A. F. Rogachev, I. S. Belousov, “Simulation of the of the DeepLabv3 neural network learning process for the agricultural fields segmentation”, Vestn. Dagest. gos. teh. univ., Teh. nauki, 50:3 (2023), 142
V. S. Velikanov, N. V. Dyorina, E. A. Gasanenko, E. A. Pikalova, Lecture Notes in Mechanical Engineering, Proceedings of the 9th International Conference on Industrial Engineering, 2023, 650
I. F. Kupryashkin, A. S. Mazin, “Classification of military equipment targets on radar images generated in noise interference conditions using a convolutional neural network”, Journal of «Almaz – Antey» Air and Space Defence Corporation, 2022, no. 1, 71
Belykh M. Vladimirovna, Belov A. Vladimirovich, 2022 Interdisciplinary Research in Technology and Management (IRTM), 2022, 1
E.I. Kaznacheeva, A.M. Nazarov, “Malaria case detection using an AI-enabled system in the routine practice of performing clinical blood tests in a centralized laboratory”, Lab. sluzh., 11:2 (2022), 50
Yu. N. Kulchin, A.Yu. Kim, “Convolutional neural networks for solving problems of signal processing from segmental distributed fiber optic measuring networks”, J. Phys.: Conf. Ser., 1864:1 (2021), 012136
N. E. Gotman, G. P. Shumilova, “Identification of line status changes using phasor measurements through deep learning networks”, «Izvestiya vysshikh uchebnykh zavedenii. PROBLEMY ENERGETIKI», 22:6 (2021), 55
R Dyachenko, D Gura, N Kiryunikova, E Lesovaya, N Khusht, G Akopyan, “On the methods of recognition and classification of laser reflection points based on the Terrasolid software module on the Bentley Microstation platform”, J. Phys.: Conf. Ser., 2131:5 (2021), 052100
V Shatravin, D V Shashev, “Designing high performance, power-efficient, reconfigurable compute structures for specialized applications”, J. Phys.: Conf. Ser., 1611:1 (2020), 012071
Цитирование в формате AMSBIB
Обратная связь: