Аннотация:
Рассмотрен новый двухуровневый метод регрессионного анализа, в котором корректирующая процедура применяется к оптимальным ансамблям регрессионных деревьев. При этом оптимизация производится исходя из одновременного достижения расходимости алгоритмов в пространстве прогнозов и хорошей аппроксимации данных отдельными алгоритмами ансамбля. В качестве корректирующих процедур рассматриваются простое усреднение, случайный регрессионный лес и градиентный бустинг. Приведены эксперименты по сравнению предложенного метода со стандартным решающим лесом и стандартным методом градиентного бустинга для решающих деревьев.
Образец цитирования:
Ю. И. Журавлев, О. В. Сенько, А. А. Докукин, Н. Н. Киселева, И. А. Саенко, “Двухуровневый метод регрессионного анализа, использующий ансамбли деревьев с оптимальной дивергенцией”, Докл. РАН. Матем., информ., проц. упр., 499 (2021), 63–66; Dokl. Math., 104:1 (2021), 212–215
Fatih Issi, 2024 12th International Conference on Smart Grid (icSmartGrid), 2024, 487
N. N. Kiselyova, V. A. Dudarev, O. V. Senko, A. A. Dokukin, A. V. Stolyarenko, Yu. O. Kuznetsova, “Prediction of Physical Properties of Double Halides Using Machine Learning Methods”, Pattern Recognit. Image Anal., 34:3 (2024), 819
M.P. Bazilevskiy, “Optimization Problem of Constructing Linear Regressions with a Minimum Value of the Mean Absolute Error on Test Sets”, Modelling and Data Analysis, 14:4 (2024), 91
Н. Н. Киселёва, В. А. Дударев, А. В. Столяренко, А. А. Докукин, О. В. Сенько, Ю. О. Кузнецова, “Прогнозирование температуры плавления двойных галогенидов”, Журнал неорганической химии, 68:5 (2023), 623
N. N. Kiselyova, V. A. Dudarev, A. V. Stolyarenko, A. A. Dokukin, O. V. Sen'ko, Yu. O. Kuznetsova, “Prediction of the melting points of double halides”, Russ. J. Inorg. Chem., 68:5 (2023), 555
А. А. Докукин, О. В. Сенько, “Новый двухуровневый метод машинного обучения для оценивания вещественных характеристик объектов”, Известия Российской академии наук. Теория и системы управления, 2023, № 4, 17
Yu. Zhuravlev, A. Babadzhanov, “Algebraic methods for solving recognition problems with non-intercuting classes”, Novel Trends in Rheology IX, AIP Conf. Proc., 2997, no. 1, 2023, 020012
O. V. Senko, A. A. Dokukin, N. N. Kiselyova, V. A. Dudarev, Yu. O. Kuznetsova, “New two-level ensemble method and its application to chemical compounds properties prediction”, Lobachevskii J. Math., 44:1 (2023), 188
Н. С. Королев, О. В. Сенько, “Метод повышения эффективности обучения градиентного бустинга, основанный на модифицированных функциях потерь”, Автомат. и телемех., 2022, № 12, 78–88; N. S. Korolev, O. V. Senko, “Method for improving gradient boosting learning efficiency based on modified loss functions”, Autom. Remote Control, 83:12 (2022), 1935–1943