guuvestВестник университетаVestnik Universiteta1816-42772686-8415State University of Management10.26425/1816-4277-2022-11-48-55guuvest-3952Research ArticleСТРАТЕГИИ И ИННОВАЦИИSTRATEGIES AND INNOVATIONSСравнение эффективности методов минимизации нулевого и первого порядка в нейронных сетяхComparison of the efficiency of zero and first order minimization methods in neural networkshttps://orcid.org/0000-0002-5135-6555ГубареваЕ. А.GubarevaE. A.

Губарева Елена Алексеевна – кандидат физико-математических наук, доцент кафедры математики и информатики

Москва

Elena A. Gubareva – Cand. Sci (Phys. and Math.), Assoc. Prof. at the Department of Mathematics and Computer Science

Moscow

ea_gubareva@guu.ruhttps://orcid.org/0000-0002-6508-663XХашинС. И.KhashinS. I.

Хашин Сергей Иванович – кандидат физико-математических наук, доцент кафедры информационных технологий и прикладной математики

Иваново

Sergey I. Khashin – Cand. Sci (Phys. and Math.), Assoc. Prof. at the Information Technologies and Applied Mathematics Department

Ivanovo

khash2@mail.ruhttps://orcid.org/0000-0002-3787-804XШемяковаЕ. С.ShemyakovaE. S.

Шемякова Екатерина Сергеевна – Ph.D., ассоциированный профессор департамента математики и статистики

Толидо

Ekaterina S. Shemyakova – Ph.D., Assoc. Prof. at the Department of Mathematics and Statistics

Toledo

Ekaterina.Shemyakova@UToledo.EduГосударственный университет управленияРоссияState University of ManagementRussian FederationИвановский государственный университетРоссияIvanovo State UniversityRussian FederationУниверситет ТолидоСоединённые Штаты АмерикиUniversity of ToledoUnited States2022251220221114855Copyright © Губарева Е.А., Хашин С.И., Шемякова Е.С., 20222022Губарева Е.А., Хашин С.И., Шемякова Е.С.Gubareva E.A., Khashin S.I., Shemyakova E.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.guu.ru/jour/article/view/3952

Для минимизации целевой функции в нейронных сетях обычно применяют методы первого порядка, предполагающие неоднократное вычисление градиента. Количество переменных в современных нейронных сетях может составлять многие тысячи и даже миллионы. Многочисленные эксперименты показывают, что время аналитического вычисления градиента функции N переменных примерно в N/5 раз больше времени вычисления самой функции. В статье рассматривается возможность использования для минимизации функции методов нулевого порядка. В частности, предлагается новый метод нулевого порядка для минимизации функции: спуск по двумерным пространствам. Проведено сравнение скоростей сходимости трех различных методов: стандартного градиентного спуска с автоматическим выбором шага, координатного спуска с выбором шага по каждой координате и спуска по двумерным подпространствам. Показано, что эффективность правильно организованных методов нулевого порядка в рассмотренных задачах обучения нейронных сетей не ниже градиентных.

To minimize the objective function in neural networks, first-order methods are usually used, which involve the repeated calculation of the gradient. The number of variables in modern neural networks can be many thousands and even millions. Numerous experiments show that the analytical calculation time of an N variable function’s gradient is approximately N/5 times longer than the calculation time of the function itself. The article considers the possibility of using zero-order methods to minimize the function. In particular, a new zero-order method for function minimization, descent over two-dimensional spaces, is proposed. The convergence rates of three different methods are compared: standard gradient descent with automatic step selection, coordinate descent with step selection for each coordinate, and descent over two-dimensional subspaces. It has been shown that the efficiency of properly organized zero-order methods in the considered problems of training neural networks is not lower than the gradient ones.

Нейронные сетицелевая функцияминимизацияградиентградиентный спусккоординатный спускскорость сходимостиNeural networksobjective functionminimizationgradientgradient descentcoordinate descentconvergence rateReferencesГафаров Ф.М., Галимянов А.Ф. Искусственные нейронные сети и приложения: учеб. пособие. Казань: Изд-во Казан. ун-та; 2018. 121 с.Gafarov F.M., Galimyanov A.F. Artificial neural networks and applications: textbook. Allowance. Kazan: Kazan Publishing House. Un-ta; 2018. (In Russian).Николенко С., Кадурин А., Архангельская Е. Глубокое обучение: серия «Библиотека программиста». СПб.: Питер; 2018. 480 с.Nikolenko S., Kadurin A., Arkhangelskaya E. Deep Learning: series “Programmer’s Library”. St. Petersburg: Peter; 2018. (In Russian).Chollet F. Deep Learning with Python. 2nd Ed. Shelter Island: Manning Publications Co.; 2020. 450 р.Chollet F. Deep Learning with Python. 2nd Ed. Shelter Island: Manning Publications Co.; 2020. 450 р.Будума Н. Основы глубокого обучения. М.: Манн, Иванов и Фербер; 2020. 306 с.Buduma N. Fundamentals of Deep Learning. M.: Mann, Ivanov and Ferber; 2020. 306 p. (In Russian).Schroff F., Kalenichenko D., Philbin J. FaceNet: A unified embedding for face recognition and clustering, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015; P. 815–823. https://doi.org/10.1109/CVPR.2015.7298682Schroff F., Kalenichenko D., Philbin J. FaceNet: A unified embedding for face recognition and clustering, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015; P. 815–823. https://doi.org/10.1109/CVPR.2015.7298682Yanping Huang et al. GPipe: Efficient training of giant neural networks using pipeline parallelism. arXiv:1811.06965 [cs.CV]. https://doi.org/10.48550/arXiv.1811.06965Yanping Huang et al. GPipe: Efficient training of giant neural networks using pipeline parallelism. arXiv:1811.06965 [cs.CV]. https://doi.org/10.48550/arXiv.1811.06965Банди Б. Методы Оптимизации. Вводный курс. Пер. с англ. М.: Радио и связь; 1988. 127 с.Bunday B.D. Basic optimization methods. Trans. from Eng. M.: Radio i svyaz’; 1988. 127 p. (In Russian).Kochenderfer M.J., Wheeler T.A. Algorithms for Optimization. MIT Press; 2019. 520 p.Kochenderfer M.J., Wheeler T.A. Algorithms for Optimization. MIT Press; 2019. 520 p.Avriel M. Nonlinear Programming: Analysis and Methods. Dover Publishing; 2003. 512 p.Avriel M. Nonlinear programming: analysis and methods. Dover Publishing; 2003. 512 p.Rosenbrock H.H. An automatic method for finding the greatest or least value of a function. The Computer Journal. 1960;3:175–184.Rosenbrock H.H. An automatic method for finding the greatest or least value of a function. The Computer Journal. 1960;3:175–184.Городецкий С.Ю., Гришагин В.А. Нелинейное программирование и многоэкстремальная оптимизация. Нижний Новгород: Изд-во Нижегородского гос. ун-та им. Н.И. Лобачевского; 2007. 489 c.Gorodeckii S.Y., Grishagin V.A. Nonlinear programming and multi-extreme optimization. N. Novgorod: N.I. Lobachevsky State University of Nizhny Novgorod Publ. House; 2007. 489 c. (In Russian).Nocedal J., Wright S.J. Numerical Optimization. 2nd ed. NY: Springer New York; 2006. 651 p. https://doi.org/10.1007/978- 0-387-40065-5Nocedal J., Wright S.J. Numerical Optimization. 2nd ed. NY: Springer New York; 2006. 651 p. https://doi.org/10.1007/978-0-387-40065-5Акулич И.Л. Математическое программирование в примерах и задачах. М.: Высшая школа; 1986. 352 c.Aculich I.L. Mathematical programming in examples and tasks. Moscow: Vyshaya shkola; 1986. 352 p. (In Russian).Прокопенко Н.Ю. Методы оптимизации. Н. Новгород: ННГАСУ; 2018. 118 с.Prokopenko M.Y. Optimization methods. N. Novgorod: NNGASU; 2018. 118 p. (In Russian).

The authors declare that there are no conflicts of interest present.