МОДЕЛІ ТА МЕТОДИ НАВЧАННЯ НЕЙРОННИХ МЕРЕЖ З РОЗШИРЕНИМ ВЕКТОРОМ ВАРІЙОВАНИХ ПАРАМЕТРІВ
DOI:
https://doi.org/10.34185/1991-7848.itmm.2023.01.037Ключові слова:
нейронні мережі, навчальна задача нейронної мережі, багатовимірна оптимізація, вектор змінних параметрів, градієнтні методи.Анотація
Проведено дослідження моделей і методів навчання нейронних мереж з використанням розширеного вектора змінних параметрів. Задача навчання формулюється як неперервна багатовимірна задача безумовної оптимізації. Розширений вектор змінних параметрів означає, що він включає деякі параметри функцій активації на додаток до вагових коефіцієнтів. Введення додаткових змінних параметрів не змінює архітектуру нейронної мережі, але унеможливлює використання методу зворотного поширення. Ряд градієнтних методів використовувався для вирішення задач оптимізації. Досліджено різні постановки задач оптимізації та методи їх вирішення за критеріями точності та ефективності.
Посилання
Russell S., Norvig P. Artificial Intelligence: A Modern Approach, fourth edition. London: Pearson, 2020. 1136 p.
Freund Y., Hausler D. Unsupervised learning of distributions on binary vectors using two layer networks. In Advances in Neural Information Processing Systems 4: Conference and Workshop on Neural Information Processing Systems, Denver, 1992. P. 912–919.
Haykin S. Neural Networks: A comprehensive foundation. Prentice Hall, 1999. 842 p.
