МОДЕЛІ ТА МЕТОДИ НАВЧАННЯ НЕЙРОННИХ МЕРЕЖ З ДИФЕРЕНЦІЙОВАНИМИ ФУНКЦІЯМИ АКТИВАЦІЇ
DOI:
https://doi.org/10.34185/1562-9945-6-143-2022-05Ключові слова:
нейронні мережі, задача навчання нейронних мереж, багатовимірна оптимізація, вектор варійованих параметрів, градієнтні методи.Анотація
Пропонується нова постановка задачі навчання нейронних мереж з використанням розширеного вектору варійованих параметрів. Під розширеним вектором варійованих параметрів мається на увазі те, що він включає до себе окрім вагових коефіцієнтів ще і деякі параметри функцій активації. Введення додаткових варійованих параметрів не передбачає зміни архітектури нейронної мережі, але унеможливлює застосування ме-тоду зворотного поширення похибки. Задача навчання формулюється як задача неперервної багатовимірної безумовної оптимізації. Для розв’язання оптимізаційних задач були використано низку градієнтних методів. Проведено дослідження різних постановок оптимізаційних задач та методів їх розв’язування за критеріями точності та ефективності.
Посилання
Haykin S. Neural Networks: A comprehensive foundation. Prentice Hall, 1999. – 842 p.
Russell S., Norvig P. Artificial Intelligence: A Modern Approach, fourth edition. London: Pearson, 2020. – 1136 p.
Freund Y., Hausler D. Unsupervised learning of distributions on binary vectors using two-layer networks // In Advances in Neural Information Processing Systems 4: Conference and Workshop on Neural Information Processing Systems. – 1992. –
P. 912 – 919.
Kelbling, Leslie P., Littman, Michael L., Moore, Andrew W. Reinforcement Learning: A Survey // Journal of Artificial Intelligence Research. - Archived from the original on Novem-ber 20, 2001. – P. 237 – 285.
Zelentsov D.G., Korotka L.I. The use of neural networks in solving problems of the dura-bility of corroding structures. // Bulletin of the Kremenchug National University named after M. Ostrogradskyi. – Kremenchug: KrNU, 2011. – Vol. 3 (68), part. 1. – P. 24 – 27.
Zelentsov D.G., Denysiuk O.R., Korotka L.I. The Method of Correction Functions in Prob-lems of Optimization of Corroding Structures. // Advances in Computer Science for Engineer-ing and Education III (ICCSEEA 2020), 2020. – pp. 132 – 142.
Zelentsov D.G., Korotka L.I., Naumenko N.U. Accuracy Control Algorithm for Numerical Solution of Certain Classes of Systems of Differential Equations // System technologies. Re-gional interuniversity collection of scientific works. – Issue 5 (82). – Dnipropetrovsk, 2012. – P. 71 – 79.
Callan R. Basic concepts of neural networks. – M.: Williams Publishing House, 2001. – 287 p.
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
