English
!

Архив публикаций

Тезисы

XXV-ая конференция

Об алгоритмах глубокого обучения нейронных сетей

Бережков М.С., Кулькова Е.Ю., Соколов А.В.

ФГБОУ ВО «МГТУ «СТАНКИН», Россия, 127055, г. Москва, Вадковский пер. 1, Тел. 8(906)731-73-11, E-mail: berezhkov.m@gmail.com

1  стр. (принято к публикации)

В данной работе рассмотрен метод, снижающий влияние ковариационного сдвига в процессе стохастического обучения нейронных сетей.

Предложено изменить активационную функцию g(x), чтобы она выдавала данные, близкие к нормальным. На вход слою подается вектор попарно независимых случайных величин. Взвешенная сумма внутри нейрона будет иметь распределение близкое к нормальному. Необходимо выяснить, математическое ожидание и дисперсию случайной величины Y=g(X).

Полученные выражения можно упростить, пользуясь свойствами конкретных активационных функций или их приближений.

В ходе численных экспериментов с ограничением по времени обучения, выявлено, что использование данного метода ведет к улучшению процесса обучения.



© 2004 Дизайн Лицея Информационных технологий №1533