коррекции весов могут привести к постоянной неустойчивости процесса обучения. Поэтому в качестве
h обычно выбирается число меньше 1, но не очень маленькое, например, 0.1, и оно, вообще
говоря, может постепенно уменьшаться в процессе обучения. Кроме того, для исключения случайных попаданий в
локальные минимумы иногда, после того как значения весовых коэффициентов застабилизируются,
h кратковременно сильно увеличивают, чтобы начать градиентный спуск из новой точки. Если
повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние НС, можно более или менее
уверенно сказать, что найден глобальный максимум, а не какой-то другой.
Существует и иной метод исключения локальных минимумов, а заодно и паралича НС, заключающийся в применении
стохастических НС, но о них лучше поговорить отдельно.
Сайт создан в системе
uCoz