градиентный спуск
Статьи EssayAI по теме «градиентный спуск»: разборы, методы и примеры.
Алгоритм обратного распространения ошибки: как учится сеть
Backpropagation простыми словами: как обратное распространение ошибки считает градиенты по цепному правилу, обновляет веса нейросети и при чём тут исчезающий градиент. С формулами и разбором.
Оптимизатор RMSprop: формула и параметры
Как работает RMSprop: формула скользящего среднего квадратов градиента, роль rho и learning rate, отличия от AdaGrad и Adam. Разбор с интерактивным калькулятором траектории.
Метод наискорейшего спуска: формула шага и зигзаг
Метод наискорейшего спуска простыми словами: как выбрать оптимальную длину шага через точный линейный поиск, почему траектория зигзагит и как число обусловленности влияет на скорость сходимости.
Метод сопряжённых градиентов: формулы и пример
Метод сопряжённых градиентов простыми словами: формулы шага и коэффициента бета, A-сопряжённость направлений, почему он сходится за n шагов и где студенты ошибаются.
Оптимизатор Adam: формула и параметры
Как работает Adam: формула обновления весов, bias correction, роль beta1 и beta2, сравнение с SGD и RMSProp. Разбор с интерактивным калькулятором траектории.