нейронные сети
Статьи EssayAI по теме «нейронные сети»: разборы, методы и примеры.
Алгоритм обратного распространения ошибки: как учится сеть
Backpropagation простыми словами: как обратное распространение ошибки считает градиенты по цепному правилу, обновляет веса нейросети и при чём тут исчезающий градиент. С формулами и разбором.
Batch normalization: нормализация по батчу шаг за шагом
Batch normalization (нормализация по батчу): четыре шага прямого прохода, формулы среднего и дисперсии, обучаемые gamma и beta, отличие обучения от инференса и зачем нужен eps.
Self-attention механизм: как токен смотрит на контекст
Self-attention механизм простыми словами: почему Q, K, V берутся из одной последовательности, как слой собирает контекст для каждого токена, зачем позиционное кодирование и где ошибаются.
Функция активации softmax: формула и расчёт
Функция активации softmax простыми словами: как из логитов получить вероятности классов, как вывести формулу, зачем нужна температура и численная устойчивость, где ошибаются студенты.
Механизм внимания attention: формула и примеры
Механизм внимания attention: как работает scaled dot-product attention, формула softmax(QK^T/sqrt(d_k))V, матрица весов, multi-head и где чаще всего ошибаются.