Лекция показывает, как применять правило цепочки для вычисления градиентов в нейронной сети и объясняет перенос этих вычислений на слои с несколькими нейронами.
Бесплатно, нужен вход через Google. Готовый тест не тратит часовой лимит.
На примере сети, где в каждом слое по одному нейрону, разбирается зависимость функции ошибки от веса и смещения. Выходной нейрон вычисляется через взвешенную сумму предыдущей активации и смещения, пропущенную через нелинейную функцию. Чтобы найти, как изменение веса влияет на ошибку, зависимость раскладывают по правилу цепочки: вес влияет на взвешенную сумму, та — на активацию, а активация — на стоимость ошибки.
Каждая производная описывает отдельный участок этой цепочки. Влияние ошибки на выход зависит от разницы между предсказанием и желаемым значением; производная активации определяется выбранной нелинейной функцией, а влияние веса на взвешенную сумму — активацией предыдущего нейрона. Для общей функции ошибки вычисления усредняют по обучающим примерам. Аналогично находят чувствительность к смещениям и передают зависимость ошибки к предыдущим слоям, используя вес связи.
В сети с несколькими нейронами добавляются индексы, указывающие нейроны и связи. Основная структура вычислений сохраняется, но один нейрон может влиять на ошибку через несколько путей, поэтому соответствующие вклады складывают. Повторяя вычисления для слоёв и параметров, получают градиент, по которому можно уменьшать ошибку.
Верный ответ: A. Вес влияет на стоимость через промежуточные величины z и a, поэтому производные вдоль этой последовательной цепочки перемножаются.
Верный ответ: D. Производная равна 2(a−y), поэтому её модуль пропорционален величине ошибки, а знак зависит от направления отклонения предсказания от цели.
Вставьте ссылку на видео — LearnReplay сделает тест на понимание.
Создать тест →