Что такое нейронная сеть?

О чём лекция

Распознать цифру на изображении человеку легко, даже если она написана неровно и состоит всего из 28 × 28 пикселей. Для компьютера задача сложнее: сеть должна превратить значения 784 пикселей в оценку для каждой из десяти цифр. Лекция разбирает простую полносвязную сеть: входной слой хранит яркость пикселей, выходной содержит по нейрону на цифру, а между ними расположены скрытые слои. Активация нейрона — число от нуля до единицы; более высокая активация на выходе означает, что сеть сильнее связывает изображение с соответствующей цифрой.

Чтобы объяснить переход между слоями, лектор рассматривает веса связей и смещения. Веса определяют, какие входные значения влияют на нейрон и с какой силой; их взвешенная сумма вместе со смещением проходит через сигмоиду и становится активацией. Слои могут, в качестве полезной интуиции, выделять признаки разного уровня: от пиксельных границ до частей цифр и целых образов. Однако это не гарантирует, что сеть действительно формирует именно такие понятные признаки.

Вся сеть сводится к последовательности матричных умножений, сложений векторов смещений и применения функции активации. В разобранном примере около 13 тысяч весов и смещений: обучение означает подобрать их значения по данным. Лекция сосредоточена на устройстве сети, а не на способе обучения; в заключении также упоминается, что в современных глубоких сетях вместо сигмоиды часто используют ReLU.

Ключевые идеи

• 1:14Лекция объясняет устройство нейронной сети на примере распознавания рукописных цифр.
• 2:51Нейрон можно понимать как элемент, который хранит активацию — число от нуля до единицы.
• 4:30Активации одного слоя определяют активации следующего, а выходной слой указывает наиболее вероятную цифру.
• 5:46Скрытые слои можно интуитивно представить как уровни, распознающие признаки от простых линий до частей цифр.
• 9:02Веса связей задают вклад входных активаций, а смещение — порог, после которого нейрон активируется.
• 10:15Сигмоида преобразует взвешенную сумму со смещением в активацию между нулём и единицей.
• 13:36Переход между слоями записывается компактно через матрицу весов, векторы активаций и смещений.
• 16:07Обучение состоит в подборе весов и смещений по данным, а современные сети часто используют ReLU вместо сигмоиды.

Примеры вопросов

Свой тест по любой лекции

Вставьте ссылку на видео — LearnReplay сделает тест на понимание.