Бесплатно, нужен вход через Google. Готовый тест не тратит часовой лимит.
О чём лекция
Сначала вводится понятие дифференциала как линейного приближения изменения функции. Для скалярной функции он записывается как произведение производной на приращение аргумента. Затем рассматриваются функции от векторов: дифференциал выражается через скалярное произведение градиента и вектора приращения. Лекция систематизирует случаи отображений между скалярами, векторами и матрицами, вводит якобиан и фиксирует соглашения о размерностях и ориентации векторов.
Далее разбираются свойства матричных дифференциалов: правило произведения, линейность, дифференцирование транспонирования и констант, а также свойства следа, транспонирования и обратной матрицы. На примерах выводятся производные линейной функции и квадратичной формы xᵀAx, для которой градиент равен (A + Aᵀ)x, а гессиан — A + Aᵀ. В заключительной части эти правила применяются к функции ошибки линейной регрессии: выводятся градиент, аналитическое решение метода наименьших квадратов, положительная определённость гессиана и формула градиентного спуска.
Ключевые идеи
В матричном дифференцировании производные удобно выводить через дифференциалы.
Дифференциал заменяет изменение функции линейным приближением, отбрасывая малые члены более высокого порядка.
Для скалярной функции от вектора дифференциал выражается как транспонированный градиент, умноженный на приращение аргумента.
Свойства дифференциалов позволяют быстро выводить матричные производные, но требуют соблюдения порядка умножения матриц.
Для квадратичной формы xᵀAx градиент равен (A + Aᵀ)x, что значительно проще получить дифференциальным методом, чем прямым раскрытием суммы.
Вторые производные функций от векторов образуют матрицу Гессе, а производные векторных отображений — якобиан.
Для линейной регрессии матричное дифференцирование приводит к решению метода наименьших квадратов w = (XᵀX)⁻¹Xᵀy.
Положительная определённость гессиана подтверждает наличие минимума, а градиентный спуск обновляет веса в направлении, противоположном градиенту.
Примеры вопросов
Пусть значение функции f(x) рассматривают при малом приращении аргумента h. Какой смысл имеет использование дифференциала в качестве приближения изменения функции?
AУчитывают только нелинейные члены разложения и исключают линейную часть
BИзменение функции считают равным нулю при любом ненулевом h
CФункцию заменяют постоянным значением, не зависящим от h
DИзменение функции заменяют линейным по h выражением, пренебрегая нелинейными членами более высокого порядка
Показать ответ
Верный ответ: D. Дифференциал описывает первый, линейный по приращению аргумента вклад. Нелинейные поправки при таком приближении не учитываются.
Для скалярной функции трёх переменных \(f(x_1,x_2,x_3)=x_1^2x_2+3x_1-\cos x_3\) градиент в точке \((1,2,0)\) составляется из частных производных по всем переменным. Какой вариант верно задаёт этот градиент как столбец?
A\(\begin{pmatrix}7&1&0\end{pmatrix}\)
B\(\begin{pmatrix}2\\1\\1\end{pmatrix}\)
C\(\begin{pmatrix}7\\1\\0\end{pmatrix}\)
D\(\begin{pmatrix}1\\7\\0\end{pmatrix}\)
Показать ответ
Верный ответ: C. Частные производные равны \(\partial f/\partial x_1=2x_1x_2+3\), \(\partial f/\partial x_2=x_1^2\), \(\partial f/\partial x_3=\sin x_3\). В точке \((1,2,0)\) они дают соответственно 7, 1 и 0; градиент записывается вертикальным вектором.