Бесплатно, нужен вход через Google. Готовый тест не тратит часовой лимит.
О чём лекция
Лекция начинается с формализации линейной модели: прогноз представляется как свободный член плюс взвешенная сумма признаков. Обсуждаются функции потерь MSE и MAE, их чувствительность к выбросам и проблемы дифференцируемости. На примере полиномиальной регрессии показано, как увеличение числа степеней приводит сначала к более гибкой модели, а затем к переобучению и запоминанию обучающей выборки.
Для борьбы с переобучением вводится регуляризация: L2-регуляризация соответствует Ridge, а L1-регуляризация — Lasso. Штраф за большие коэффициенты ограничивает чрезмерную изгибаемость модели; свободный член обычно не регуляризуют. Разбираются различия параметров и гиперпараметров, подбор силы регуляризации с помощью grid search, random search и кросс-валидации.
Практическая часть посвящена работе с данными о недвижимости в scikit-learn. Рассматриваются разделение на обучающую и тестовую выборки, выбросы, логарифмирование признаков и целевой переменной, стандартизация, предотвращение утечки данных, пайплайны и оценка качества. Подчеркивается, что стандартизатор нужно обучать только на трейне, а тестовую выборку использовать исключительно для финальной проверки модели.
Ключевые идеи
Линейная модель формирует прогноз как свободный член плюс скалярное произведение вектора признаков и вектора весов.
Качество модели оценивают функцией потерь, причём MSE сильнее реагирует на выбросы, а MAE устойчивее, но имеет точки недифференцируемости.
Добавление степеней в полиномиальную модель повышает гибкость, но чрезмерная сложность приводит к переобучению и интерполяции обучающих точек.
Регуляризация добавляет к функции потерь штраф за большие коэффициенты и тем самым ограничивает излишнюю сложность модели.
L2-регуляризация используется в Ridge, а L1-регуляризация — в Lasso; свободный член обычно исключают из регуляризуемых коэффициентов.
Параметры модели оптимизируются во время обучения, а гиперпараметры, включая силу регуляризации, подбираются отдельно.
Кросс-валидация оценивает каждую комбинацию гиперпараметров на нескольких фолдах и усредняет полученные метрики.
Преобразования вроде стандартизации нужно обучать только на тренировочных данных, чтобы избежать утечки информации из тестовой выборки.
Примеры вопросов
В учебном примере сначала программно создают набор точек по известному правилу, связанному с косинусом. Какую роль такой шаг играет при изучении переобучения линейной регрессионной модели?
AОн автоматически устраняет переобучение, поскольку данные получены по математическому правилу
BОн создаёт контролируемые данные, на которых можно сравнить способность модели улавливать закономерность и запоминать отдельные наблюдения
CОн заменяет настройку модели точным вычислением всех её параметров без использования данных
DОн нужен только для преобразования целевого признака в категориальный формат
Показать ответ
Верный ответ: B. Известное правило генерации даёт контролируемую зависимость. Поэтому легче отделить изучение общей закономерности от подгонки под конкретные точки.
При моделировании зависимости одного целевого показателя от одного признака базовая модель имеет вид \(y=w_0+w_1x\). Как корректно расширить её до полиномиальной регрессии, сохранив линейность модели по оцениваемым коэффициентам?
AЗаменить целевую переменную на случайную величину, чтобы модель могла описывать любые зависимости
BПодставить коэффициенты в нелинейные функции и отказаться от представления модели через сумму слагаемых
CОставить только свободный член \(w_0\), поскольку степени признака не влияют на результат
DДобавить признаки \(x^2, x^3\) и соответствующие им коэффициенты, например \(y=w_0+w_1x+w_2x^2+w_3x^3\)
Показать ответ
Верный ответ: D. Полиномиальная регрессия расширяет набор признаков степенями исходного признака. При этом выражение остаётся линейным относительно коэффициентов, которые обучает модель.