Основы машинного обучения (416,00 руб.)

Стр.3

Стр.4

Стр.5

Стр.6

Стр.7

УДК 004.85(075.8) ББК 32.973 я73 Е91 Печатается по решению кафедры прикладной информатики и инноватики Института высоких технологий и пьезотехники Южного федерального университета (протокол No 10 от 13 мая 2025 г.) Рецензенты: кан. физ.-мат. наук, доцент кафедры прикладной информатики и инноватики Института высоких технологий и пьезотехники ЮФУ А. А. Бычков; кан. тех. наук, доцент, преподаватель первой категории Донского технико-технологического техникума Азово-черноморского инженерного института ФГБОУ ВО Донской ГАУ А. А. Емелин Е91 Основы машинного обучения : учебное пособие / А. И. Ефимов ; Южный федеральный университет. – Ростов-на-Дону ; Таганрог : Издательство Южного федерального университета, 2025. – 277 с. Ефимов, А. И. ISBN 978-5-9275-5105-7 Настоящее учебное пособие предназначено для студентов бакалавриата, обучающихся по направлению 09.03.03 - прикладная информатика. Пособие содержит теоретический и практический материал по следующим разделам машинного обучения: предварительная обработка данных, классификация, регрессия, кластеризация и ансамблевые методы. Материал структурирован на введение и семь глав. Каждая глава включает необходимый теоретический минимум, примеры программного кода и наглядные иллюстрации. Пособие отражает опыт преподавания автором курса «Основы машинного обучения» в Институте высоких технологий и пьезотехники ЮФУ. УДК 004.85(075.8) ББК 32.973 я73 ISBN 978-5-9275-5105-7 © Ефимов А. И., 2025 © Южный федеральный университет, 2025

Стр.3

Оглавление Введение 7 Методологические заметки . . . . . . . . . . . . . . . . . . . . . 7 Основные понятия машинного обучения . . . . . . . . . . . . . . 8 1 Предварительная обработка данных. 11 1.1 Неполные данные. . . . . . . . . . . . . . . . . . . . . . . . 11 1.1.1 Использование Pandas. . . . . . . . . . . . . . . . . . 11 1.1.2 SimpleImputer. . . . . . . . . . . . . . . . . . . . . . 13 1.1.3 IterativeImputer. . . . . . . . . . . . . . . . . . . . . 17 1.2 Кодирование категориальных признаков. . . . . . . . . . . 20 1.2.1 LabelEncoder. . . . . . . . . . . . . . . . . . . . . . . 21 1.2.2 OneHotEncoder . . . . . . . . . . . . . . . . . . . . . 23 1.3 Качество данных. . . . . . . . . . . . . . . . . . . . . . . . . 25 1.4 Нормализация данных. . . . . . . . . . . . . . . . . . . . . 30 1.4.1 Минимаксная нормализация. . . . . . . . . . . . . . 32 1.4.2 Стандартизация. . . . . . . . . . . . . . . . . . . . . 35 1.5 Понижение размерности данных. . . . . . . . . . . . . . . . 36 1.5.1 Метод главных компонент. . . . . . . . . . . . . . . 40 2 Методы классификации. 43 2.1 Метод k ближайших соседей. . . . . . . . . . . . . . . . . . 43 2.1.1 KNeighborsClassiҥer . . . . . . . . . . . . . . . . . . 44 2.1.2 RadiusNeighborsClassiҥer . . . . . . . . . . . . . . . . 57 2.2 Линейно разделимые классы. . . . . . . . . . . . . . . . . . 62 3

Стр.4

2.2.1 Метод опорных векторов. . . . . . . . . . . . . . . . 64 2.2.2 Модернизация метода опорных векторов для случая, когда классы не являются линейно разделимыми. . 71 2.3 Метод логистической регрессии. . . . . . . . . . . . . . . . 80 2.4 Решающие деревья. . . . . . . . . . . . . . . . . . . . . . . 86 2.5 Наивный Байесовский алгоритм. . . . . . . . . . . . . . . . 95 2.5.1 CategoricalNB . . . . . . . . . . . . . . . . . . . . . . 99 2.5.2 GaussianNB . . . . . . . . . . . . . . . . . . . . . . . 100 3 Оценка качества работы классификаторов. 105 3.1 Основные метрики качества. . . . . . . . . . . . . . . . . . 105 3.1.1 Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.1.2 Precision . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.1.3 Recall . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.1.4 F1-Score . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.2 ROC-кривая. . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4 Регрессия. 117 4.1 Алгоритм ближайших соседей в регрессии. . . . . . . . . . 120 4.2 Алгоритм решающих деревьев в задачах регрессии. . . . . 126 4.3 Линейная регрессия. . . . . . . . . . . . . . . . . . . . . . . 127 4.4 Метод опорных векторов в задачах регрессии. . . . . . . . 130 4.4.1 Классы LinearSVR и SVR. . . . . . . . . . . . . . . . 135 4.5 Метод наименьших квадратов. . . . . . . . . . . . . . . . . 141 4.5.1 Аналитический метод решения. . . . . . . . . . . . . 144 4.5.2 Метод градиентного спуска. . . . . . . . . . . . . . . 152 4.6 Регуляризация линейной регрессии. . . . . . . . . . . . . . 159 4.6.1 Ridge. . . . . . . . . . . . . . . . . . . . . . . . . . . 160 4.6.2 Lasso. . . . . . . . . . . . . . . . . . . . . . . . . . . 164 4.6.3 Elastic-Net. . . . . . . . . . . . . . . . . . . . . . . . 167 4.7 Построение регрессионных моделей при наличии выбросов. 179 4

Стр.5

4.7.1 RANSAC. . . . . . . . . . . . . . . . . . . . . . . . . 179 4.7.2 Регрессия Тейла-Сена. . . . . . . . . . . . . . . . . . 190 4.7.3 Регрессия Хьюбера. . . . . . . . . . . . . . . . . . . 193 4.8 Полиномиальная регрессия. . . . . . . . . . . . . . . . . . . 197 5 Ансамблевые методы машинного обучения. 203 5.1 Бэггинг. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 5.2 Алгоритм случайного леса. . . . . . . . . . . . . . . . . . . 210 5.3 Стекинг. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 5.4 Бустинг. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 5.4.1 AdaBoost. . . . . . . . . . . . . . . . . . . . . . . . . 225 5.4.2 Градиентный бустинг. . . . . . . . . . . . . . . . . . 228 6 Кластеризация. 235 6.1 Метод k-средних. . . . . . . . . . . . . . . . . . . . . . . . . 235 6.2 Метод среднего сдвига. . . . . . . . . . . . . . . . . . . . . 236 6.3 Алгоритм DBSCAN. . . . . . . . . . . . . . . . . . . . . . . 238 6.4 Алгоритм HDBSCAN. . . . . . . . . . . . . . . . . . . . . . 238 7 Дополнительные методы настройки модели. 251 7.1 Перекрёстная проверка. . . . . . . . . . . . . . . . . . . . . 251 7.1.1 Функция cross_val_score. . . . . . . . . . . . . . . . 254 7.1.2 Функция cross_validate. . . . . . . . . . . . . . . . . 256 7.2 Итераторы прекрёстной проверки. . . . . . . . . . . . . . . 256 7.2.1 KFold. . . . . . . . . . . . . . . . . . . . . . . . . . . 256 7.2.2 RepeatedKFold. . . . . . . . . . . . . . . . . . . . . . 260 7.2.3 LeaveOneOut. . . . . . . . . . . . . . . . . . . . . . . 263 7.2.4 LeavePOut. . . . . . . . . . . . . . . . . . . . . . . . 263 7.2.5 StratiҥedKFold. . . . . . . . . . . . . . . . . . . . . . 264 7.2.6 RepeatedStratiҥedKFold. . . . . . . . . . . . . . . . . 264 7.2.7 GroupKFold. . . . . . . . . . . . . . . . . . . . . . . . 265 7.2.8 LeaveOneGroupOut. . . . . . . . . . . . . . . . . . . . 265 5

Стр.6

7.2.9 LeavePGroupsOut. . . . . . . . . . . . . . . . . . . . 265 7.2.10 ShuffleSplit. . . . . . . . . . . . . . . . . . . . . . . . 266 7.2.11 StratiҥedShuffleSplit. . . . . . . . . . . . . . . . . . . 267 7.2.12 GroupShuffleSplit. . . . . . . . . . . . . . . . . . . . . 267 7.3 Оптимизация модели. . . . . . . . . . . . . . . . . . . . . . 268 7.3.1 GridSearchCV . . . . . . . . . . . . . . . . . . . . . . 269 7.3.2 RandomizedSearchCV . . . . . . . . . . . . . . . . . . 271 Литература Предметный указатель 272 276 6

Стр.7