Изменение пароля
Пользователь
anonymous
Текущий пароль
*
Новый пароль
*
Подтверждение
*
Запомнить меня
Забыли пароль?
Электронная библиотека (16+)
Впервые на сайте?
Вход
/
Регистрация
Национальный цифровой ресурс
Национальный цифровой ресурс Руконт - межотраслевая электронная библиотека (ЭБС) на базе технологии Контекстум (всего произведений: 711485)
Для выхода нажмите Esc или
Конформное прогнозирование в Python (4800,00 руб.)
0
0
Первый автор
Манохин Валерий
Издательство
М.: ДМК Пресс
Страниц
308
Предпросмотр
ID
962904
Аннотация
Данная книга предлагает углубленное изучение конформного прогнозирования — новейшего подхода, позволяющего получить количественную оценку неопределенности, необходимую для принятия уверенных и надежных решений в различных задачах машинного обучения. Вы познакомитесь с практическим применением этого подхода в таких задачах машинного обучения, как классификация, регрессия, прогнозирование временных рядов, компьютерное зрение и обработка естественного языка. Издание предназначено специалистам по data science, ML-инженерам, ученым и всем, кто хочет улучшить свои навыки в области количественной оценки неопределенности в машинном обучении. Для изучения материала понадобятся базовые знания в области машинного обучения и программирования на Python.
ISBN
978-5-93700-341-6
Манохин Валерий. Конформное прогнозирование в Python / Манохин Валерий .— Москва : ДМК Пресс, 2024 .— 308 с. — ISBN 978-5-93700-341-6 .— URL: https://rucont.ru/efd/962904 (дата обращения: 06.11.2026)
Предпросмотр (выдержки из произведения)
Резюме документа
Страницы
Текст
Конформное_прогнозирование_в_Python.pdf
Стр.5
Стр.6
Стр.7
Стр.8
Стр.9
Стр.10
Конформное_прогнозирование_в_Python.pdf
УДК 004.85:004.43Python ББК 16.6+32.973.2 М23 Манохин Валерий М23 Конформное прогнозирование в Python / пер. с англ. А. В. Груздева. – М.: ДМК Пресс, 2024. – 306 с.: ил. ISBN 978-5-93700-341-6 Данная книга предлагает углубленное изучение конформного прогнозирования — новейшего подхода, позволяющего получить количественную оценку неопределенности, необходимую для принятия уверенных и надежных решений в различных задачах машинного обучения. Вы познакомитесь с практическим применением этого подхода в таких задачах машинного обучения, как классификация, регрессия, прогнозирование временных рядов, компьютерное зрение и обработка естественного языка. Издание предназначено специалистам по data science, ML-инженерам, ученым и всем, кто хочет улучшить свои навыки в области количественной оценки неопределенности в машинном обучении. Для изучения материала понадобятся базовые знания в области машинного обучения и программирования на Python. УДК 004.85:004.43Python ББК 16.6+32.973.2 Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN (анг.) 978-1-80512-276-0 ISBN (рус.) 978-5-93700-341-6 Copyright © 2023 Packt Publishing © Оформление, издание, перевод, ДМК Пресс, 2024
Стр.5
Оглавление Предисловие от издательства ....................................................................10 1 Введение в конформное прогнозирование ........................ 11 Технические требования ............................................................................12 Введение в конформное прогнозирование ..............................................12 Понимание мер конформности ............................................................17 Истоки конформного прогнозирования ...................................................18 Будущее конформного прогнозирования ............................................19 Отличия конформного прогнозирования от традиционного машинного обучения .................................................................................20 Роль p-значения в конформном прогнозировании .................................21 Выводы ........................................................................................................22 2 Обзор возможностей конформного прогнозирования ..... 23 Понимание количественной оценки неопределенности ........................24 Алеаторная неопределенность ..............................................................24 Эпистемическая неопределенность ......................................................25 Различные способы количественной оценки неопределенности ..........26 Количественная оценка неопределенности с помощью конформного прогнозирования ................................................................27 Выводы ........................................................................................................30 3 Основы конформного прогнозирования ............................. 31 Основы конформного прогнозирования ..................................................31 Определение и принципы ....................................................................32 Основные компоненты конформного предиктора ..................................33 Типы мер неконформности ..................................................................35 Выводы ........................................................................................................49 4 Валидность и эффективность конформного прогнозирования ..................................................................... 50 Валидность вероятностных предикторов .................................................50 Калибровка классификатора .................................................................53 Эффективность вероятностных предикторов ..........................................58 Выводы ........................................................................................................60
Стр.6
6 Оглавление 5 Типы конформных предикторов ........................................... 61 Знакомство с классическими конформными предикторами .................62 Применение TCP для задач классификации ........................................63 Применение TCP для задач регрессии ..................................................68 Преимущества ........................................................................................69 Недостатки ..............................................................................................69 Знакомство с индуктивными конформными предикторами .................70 Выбор подходящего конформного предиктора .......................................72 Трансдуктивные конформные предикторы ........................................73 Индуктивные конформные предикторы .............................................73 Выводы .......................................................................................................73 6 Конформное прогнозирование для классификации ......... 75 Калибровка классификатора .....................................................................75 Основные понятия калибровки классификатора ....................................77 Оценка качества калибровки.....................................................................79 Различные подходы к калибровке классификаторов ..............................83 Биннинг на основе гистограммы (histogram binning) .........................84 Масштабирование по Платту (Platt scaling) .........................................85 Изотоническая регрессия (isotonic regression) .....................................87 Конформное прогнозирование для калибровки классификаторов........90 Конформное прогнозирование Venn-ABERS ........................................90 Сравнение методов калибровки ...........................................................92 Инструменты конформного прогнозирования с открытым исходным кодом для задач классификации ............................................94 Nonconformist ........................................................................................94 Выводы ......................................................................................................117 7 Конформное прогнозирование для регрессии .................118 Количественная оценка неопределенности для задач регрессии ........119 Понимание типов и источников неопределенности в регрессионном моделировании .......................................................119 Концепция прогнозных интервалов ...................................................120 Почему нам нужны прогнозные интервалы? .....................................120 Чем прогнозный интервал отличается от доверительного интервала? ............................................................121 Конформное прогнозирование для задач регрессии.............................123 Методы построения прогнозных интервалов ........................................127 1. Наивный метод .................................................................................128 2. Сплит-метод ......................................................................................129 3. Конформализованная квантильная регрессия ...............................143 4. Метод jackknife ..................................................................................148
Стр.7
Оглавление 7 5. Метод jackknife+ ................................................................................149 6. Метод jackknife-minmax ...................................................................152 Конформные прогнозные распределения ..............................................161 Выводы ......................................................................................................171 8 Конформное прогнозирование для временных рядов ... 172 Количественная оценка неопределенности для временных рядов ......173 Важность количественной оценки неопределенности ......................173 История методов количественной оценки неопределенности.........173 Ранние статистические методы – первые попытки количественной оценки неопределенности во временных рядах................................174 Современные подходы на основе машинного обучения ..................175 Концепция прогнозного интервала для прогнозирования временных рядов ................................................175 Определение и построение .................................................................176 Проблемы, возникающие при построении прогнозных интервалов ............................................................................................176 Различные подходы к построению прогнозных интервалов ................176 Параметрические подходы ..................................................................177 Непараметрические методы................................................................178 Байесовские методы .............................................................................178 Методы машинного обучения .............................................................178 Конформное прогнозирование ...........................................................179 Конформное прогнозирование для временных рядов ..........................179 Прогнозные интервалы на основе ансамблей и батчей (ensemble batch PIs – EnbPIs) ...................................................................179 Конформное прогнозирование в NeuralProphet ...............................190 Конформное прогнозирование в Statsforecast ......................................206 Выводы ......................................................................................................218 9 Конформное прогнозирование для компьютерного зрения ..................................................219 Количественная оценка неопределенности для компьютерного зрения .....................................................................220 Почему важна неопределенность? ......................................................220 Типы неопределенности в компьютерном зрении............................220 Количественная оценка неопределенности .......................................221 Почему глубокое обучение выдает некалиброванные прогнозы? .... 221 Период после 2012 года – бум глубокого обучения ...........................222 Кризис калибровки в глубоких нейронных сетях – поворотный момент, случившийся в 2017 году .................................223 Сверхуверенность современных моделей глубокого обучения, применяемых в компьютерном зрении .............................................225
Стр.8
8 Оглавление Конформное прогнозирование для компьютерного зрения ................226 Получение прогнозных множеств для классификаторов изображений с помощью конформного прогнозирования ..............226 Создание классификаторов компьютерного зрения с использованием конформного прогнозирования ..............................228 Наивное конформное прогнозирование ............................................231 Адаптивные прогнозные множества (Adaptive Prediction Sets – APS) ............................................................238 Регуляризированные адаптивные прогнозные множества (Adaptive Prediction Sets – APS) ............................................................248 Выводы ......................................................................................................259 10 Конформное прогнозирование для обработки естественного языка ..............................................................260 Количественная оценка неопределенности для NLP .............................261 Различные подходы к количественной оценке неопределенности в задачах NLP ..................................................................................................261 Байесовские подходы к количественной оценке неопределенности ..... 261 Бутстреп и ансамблевые методы ........................................................262 Выявление данных, выходящих за пределы распределения (OOD detection) ...............................................................................................262 Конформное прогнозирование для NLP .................................................262 Выводы ......................................................................................................265 11 Работа с несбалансированными наборами данных ........266 Знакомство с несбалансированными наборами данных ......................267 Почему проблему несбалансированных данных сложно решать .........268 Методы решения проблемы несбалансированных данных ..................268 Решение проблемы несбалансированных данных с помощью конформного прогнозирования ..............................................................276 Решение проблем несбалансированных данных с помощью предикторов Venn-ABERS ....................................................................277 Ключевые выводы из тетрадки по обнаружению мошенничества с кредитными картами .............................................279 Выводы ......................................................................................................280 12 Введение в конформное прогнозирование для многоклассовой классификации .................................281 Задачи многоклассовой классификации ................................................282 Алгоритмы для многоклассовой классификации ..............................282 Стратегии «один против всех» и «один против одного»....................283
Стр.9
Оглавление 9 Метрики для задач многоклассовой классификации ............................283 Матрица ошибок (confusion matrix) ....................................................283 Точность (precision) ..............................................................................284 Полнота (Recall) ....................................................................................284 F1-оценка (F1-score) .............................................................................284 Макро- и микроусредненные метрики ...............................................284 Площадь под ROC-кривой (AUC-ROC) ................................................284 Логистическая функция потерь и ее применение для оценки качества калибровки многоклассовых моделей ............284 Использование оценки Брайера для измерения качества калибровки ............................................................................286 Применение конформного прогнозирования для задач многоклассовой классификации ............................................286 Многоклассовая вероятностная классификация с использованием индуктивных предикторов и предикторов cross-Venn-ABERS ........................................................287 Выводы ......................................................................................................304
Стр.10
Облако ключевых слов *
* - вычисляется автоматически
Мы используем куки, чтобы сделать сайт удобней для вас.
Подробнее
Хорошо