Анализ данных в науке и технике (6000,00 руб.)

Стр.5

Стр.6

Стр.7

Стр.8

Стр.9

Стр.10

Стр.11

Стр.12

Стр.13

УДК 001.5, 004.6 ББК 20, 32.97 Б87 Б87 Анализ данных в науке и технике / пер. с англ. А. А. Слинкина. – М.: ДМК Пресс, 2021. – 542 с.: ил. Брантон С. Л., Куц Дж. Н. ISBN 978-5-97060-910-1 Открытия, сделанные на основе анализа данных, совершили революцию в моделировании, прогнозировании поведения и управлении сложными системами. В этой книге приводятся сведения из машинного обучения, инженерной математики и математической физики с целью показать, как моделирование и управление динамическими системами сочетаются с современными методами науки о данных. Рассказывается о многих достижениях в области научных расчетов, которые позволяют применять управляемые данными методы к изучению разнообразных сложных систем, таких как турбулентность, науки о мозге, климатология, эпидемиология, финансы, робототехника и автономные системы. Книга рассчитана на интересующихся студентов старших курсов и аспирантов первого года обучения инженерных и физических специальностей, в ней рассматривается широкий круг тем и методов на уровне от введения до недавних работ. УДК 001.5, 004.6 ББК 20, 32.97 Copyright Original English language edition published by Cambridge University Press is part Все права защищены. Любая часть этой книги не может быть воспроизведена в каof the University of Cambridge. Russian language edition copyright © 2021 by DMK Press. All rights reserved. кой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978­1­108­42209­3 (англ.) ISBN 978­5­97060­910­1 (рус.) © Steven L. Brunton and J. Nathan Kutz, 2019 © Оформление, издание, перевод, ДМК Пресс, 2021

Стр.5

Содержание От издательства ...............................................................................................13 Об авторах ..........................................................................................................14 Предисловие ......................................................................................................15 Общеупотребительные методы оптимизации, уравнения, символы и акронимы ...........................................................20 Часть I. ПОНИЖЕНИЕ РАЗМЕРНОСТИ И ПРЕОБРАЗОВАНИЯ ...................................................................................31 Глава 1. Сингулярное разложение (SVD) .............................................32 1.1. Общие сведения ..........................................................................................33 Определение SVD ..........................................................................................34 Вычисление SVD ............................................................................................35 Историческая справка ..................................................................................36 Использование в этой книге и предположения о подготовке читателей ........................................................................................................37 1.2. Аппроксимация матриц ............................................................................37 Усечение ..........................................................................................................38 Пример: сжатие изображения .....................................................................38 1.3. Математические свойства и манипуляции ............................................41 Интерпретация с привлечением доминирующих корреляций .............41 Метод моментальных снимков ...................................................................43 Геометрическая интерпретация .................................................................43 Инвариантность SVD относительно унитарных преобразований ........45 Левые унитарные преобразования ............................................................46 Правые унитарные преобразования ..........................................................46 1.4. Псевдообращение, метод наименьших квадратов и регрессия ..........47 Одномерная линейная регрессия ...............................................................49 Полилинейная регрессия .............................................................................51 Предостережение ..........................................................................................53 1.5. Метод главных компонент (PCA) .............................................................53 Вычисление ....................................................................................................54 Пример: данные с гауссовым шумом .........................................................55 Пример: данные о раке яичников ..............................................................57 1.6. Пример: «собственные лица» ...................................................................58 1.7. Отсечение и выравнивание .......................................................................64 Оптимальный жесткий порог отсечения ...................................................64 Важность выравнивания данных ................................................................68

Стр.6

6  Содержание 1.8. Рандомизированное сингулярное разложение .....................................71 Рандомизированная линейная алгебра .....................................................71 Рандомизированный алгоритм SVD ..........................................................72 Пример рандомизированного SVD ............................................................75 1.9. Тензорные разложения и N-мерные массивы данных .........................76 Рекомендуемая литература .............................................................................81 Глава 2. Преобразование Фурье и вейвлет-преобразование ........................................................................82 2.1. Ряд Фурье и преобразование Фурье.........................................................83 Скалярные произведения функций и векторов .......................................83 Ряд Фурье ........................................................................................................84 Преобразование Фурье .................................................................................89 2.2. Дискретное преобразование Фурье (ДПФ) и быстрое преобразование Фурье (БПФ) ..........................................................................92 Дискретное преобразование Фурье ...........................................................93 Быстрое преобразование Фурье..................................................................95 Пример БПФ: фильтрация шума .................................................................96 Пример БПФ: спектральные производные ...............................................98 2.3. Преобразование дифференциальных уравнений в частных производных ....................................................................................................100 Уравнение теплопроводности ...................................................................101 Одностороннее волновое уравнение .......................................................103 Уравнение Бюргерса ...................................................................................105 2.4. Преобразование Габора и спектрограмма ............................................107 Дискретное преобразование Габора ........................................................108 Пример: сигнал с квадратичной частотной модуляцией .....................108 Пример: «Патетическая соната» Бетховена ............................................110 Принцип неопределенности .....................................................................112 2.5. Вейвлеты и многомасштабный анализ .................................................113 Дискретное вейвлет­преобразование ......................................................115 2.6. Двумерные преобразования и обработка сигналов ............................116 Двумерное преобразование Фурье для изображений ...........................116 Двумерное вейвлет­преобразование изображений ..............................119 Рекомендуемая литература ...........................................................................122 Глава 3. Разреженность и сжатие измерений .................................123 3.1. Разреженность и сжатие ..........................................................................124 Пример: сжатие изображения ...................................................................125 Почему сигналы допускают сжатие: просторность пространства изображений ................................................................................................127 3.3. Примеры сжатых измерений ..................................................................133 Норма 𝓁1 3.2. Сжатое измерение ....................................................................................128 Заявление об отказе от ответственности ................................................132 Другие формулировки ................................................................................133 и разреженные решения недоопределенной системы .........134

Стр.7

Содержание  7 Восстановление звукового сигнала по разреженным измерениям ....135 3.4. Геометрия сжатия .....................................................................................137 Свойство ограниченной изометрии (RIP) ...............................................139 Некогерентность и матрицы измерений.................................................139 Плохие измерения ......................................................................................140 3.5. Разреженная регрессия ............................................................................140 Отбрасывание выбросов и робастность ..................................................141 Отбор признаков и LASSO­регрессия ......................................................142 3.6. Разреженное представление ...................................................................146 3.7. Робастный метод главных компонент (RPCA) ......................................151 3.8. Разреженное размещение датчиков ......................................................153 Разреженное размещение датчиков для реконструкции .....................154 Разреженная классификация ....................................................................158 Рекомендуемая литература ...........................................................................159 Часть II. МАШИННОЕ ОБУЧЕНИЕ И АНАЛИЗ ДАННЫХ ..........................................................................................................160 Глава 4. Регрессия и выбор модели .....................................................161 4.1. Классическая аппроксимация кривой ..................................................163 Методы наименьших квадратов ...............................................................163 Линия наименьших квадратов ..................................................................166 Линеаризация данных ................................................................................167 4.3. Регрессия и уравнение Ax = b: переопределенные и недоопределенные системы .......................................................................176 Переопределенные системы .....................................................................176 Недоопределенные системы .....................................................................180 4.2. Нелинейная регрессия и градиентный спуск .......................................169 Градиентный спуск .....................................................................................170 Метод переменных направлений .............................................................175 4.4. Оптимизация как краеугольный камень регрессии ...........................183 4.5. Парето­фронт и Lex Parsimoniae ............................................................188 Переобучение ...............................................................................................190 4.6. Выбор модели: перекрестная проверка ................................................191 k­групповая перекрестная проверка ........................................................195 Перекрестная проверка с контролем по p точкам .................................197 4.7. Выбор модели: информационный критерий .......................................197 Информационные критерии: AIC и BIC ..................................................200 Вычисление AIC и BIC .................................................................................201 Рекомендуемая литература ...........................................................................202 Глава 5. Кластеризация и классификация ........................................203 5.1. Выделение признаков и добыча данных ..............................................204 5.2. Обучение с учителем и без учителя .......................................................210 5.3. Обучение без учителя: кластеризация методом k средних ...............214 5.4. Иерархическая кластеризация без учителя: дендрограмма ..............219

Стр.8

8  Содержание 5.5. Смесовые модели и EM­алгоритм..........................................................223 5.6. Обучение с учителем и линейные дискриминанты ............................227 5.7. Метод опорных векторов (SVM) .............................................................233 Линейный SVM ............................................................................................233 Нелинейный SVM ........................................................................................235 Ядерные методы в сочетании с SVM ........................................................236 5.8. Решающие деревья и случайные леса ...................................................238 Случайные леса ............................................................................................243 5.9. 10 лучших алгоритмов по версии Data Mining 2008 ............................244 Алгоритм k средних ....................................................................................244 EM­алгоритм (смесовые модели) .............................................................245 Метод опорных векторов (SVM) ................................................................245 CART (Classification and Regression Tree – дерево классификации и регрессии) .................................................................................................245 Метод k ближайших соседей (kNN) ...........................................................246 Наивная байесовская классификация ......................................................246 AdaBoost (ансамблевое обучение с усилением) .....................................246 C4.5 (ансамблевое обучение решающих деревьев) ................................247 Алгоритм Apriori .........................................................................................247 PageRank .......................................................................................................247 Рекомендуемая литература ...........................................................................248 Глава 6. Нейронные сети и глубокое обучение .............................249 6.1. Нейронные сети: однослойные сети .....................................................250 Однослойная сеть ........................................................................................252 6.2. Многослойные сети и функции активации ..........................................255 6.3. Алгоритм обратного распространения .................................................260 6.4. Алгоритм стохастического градиентного спуска ................................264 6.5. Глубокие сверточные нейронные сети ..................................................267 Сверточные слои .........................................................................................268 Пулинговые слои .........................................................................................269 Полносвязные слои .....................................................................................269 Прореживание .............................................................................................270 6.6. Нейронные сети для динамических систем .........................................272 6.7. Разнообразие нейронных сетей .............................................................277 Перцептрон ..................................................................................................277 Сети прямого распространения (FF) ........................................................277 Рекуррентная нейронная сеть (RNN) .......................................................279 Автокодировщик (AE) .................................................................................279 Марковская цепь (MC) ................................................................................280 Сеть Хопфилда (HN) ....................................................................................280 Машина Больцмана (BM) ...........................................................................280 Ограниченная машина Больцмана (RBM) ...............................................281 Сеть глубокого доверия (DBN) ...................................................................281 Глубокая сверточная нейронная сеть (DCNN) .........................................281 Антисверточная сеть (DN) ..........................................................................281 Глубокая сверточная сеть обратной графики (DCIGN) ..........................282

Стр.9

Содержание  9 Порождающая состязательная сеть (GAN) ..............................................282 Машина неустойчивых состояний (LSM) .................................................282 Машина экстремального обучения (ELM) ...............................................283 Сеть с эхо­состояниями (ESN) ...................................................................283 Глубокая остаточная сеть (DRN) ................................................................283 Сеть Кохонена (KN) .....................................................................................284 Нейронная машина Тьюринга (NTM) .......................................................284 Рекомендуемая литература ...........................................................................284 Часть III. ДИНАМИЧЕСКИЕ СИСТЕМЫ И УПРАВЛЕНИЕ ...........................................................................................285 Глава 7. Динамические системы, управляемые данными ........286 7.1. Обзор, мотивация и проблемы ...............................................................287 Динамические системы .............................................................................287 Цели и проблемы современной теории динамических систем ...........291 7.2. Разложение по динамическим модам (DMD) .......................................294 Алгоритм DMD .............................................................................................295 Пример и код ...............................................................................................300 Расширения, приложения и ограничения ...............................................300 7.3. Разреженная идентификация нелинейной динамики (SINDy) .........308 Нахождение дифференциальных уравнений в частных производных ................................................................................................314 Обобщение SINDy на рациональные нелинейности .............................316 Применение информационного критерия для выбора модели ..........319 7.4. Теория оператора Купмана .....................................................................320 Математическая теория оператора Купмана ..........................................320 Разложение по модам Купмана и конечные представления ................324 Примеры погружений Купмана ................................................................326 Аналитическое разложение собственных функций в ряд ....................329 История и недавние достижения ..............................................................331 7.5. Управляемый данными анализ Купмана ..............................................332 Расширенный DMD .....................................................................................332 Аппроксимация собственных функций Купмана на основе данных ..........................................................................................................334 Управляемый данными анализ Купмана и запаздывающие координаты ..................................................................................................336 Нейронные сети для погружений Купмана .............................................340 Рекомендуемая литература ...........................................................................342 Глава 8. Теория линейного управления .............................................344 Типы управления ........................................................................................345 8.1. Управление с замкнутым контуром обратной связи ..........................346 Примеры преимуществ управления с обратной связью .......................348 8.2. Линейные стационарные системы ........................................................351 Линеаризация нелинейной динамики ....................................................351

Стр.10

10  Содержание Неуправляемая линейная система ...........................................................352 Управляемая линейная система ...............................................................354 Системы с дискретным временем ............................................................355 Пример: обратный маятник ......................................................................356 8.3. Управляемость и наблюдаемость ...........................................................357 Управляемость .............................................................................................357 Наблюдаемость ............................................................................................359 Критерий управляемости PBH ..................................................................360 Теорема Кэли–Гамильтона и достижимость ...........................................361 Грамианы и степень управляемости и наблюдаемости ........................362 Стабилизируемость и распознаваемость ................................................364 8.4. Оптимальное управление полным состоянием: линейно­квадратичный регулятор (ЛКР) ....................................................364 Вывод уравнения Риккати оптимального управления .........................366 8.5. Оптимальное оценивание полного состояния: фильтр Калмана ...............................................................................................369 8.6. Оптимальное управление с использованием датчиков : линейно­квадратичное гауссово управление (ЛКГ) ...................................372 8.7. Практический пример: обратный маятник на тележке ......................374 Управление маятником на тележке с обратной связью ........................376 Оценка полного состояния системы маятник–тележка .......................379 Управление с обратной связью системой маятник–тележка с использованием датчиков ......................................................................382 8.8. Робастное управление и методы анализа в частотной области ........384 Методы в частотной области .....................................................................384 Качество управления и передаточная функция контура: чувствительность и дополнительная чувствительность .......................389 Обращение динамики ................................................................................392 Робастное управление ................................................................................393 Рекомендуемая литература ...........................................................................396 Глава 9. Сбалансированные модели, пригодные для управления ..............................................................................................397 9.1. Упрощение модели и идентификация системы ..................................397 9.2. Сбалансированное упрощение модели .................................................399 Цель упрощения модели ............................................................................399 Замена переменных в системах управления ..........................................401 Балансирующие преобразования .............................................................403 Сбалансирование усечения .......................................................................407 Вычисление сбалансированных реализаций ..........................................408 Пример сбалансированного упрощения модели ...................................413 9.3. Идентификация системы ........................................................................415 Алгоритм реализации собственной системы .........................................416 Идентификация наблюдателей с помощью фильтра Калмана ............419 Комбинация ERA и OKID ............................................................................423 Рекомендуемая литература ...........................................................................425

Стр.11

Содержание  11 Глава 10. Управление на основе данных ..........................................426 10.1. Идентификация нелинейной системы для управления ...................427 DMD с управлением ....................................................................................428 Нелинейное управление с помощью оператора Купмана ....................430 SINDy с управлением ..................................................................................432 Пример управления на основе прогнозирующих моделей (MPC) .......432 10.2. Управление с машинным обучением ..................................................436 Обучение с подкреплением .......................................................................438 Управление с итеративным обучением ...................................................439 Генетические алгоритмы ...........................................................................439 Генетическое программирование ............................................................441 Пример: применение генетического алгоритма для настройки ПИД­регулятора ...........................................................................................443 10.3. Адаптивное управление с поиском экстремума ...............................448 Простой пример управления с поиском экстремума ............................452 Пример управления с поиском экстремума в сложной ситуации .......455 Приложения управления с поиском экстремума ...................................456 Рекомендуемая литература ...........................................................................458 Часть IV. МОДЕЛИ ПОНИЖЕННОГО ПОРЯДКА .....................460 Глава 11. Модели пониженного порядка (ROM) ...........................461 11.1. POD для дифференциальных уравнений в частных производных ....................................................................................................462 Разложение по модам Фурье .....................................................................465 Специальные функции и теория Штурма–Лиувилля ............................466 Понижение размерности ...........................................................................467 11.2. Элементы оптимального базиса: собственное ортогональное разложение .......................................................................................................468 Проекция Галеркина на POD­моды ..........................................................470 Пример: гармонический осциллятор ......................................................471 11.3. POD и динамика солитонов ..................................................................475 Упрощение солитона (N = 1) .....................................................................477 Упрощение солитона (N = 2) .....................................................................479 11.4. POD в непрерывной формулировке ....................................................480 Квадратурные правила для R: правило трапеций..................................482 Квадратурные правила более высокого порядка ...................................483 POD­моды и квадратурные формулы ......................................................485 11.5. POD с симметриями: повороты и сдвиги ...........................................486 Сдвиг: распространение волн ...................................................................486 Поворот: спиральные волны .....................................................................488 Рекомендуемая литература ...........................................................................492 Глава 12. Интерполяция для ROM ........................................................494 12.1. Неполное POD .........................................................................................494 Разреженные измерения и реконструкция .............................................496

Стр.12

12  Содержание Моды гармонического осциллятора ........................................................497 12.3. Неполные измерения: минимизация числа обусловленности .......504 Замены числа обусловленности ................................................................510 12.2. Ошибка и сходимость неполного POD ................................................501 Случайная выборка и сходимость ............................................................501 Неполные измерения и качество реконструкции ..................................503 12.4. Неполные измерения: максимальная дисперсия..............................512 12.5. POD и дискретный эмпирический метод интерполяции (DEIM) ...517 POD и DEIM ..................................................................................................518 DEIM ..............................................................................................................519 12.6. Реализация алгоритма DEIM.................................................................521 Алгоритм QDEIM .........................................................................................523 12.7. Машинное обучение ROM......................................................................524 Выбор POD­моды ........................................................................................525 Пример: обтекание цилиндра ...................................................................527 Рекомендуемая литература ...........................................................................529 Глоссарий ...........................................................................................................531 Список литературы .......................................................................................538 Предметный указатель ..............................................................................539

Стр.13