УДК 681.322
ББК 30.17
Р90
Рутковская Д., Пилиньский М., Рутковский Л.
Р90 Нейронные сети, генетические алгоритмы и нечеткие системы:
Пер. с польск. И. Д. Рудинского. – 2-е изд., стереотип. –
М.: Горячая линия – Телеком, 2013. – 384 c.: ил.
ISBN 978-5-9912-0320-3.
Книга посвящена вопросам «интеллектуальных вычислений».
Содержит базовые знания о генетических алгоритмах, эволюционном
программировании, нечетких системах, а также о связях этих
направлений с нейронными сетями.
Для научных и инженерно-технических работников в области
информатики и вычислительной техники, занимающихся созданием
и использованием интеллектуальных систем, а также аспирантов и
студентов различных специальностей в области компьютерных технологий.
ББК
30.17
Адрес издательства в Интернет www.techbook.ru
Научное издание
Рутковская Данута, Пилиньский Мачей, Рутковский Лешек
НЕЙРОННЫЕ СЕТИ, ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ
И НЕЧЕТКИЕ СИСТЕМЫ
2-е издание, стереотипное
Редактор А. С. Попов
Компьютерная верстка Т. С. Левыкиной
Обложка художника В. Г. Ситникова
Подписано в печать 09.01.2013. Формат 60×90/16. Печать цифровая
Уч.-изд. л. 24. Тираж 200 экз. Изд. № 13320
ISBN 978-5-9912-0320-3
© Рутковская Д., Пилиньский М., Рутковский Л. 1997, 2013
© Издательство Wydawnictwo Naukowe PWN, 1997, 1999, 2004
© Рудинский И. Д., перевод с польск., 2004, 2013
© Издательство «Горячая линия−Телеком», 2004, 2013
Стр.4
Оглавление
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Предисловие к русскому изданию . . . . . . . . . . . . . . . . . . . . . . . 12
1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2. Многослойные нейронные сети и алгоритмы их обучения 18
2.1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2. Нейрон и его модели . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3. Персептрон . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.4. Системы типа Адалайн . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.4.1. Линейный взвешенный сумматор . . . . . . . . . . . . . . . 26
2.4.2. Адаптивный линейный взвешенный сумматор . . . . . 30
2.4.3. Адаптивный линейный взвешенный сумматор
с сигмоидой на выходе . . . . . . . . . . . . . . . . . . . . . . . 31
2.5. Алгоритм обратного распостранения ошибки . . . . . . . . . . 33
2.6. Применение рекуррентного метода наименьших квадратов
для обучения нейронных сетей . . . . . . . . . . . . . . . . . . . . . 37
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3. Нечеткие множества и нечеткий вывод . . . . . . . . . . . . . . . . 45
3.1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2. Основные понятия и определения теории нечетких
множеств . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3. Операции на нечетких множествах . . . . . . . . . . . . . . . . . . . 56
3.4. Принцип расширения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.5. Нечеткие числа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.6. Треугольные нормы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.7. Нечеткие отношения и их свойства . . . . . . . . . . . . . . . . . . 78
3.8. Нечеткий вывод . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.8.1. Основные правила вывода в двоичной логике. . . . . . 83
3.8.2. Основные правила вывода в нечеткой логике. . . . . . 84
3.8.2.1. Обобщенное нечеткое правило modus ponens. . . 84
3.8.2.2. Обобщенное нечеткое правило modus tollens . . . 87
3.8.3. Правила нечеткой импликации. . . . . . . . . . . . . . . . . . 88
Стр.5
6
Оглавление
3.9. Нечеткое управление . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
3.9.1. Классический модуль нечеткого управления . . . . . . 92
3.9.1.1. База правил . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.9.1.2. Блок фуззификации . . . . . . . . . . . . . . . . . . . . . . 94
3.9.1.3. Блок выработки решения . . . . . . . . . . . . . . . . . . 94
3.9.1.4. Блок дефуззификации . . . . . . . . . . . . . . . . . . . . . 105
3.9.2. Метод нечеткого управления Такаги-Сугено . . . . . . . 106
3.10. Проектирование базы нечетких правил на основе
численных данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
3.10.1. Построение нечетких правил . . . . . . . . . . . . . . . . . 110
3.10.2. Задача парковки грузовика . . . . . . . . . . . . . . . . . . . 115
3.10.3. Примечание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4. Генетические алгоритмы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.2. Генетические алгоритмы и традиционные методы
оптимизации . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.3. Основные понятия генетических алгоритмов . . . . . . . . . . 126
4.4. Классический генетический алгоритм . . . . . . . . . . . . . . . . 130
4.5. Иллюстрация выполнения классического генетического
алгоритма . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
4.6. Кодирование параметров задачи в генетическом алгоритме 139
4.7. Основная теорема о генетических алгоритмах . . . . . . . . . 144
4.8. Модификации классического генетического алгоритма . . . 157
4.8.1. Методы селекции . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
4.8.2. Особые процедуры репродукции . . . . . . . . . . . . . . . 160
4.8.3. Генетические операторы . . . . . . . . . . . . . . . . . . . . . . 161
4.8.4. Методы кодирования . . . . . . . . . . . . . . . . . . . . . . . . . 163
4.8.5. Масштабирование функции приспособленности . . . . 164
4.8.6. Ниши в генетическом алгоритме . . . . . . . . . . . . . . . . 166
4.8.7. Генетические алгоритмы для многокритериальной
оптимизации . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
4.8.8. Генетические микроалгоритмы . . . . . . . . . . . . . . . . . . 169
4.9. Примеры оптимизации функции с помощью программы
FlexTool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
4.10. Эволюционные алгоритмы . . . . . . . . . . . . . . . . . . . . . . . . 206
4.11. Приложения эволюционных алгоритмов . . . . . . . . . . . . . . 213
Стр.6
Оглавление
7
4.11.1. Примеры оптимизации функции с помощью
программы Evolver . . . . . . . . . . . . . . . . . . . . . . . . . 214
4.11.2. Решение комбинаторных задач с помощью
программы Evolver . . . . . . . . . . . . . . . . . . . . . . . . . 246
4.12. Эволюционные алгоритмы в нейронных сетях . . . . . . . . 250
4.12 1. Независимое применение генетических алгоритмов
и нейронных сетей . . . . . . . . . . . . . . . . . . . . . . . . . 252
4.12.2. Нейронные сети для поддержки генетических
алгоритмов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
4.12.3. Генетические алгоритмы для поддержки
нейронных сетей . . . . . . . . . . . . . . . . . . . . . . . . . . 253
4.12.4. Применение генетических алгоритмов для
обучения нейронных сетей . . . . . . . . . . . . . . . . . . . 256
4.12.5. Генетические алгоритмы для выбора топологии
нейронных сетей . . . . . . . . . . . . . . . . . . . . . . . . . . 256
4.12.6. Адаптивные взаимодействующие системы . . . . . . 257
4.12.7. Типовой цикл эволюции . . . . . . . . . . . . . . . . . . . . . 257
4.12.7.1. Эволюция весов связей . . . . . . . . . . . . . . . . . . . 259
4.12.7.2. Эволюция архитектуры сети . . . . . . . . . . . . . . . 261
4.12.7.3. Эволюция правил обучения . . . . . . . . . . . . . . . 264
4.13. Примеры моделирования эволюционных алгоритмов
в приложении к нейронным сетям . . . . . . . . . . . . . . . . . . 266
4.13.1. Программы Evolver и BrainMaker . . . . . . . . . . . . . . 268
4.13.2. Программа GTO . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
5. Модули нечетко-нейронного управления . . . . . . . . . . . . . . . . 307
5.1. Модуль нечеткого управления со структурой,
определенной в процессе дефуззификации . . . . . . . . . . . 308
5.1.1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
5.1.2. Конструкция модуля . . . . . . . . . . . . . . . . . . . . . . . . . 309
5.1.3. Структура модуля . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
5.1.4. Использование алгоритма обратного
распространения ошибки . . . . . . . . . . . . . . . . . . . . . 313
5.1.5. Модификации модуля . . . . . . . . . . . . . . . . . . . . . . . 320
5.1.6. Применение модуля нечеткого управления для
прогнозирования случайных временных рядов . . . . 322
5.1.7. Применение модуля нечеткого управления для
решения задачи парковки грузовика . . . . . . . . . . . . . 326
5.1.8. Примечание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
Стр.7
8
Оглавление
5.2. Представление модуля нечеткого управления в виде
стандартной нейронной сети . . . . . . . . . . . . . . . . . . . . . . . 330
5.3. Модуль нечеткого управления с нейронной сетью для
выполнения дефуззификации . . . . . . . . . . . . . . . . . . . . . . 333
5.3.1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
5.3.2. Конструкция модуля . . . . . . . . . . . . . . . . . . . . . . . . . 334
5.3.3. Структура модуля . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
5.3.4. Алгоритмы обучения модуля . . . . . . . . . . . . . . . . . . 337
5.3.5. Решение задачи стабилизации перевернутого
маятника . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
5.3.6. Примечание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
5.4. Модуль нечеткого управления с возможностью коррекции
правил . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
5.4.1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
5.4.2. Фаза обучения на основе самоорганизации . . . . . . 349
5.4.3. Фаза обучения с учителем . . . . . . . . . . . . . . . . . . . . 354
5.4.4. Примечание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
5.5. Модуль нечеткого управления типа Такаги-Сугено:
случай независимых лингвистических переменных . . . . . . 356
5.5.1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
5.5.2. Нейронная реализация функции принадлежности . . 357
5.5.3. Модули Такаги-Сугено . . . . . . . . . . . . . . . . . . . . . . . 359
5.5.4. Реализация условий . . . . . . . . . . . . . . . . . . . . . . . . . 359
5.5.5. Реализация заключений . . . . . . . . . . . . . . . . . . . . . . 361
5.5.6. Примечание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
5.6. Модуль нечеткого управления типа Такаги-Сугено:
случай зависимых лингвистических переменных . . . . . . . 365
5.6.1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
5.6.2. Нейронные сети для нечеткого вывода . . . . . . . . . . 366
5.6.3. Структура системы . . . . . . . . . . . . . . . . . . . . . . . . . . 368
5.6.4. Способ обучения . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
5.6.5. Решение задачи парковки грузовика . . . . . . . . . . . . 374
5.6.6. Примечание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
Предметный указатель . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
Стр.8
Предисловие
Двадцатый век завершился под знаком революции в области обработки
информации. Мы стали свидетелями как быстрого роста объема
доступных данных, так и увеличения скорости их обработки и передачи,
а также емкости запоминающих устройств. Отчетливо видно, что эти явления
не только взаимосвязаны, но и усиливают друг друга. В ситуации
лавинобразного нарастания объемов информации и вычислительных
мощностей возникает очевидный вопрос каким образом можно улучшить
наши способности к познанию окружающего мира, имея в наличии столь
большие и непрерывно растущие технические возможности?
Помощь приходит со стороны апробированных классических математических
методов, созданных трудами Ньютона, Лейбница, Эйлера
и других гениев прошлого, заложивших фундамент современных вычислительных
алгоритмов. Благодаря им у нас есть специализированные
вычислительные процедуры для распознавания образов и речи, для управления
системами различных классов и решения иных аналогичных
проблем. Независимые от этого направления исследования в области искусственного
интеллекта привели к созданию экспертных и прогностических
систем, основанных на символьной обработке и использующих базы
правил. Однако все перечисленные выше подходы предполагают использование
либо узкоспециализированных вычислительных методик, либо
специализированных баз знаний, чаще всего заключенных в жесткий корсет
двоичной логики. Еще одно ограничение на применение этих методов
связано с фактом, что они не допускают непосредственное решение задач
при использовании вычислительных систем с универсальной архитектурой,
общей для большинства практических приложений.
Таким образом, мы подходим к происхождению и сущности вычислительных
технологий, составляющих предмет настоящей книги. Эти технологии,
объединяемые в англоязычной литературе под названием
Computational Intelligence, позволяют получать непрерывные или дискретные
решения в результате обучения по доступным имеющимся данным.
Один из подклассов обсуждаемой группы методов составляют нейронные
сети, использующие стохастические алгоритмы для обучения модели
с учителем или путем самоорганизации. Они предназначены для
обработки зашумленных цифровых данных, по которым алгоритмы обучения
выстраивают однонаправленные или рекуррентные модели интересующих
нас процессов. Эти модели характеризуются регулярной структурой,
составленной из нелинейных элементов, объединенных разветвленной
сетью линейных соединений и часто дополняемой локальными
или глобальными обратными связями.
При моделировании процессов возможности нейронных сетей могут
усиливаться за счет применения технологии обработки информации,
основанной на нечетких множествах и нечетком выводе. Этот метод связан
с оцениванием функции принадлежности элементов к множествам
с помощью нечетких логических операторов. Предлагаемый подход не
только ослабляет требования к точности данных в процессе построения
Стр.9
10
Предисловие
модели, но и позволяет описать сложные системы с помощью переменных,
значения которых определяются на интуитивном уровне. Возникающая
в результате парадигма моделирования, управления, выработки решений
и т.п. ведет к формированию лингвистических аргументов логических
функций.
Такие функции, описывающие реальные объекты, могут уточняться
в процессе обучения по имеющимся данным. Другой подход состоит
в формировании правил вывода непосредственно в процессе обучения.
Этим и определяется взамопроникновение и комплементарность нейронных
моделей и систем, базирующихся на нечеткой логике. Лингвистические
операторы, которые мы используем при повседневном общении,
и итерационный процесс обучения вместе ведут к интеллектуальным логикоалгебраическим
моделям, определяемым понятием Computational
Intelligence (вычислительные технологии). Интеллектуальность в данном
случае понимается как способность применять знания, накопленные
в процессе обучения, как возможность генерировать правила вывода
и как умение обобщать информацию.
Важным классом алгоритмов обучения, обогативших нейронные
и нечеткие технологии, считаются эволюционные алгоритмы. Они оперируют
популяциями хромосом, оцениваемых функциями приспособленности,
и используют эволюционную и генетическую обусловленность изменения
последовательности битов или чисел. Таким образом эффективно
исследуется пространство возможных решений. Оптимальное решение
ищется в серии последовательных приближений аргументов с лучшими
значениями функций приспособленности, генерируемых в результате мутации
и скрещивания хромосом.
Автор этих заметок в качестве председателя Комитета Симпозиума
Computational Intelligence: Imitating Life, состоявшегося в Орландо
в 1994 г., стоял у истоков слияния этих трех научных направлений и возникновения
новой интегральной отрасли знаний. Он с удовольствием
приветствует «Нейронные сети, генетические алгоритмы и нечеткие системы»
– новаторскую книгу на польском издательском рынке. Помимо обсуждения
базовых элементов нейронных сетей, описания нечетких систем
и эволюционногенетических алгоритмов, этот труд содержит и оригинальные
научные результаты авторов. В книге приводятся подробности
реализации конкретных технических решений, в том числе различных
процессоров и обучаемых систем, основанных на нечеткой логике. Большое
внимание уделяется вопросам практического использования ряда
пакетов прикладных программ.
Тематически книга связана с научными направлениями Всепольских
конференций по нейронным сетям и их приложениям, организованных
профессором Л. Рутковским и Польским товариществом нейронных
сетей в 1994 и 1996 г.г.
Данная публикация под руководством профессора Л. Рутковского
чрезвычайно актуальна, ценна и уникальна. Она заполняет обширную нишу
на емком научнотехническом рынке Польши. Книга окажется особенно
полезной инженерам различных специальностей, экономистам, физикам,
математикам и специалистам по информатике, а также студентам
Стр.10
Предисловие
11
этих и смежных с ними областей знаний. Следует поздравить авторов
с большим достижением в виде этого прекрасного научного труда.
Эта книга должна не только умножить признание их заслуг, но
и привлечь новые ряды энтузиастов этой захватывающей научной дисциплины.
Июль
1996 г.
Яцек Журада
член IEEE.
Университет Луисвилль, США
Стр.11