О.П. СОЛДАТОВА
ОСНОВЫ НЕЙРОИНФОРМАТИКИ
Утверждено Редакционно-издательским советом университета
в качестве учебного пособия
САМАРА
Издательство СГАУ
2006
УДК 004.032.26
ББК 32.813
С60
ЦИ
ОНАЛЬ
НЫ
ПР
ТЕТ НЫЕ
Е
Н
А
О
РИ
ОЕК ТЫ
Инновационная образовательная программа
“Развитие центра компетенции и подготовка
специалистов мирового уровня в области аэрокосмических и геоинформационных технологий”
ПР
И
Рецензенты: д-р техн. наук, проф. <...> Меры расстояния между векторами и нормализация векторов ................ 79 <...> Нейронные сети реализуют нелинейность особого вида,
так как она распределена по сети. <...> Каждый нейрон имеет
свои веса и свои пороговые значения. <...> Громадное количество нейронов и
межнейронных связей (до 1000 входов в каждый нейрон) приводит к тому, что
ошибка в срабатывании отдельного нейрона остается незаметной в общей массе
взаимодействующих клеток. <...> Сигналы xj на входе синапсов j (j = 1,2,…,N), связанные с нейроном i,
суммируются с учетом соответствующих синаптических весов wij (первый
индекс относится к нейрону, а второй к синапсу), после чего результат
сравнивается с пороговым значением wi0 . <...> 1.3 Модель нейрона МакКаллока-Питса
Аргументом функции выступает суммарный сигнал
ui =
Коэффициенты
N
∑ wij x j (t )+ wi 0 . <...> (1.6)
Аналогичные соотношения используются при подборе веса порогового
элемента wi 0 , для которого входной сигнал всегда равен 1:
Δwi 0 = (d i − yi ) . <...> Эффективность метода при большом количестве обучающих выборок невелика,
а количество циклов обучения и длительность возрастают быстро, при чем без
гарантии достижения минимума целевой функции. <...> 1.5 Сигмоидальный нейрон
Нейрон сигмоидального типа имеет структуру, подобную модели
МакКаллока–Питса, с той разницей, что функция активации является
непрерывной и может быть выражена в виде сигмоидальной униполярной или
биполярной функции [4]. <...> (1.9)
Аргументом функции выступает суммарный сигнал ui =
Функция
f(ui),
называемая
функцией
активации,
N
∑ wij x j (t ) + wi 0 .
j =1
относится
к
классу
непрерывных <...>
Основы_нейроинформатики.pdf
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
«САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ
УНИВЕРСИТЕТ имени академика С.П.КОРОЛЕВА»
О.П. СОЛДАТОВА
ОСНОВЫ НЕЙРОИНФОРМАТИКИ
Утверждено Редакционно-издательским советом университета
в качестве учебного пособия
С А М А Р А
Издательство СГАУ
2006
Стр.1
УДК 004.032.26
ББК 32.813
С60
Инновационная образовательная программа
“Развитие центра компетенции и подготовка
специалистов мирового уровня в области аэрокосмических
и геоинформационных технологий”
Рецензенты: д-р техн. наук, проф. А. Ю. П р и в а л о в,
д-р техн. наук, проф. М. А. К о р а б л и н
Солдатова О. П.
С60
Основы нейроинфоматики: учеб. пособие / О.П. Солдатова. – Самара:
Изд-во Самар. гос. аэрокосм. ун-та, 2006. – 132 с. : ил.
ISBN 5-7883-0467-9
Учебное пособие предназначено для магистров, обучающихся по магистерским
программам «Оптические информационные технологии» и «Физика и
технология наноэлектронных приборов», по направлению 010600 - «Прикладные
математика и физика», и содержит основные положения теории и практики
искусственных нейронных сетей. В пособии приведены примеры использования
нейронных сетей для решения задач прогнозирования, аппроксимации и
идентификации. Приводятся контрольные вопросы, упражнения и задания для
компьютерного моделирования нейронных сетей.
Данное учебное пособие будет также полезно студентам других специальностей
при изучении курсов «Системы искусственного интеллекта», «Основы
экспертных систем» и «Интеллектуальные системы».
УДК 004.032.26
ББК 32.813
ISBN 5-7883-0467-9
© Солдатова О.П., 2006
© Самарский государственный
аэрокосмический университет, 2006
П
Р
И
О
Р
И
Т
Т
К
Е
Т
О
Н
Р
Ы
Е
Е
Н
Н
А
Ц
Ь
И
О
А
Н
Л
Ы
П
Е
Ы
Стр.2
СОДЕРЖАНИЕ
1. ВВЕДЕНИЕ В НЕЙРОННЫЕ СЕТИ................................................................ 5
1.1. Основные свойства нейронных сетей ............................................................ 5
1.2. Биологические основы нейронных сетей...................................................... 8
1.3. Модель МакКаллока - Питса......................................................................... 10
1.4. Персептрон...................................................................................................... 12
1.5. Сигмоидальный нейрон................................................................................. 14
1.6. Нейрон типа WTA.......................................................................................... 19
1.7. Звезды Гроссберга.......................................................................................... 21
1.8. Функции активации нейронов ...................................................................... 23
1.9. Контрольные вопросы и упражнения .......................................................... 23
2. МНОГОСЛОЙНЫЙ ПЕРСЕПТРОН.............................................................. 25
2.1. Структура многослойного персептрона....................................................... 25
2.2. Структура двухслойной сигмоидальной нейронной сети.......................... 28
2.3. Методы обучения многослойного персептрона.......................................... 30
2.3.1. Основные положения градиентных алгоритмов обучения сети.... 30
2.3.2. Подбор коэффициента обучения....................................................... 31
2.3.3. Алгоритм обратного распространения ошибки............................... 33
2.3.4. Алгоритм наискорейшего спуска ...................................................... 37
2.3.5. Алгоритм переменной метрики......................................................... 39
2.3.6. Алгоритм потоковых графов. ............................................................ 40
2.3.7. Алгоритм RPROP................................................................................ 43
2.3.8 Алгоритм имитации отжига. ............................................................... 44
2.4. Проектирование архитектуры многослойного персептрона ..................... 45
2.5. Подбор оптимальной архитектуры............................................................... 48
2.6. Контрольные вопросы и упражнения .......................................................... 51
3. РАДИАЛЬНЫЕ СЕТИ....................................................................................... 53
3.1. Математическое обоснование радиально-базисных сетей ........................ 53
3.2. Структура радиально-базисной сети............................................................ 57
3.3. Основные алгоритмы обучения радиальных сетей .................................... 60
3.3.1. Алгоритм самоорганизации для уточнения параметров радиальных
функций.......................................................................................................... 60
3.3.2. Гибридный алгоритм обучения радиальных сетей ......................... 64
3.3.3. Применение метода обратного распространения ошибки для
радиальных сетей .................................................................................................. 66
3.4. Методы подбора числа базисных функций ................................................. 69
3.5. Метод ортогонализации Грэма-Шмидта...................................................... 72
3.6. Сравнение радиально-базисной сети и многослойного персептрона....... 74
3.7. Контрольные вопросы и упражнения .......................................................... 75
4. СЕТИ С САМООРГАНИЗАЦИЕЙ НА ОСНОВЕ КОНКУРЕНЦИИ...... 76
4.1. Сеть Кохонена................................................................................................. 76
3
Стр.3