Â. Ê. Душин
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ
ИНФОРМАЦИОННЫХ
ПРОЦЕССОВ И СИСТЕМ
Учебник
5е издание
Москва
Издательскоторговая корпорация «Дашков и К°»
2018
Стр.1
УДК 32.81
ББК 621.391
Д86
В. П. Павлов — кандидат технических наук, профессор;
Н. Н. Прокопенко — доктор технических наук, профессор;
В. Е. Мешков — кандидат технических наук, профессор.
Рецензенты:
Душин В. К.
Д86
Теоретические основы информационных процессов и
систем: Учебник / В. К. Душин. — 5е изд. — М.: Издатель
скоторговая корпорация «Дашков и К°», 2018. — 348 с.
ISBN 9785394017483
В учебнике изложены основные разделы теории сигналов и тео
рии информации, необходимые для изучения информационных про
цессов и систем.
УДК 32.81
ББК 621.391
Для студентов вузов и специалистов, занимающихся проекти
рованием информационных систем.
ISBN 9785394017483
© Душин В. К., 2008
Стр.2
СОДЕРЖАНИЕ
ВВЕДЕНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
ГЛАВА 1. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ . . . . . . . . . . 6
1.1. Основные задачи изучения дисциплины . . . . . . . . . . . . . . . . 6
1.2. Система передачи и обработки информации . . . . . . . . . . . . 8
1.3. Сообщение и ñèãíàë. Канал связи . . . . . . . . . . . . . . . . . . . . . 10
1.4. Кодирование и модуляция . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5. Демодуляция и декодирование . . . . . . . . . . . . . . . . . . . . . . . 19
1.6. Дискретизация и кодирование
непрерывных сообщений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.7. Помехи и искажения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.8. Достоверность и скорость передачи информации . . . . . . . 24
Контрольные вопросы и задания . . . . . . . . . . . . . . . . . . . . . . . . 27
ГЛАВА 2. МАТЕМАТИЧЕСКОЕ ОПИСАНИЕ СИГНАЛОВ,
СООБЩЕНИЙ И ПОМЕХ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.1. Определение и классификация сигналов . . . . . . . . . . . . . . 28
2.2. Периодические сигналы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3. Спектры некоторых периодических сигналов . . . . . . . . . . . 36
1. Периодическая последовательность
прямоугольных импульсов . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2. Последовательность пилообразных импульсов . . . . . . . . 40
3. Последовательность треугольных импульсов . . . . . . . . . 41
2.4. Распределение мощности в спектре
периодического сигнала . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5. Непериодические сигналы . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.6. Свойства преобразования Фурье . . . . . . . . . . . . . . . . . . . . . . 49
1. Сдвиг сигналов во времени . . . . . . . . . . . . . . . . . . . . . . . . . 50
2. Изменение масштаба времени . . . . . . . . . . . . . . . . . . . . . . 52
3. Смещение спектра сигнала . . . . . . . . . . . . . . . . . . . . . . . . . 53
343
Стр.343
4. Дифференцирование и интегрирование сигналов . . . . . 53
5. Сложение сигналов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
6. Произведение двух сигналов . . . . . . . . . . . . . . . . . . . . . . . 54
2.7. Спектры непериодических сигналов . . . . . . . . . . . . . . . . . . . 55
1. Сигнал в виде единичного скачка . . . . . . . . . . . . . . . . . . . 55
2. Прямоугольный импульс . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3. Треугольный импульс . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4. Бесконечно короткий импульс
с единичной площадью (äåëüòà-ôóíêöèÿ) . . . . . . . . . . . . 62
2.8. Распределение энергии в спектре
непериодического сигнала . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
2.9. Связь между временными
и спектральными характеристиками сигнала . . . . . . . . . . . 66
2.10. Случайные сигналы и их аналитическое описание . . . . . 67
1. Одномерный закон распределения
мгновенных значений случайной функции
и связанные с ним основные характеристики . . . . . . . . 68
2. Многомерный закон распределения
мгновенных значений случайной функции
и связанные с ним основные характеристики . . . . . . . . 72
3. Гауссовский случайный процесс . . . . . . . . . . . . . . . . . . . . 76
4. Спектральная плотность мощности
случайного процесса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5. Соотношение между спектральной плотностью
и ковариационной функцией случайного процесса.
Белый шум . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Контрольные вопросы и задания . . . . . . . . . . . . . . . . . . . . . . . . 82
ГЛАВА 3. МОДУЛЯЦИЯ И ДЕМОДУЛЯЦИЯ НОСИТЕЛЕЙ
ИНФОРМАЦИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.1. Классификация методов модуляции . . . . . . . . . . . . . . . . . . . 84
3.2. Амплитудная модуляция . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
3.3. Угловая модуляция . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
3.4. Модуляция импульсных носителей . . . . . . . . . . . . . . . . . . . . 99
3.5. Узкополосный сигнал . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
3.6. Воздействие сигналов на нелинейные элементы . . . . . . . 108
3.7. Детектирование амплитудно-модулированных
сигналов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
344
Стр.344
3.8 Частотные и фазовые детекторы . . . . . . . . . . . . . . . . . . . . 121
Контрольные вопросы и задания . . . . . . . . . . . . . . . . . . . . . . . 126
ГЛАВА 4. ДИСКРЕТИЗАЦИЯ И КВАНТОВАНИЕ
НЕПРЕРЫВНЫХ СООБЩЕНИЙ . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.1. Основные понятия и определения . . . . . . . . . . . . . . . . . . . 127
4.2. Методы дискретизации сигналов . . . . . . . . . . . . . . . . . . . . 130
1. Регулярность отсчетов . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
2. Критерий оценки точности . . . . . . . . . . . . . . . . . . . . . . . . 132
3. Базисные функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
4. Принцип приближения . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
4.3. Равномерная дискретизация. Теорема Котельникова . . . 135
4.4. Адаптивная дискретизация . . . . . . . . . . . . . . . . . . . . . . . . . 141
4.5. Квантование по уровню . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Контрольные вопросы и задания . . . . . . . . . . . . . . . . . . . . . . . 147
ГЛАВА 5. ХАРАКТЕРИСТИКИ И МОДЕЛИ КАНАЛОВ
ПЕРЕДАЧИ ИНФОРМАЦИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
5.1. Общие сведения о каналах передачи информации
. . . . 149
5.2. Анализ непрерывных каналов . . . . . . . . . . . . . . . . . . . . . . . 153
5.3. Анализ дискретных каналов . . . . . . . . . . . . . . . . . . . . . . . . 159
Контрольные вопросы и задания . . . . . . . . . . . . . . . . . . . . . . . 167
ГЛАВА 6. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ
ТЕОРИИ ИНФОРМАЦИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
6.1. Мера количества информации . . . . . . . . . . . . . . . . . . . . . . . 168
6.2. Энтропия источника дискретных сообщений . . . . . . . . . . 172
1. Энтропия источника независимых сообщений . . . . . . . . 172
2. Энтропия источника зависимых сообщений . . . . . . . . . . 175
6.3. Избыточность источника сообщений . . . . . . . . . . . . . . . . . . 176
6.4. Статистические свойства источников сообщений . . . . . . 178
6.5. Скорость передачи информации
и пропускная способность дискретного канала
без помех . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
6.6. Оптимальное статистическое кодирование
сообщений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
345
Стр.345
6.7. Скорость передачи информации
и пропускная способность дискретных каналов
с помехами . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
6.8. Теорема Шеннона для дискретного канала с помехами . 193
6.9. Энтропия непрерывных сообщений . . . . . . . . . . . . . . . . . . 198
6.10. Скорость передачи и пропускная способность
непрерывного êàíàëà. Формула Шеннона . . . . . . . . . . . . 201
6.11. Эффективность систем передачи информации . . . . . . . . 207
Контрольные вопросы и задания . . . . . . . . . . . . . . . . . . . . . . . 210
ГЛАВА 7. ПОМЕХОУСТОЙЧИВОЕ КОДИРОВАНИЕ . . . . . . . . . 211
7.1. Классификация корректирующих кодов . . . . . . . . . . . . . . 211
7.2. Принципы помехоустойчивого кодирования . . . . . . . . . . . 213
7.3. Систематические коды . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
7.4. Код с четным числом åäèíèö. Инверсный код . . . . . . . . . 221
7.5. Коды Хемминга . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
7.6. Циклические коды . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
7.7. Коды с постоянным весом . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
7.8. Непрерывные коды . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
7.9. Обобщение теории кодирования на недвоичные коды . . 233
7.10. Итеративные и каскадные коды . . . . . . . . . . . . . . . . . . . . 234
7.11. Адаптивные корректирующие коды . . . . . . . . . . . . . . . . 236
Контрольные вопросы и задания . . . . . . . . . . . . . . . . . . . . . . . 238
ГЛАВА 8. ЭЛЕМЕНТЫ ТЕОРИИ ПРИЕМА
И ОБРАБОТКИ ИНФОРМАЦИИ . . . . . . . . . . . . . . . . . . . . . . . . . . 240
8.1. Общие сведения о приеме сигналов . . . . . . . . . . . . . . . . . 240
8.2. Методы накопления . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
8.3. Когерентный и некогерентный приемы . . . . . . . . . . . . . . . 246
8.4. Корреляционный и автокорреляционный
методы приема . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
8.5. Прием на согласованный фильтр . . . . . . . . . . . . . . . . . . . . 249
8.6. Прием сигналов как статистическая задача . . . . . . . . . . . 254
8.7. Критерий оптимального приема сигналов . . . . . . . . . . . . . 258
8.8. Оптимальный прием дискретных сигналов . . . . . . . . . . . . 262
8.9. Вероятность ошибки при когерентном приеме
двоичных сигналов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
346
Стр.346
Контрольные вопросы и задания . . . . . . . . . . . . . . . . . . . . . . . 264
ГЛАВА 9. ПРИНЦИПЫ МНОГОКАНАЛЬНОЙ ПЕРЕДАЧИ
ИНФОРМАЦИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
9.1. Элементы теории разделения сигналов . . . . . . . . . . . . . . . 266
9.2. Частотное, временное и фазовое разделение
сигналов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
1. Частотное разделение сигналов . . . . . . . . . . . . . . . . . . . 271
2. Временной способ разделения каналов . . . . . . . . . . . . . . 275
3. Разделение сигналов по фазе . . . . . . . . . . . . . . . . . . . . . 279
9.3. Разделение сигналов по форме. Системы передачи
с шумоподобными сигналами . . . . . . . . . . . . . . . . . . . . . . . . 279
1. Разделение линейно независимых сигналов . . . . . . . . . 279
2. Системы передачи с шумоподобными сигналами . . . . . 280
9.4. Комбинационное разделение сигналов . . . . . . . . . . . . . . . 286
9.5. Пропускная способность многоканальных систем
передачи информации . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
Контрольные вопросы и задания . . . . . . . . . . . . . . . . . . . . . . . 291
ГЛАВА 10. ПРОБЛЕМЫ ПОСТРОЕНИЯ
ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
10.1. Связь компьютера с периферийными устройствами . . . 293
10.2. Простейший случай взаимодействия
двух компьютеров . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
10.3. Проблемы физической передачи данных
по линиям связи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
10.4. Проблемы объединения нескольких компьютеров . . . . . 304
1. Топология физических связей . . . . . . . . . . . . . . . . . . . . . 304
2. Организация совместного использования
линий связи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
3. Адресация компьютеров . . . . . . . . . . . . . . . . . . . . . . . . . . 311
10.5. Ethernet — пример стандартного построения сетей
. . 315
10.6. Структуризация как средство построения
больших сетей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
1. Физическая структуризация сети . . . . . . . . . . . . . . . . . . 320
2. Логическая структуризация сети . . . . . . . . . . . . . . . . . . . 324
10.7. Программная совместимость различных систем . . . . . . 330
347
Стр.347
10.8. Оценка эффективности вычислительных систем ......................332
10.9. Качество функционирования
вычислительной системы ................................................................................336
Контрольные вопросы и задания........................................................................... 340
СПИСОК ЛИТЕРАТУРЫ.................................................................................................... 341
Главный редактор — А. Е. Илларионова
Художник — В. А. Антипов
Корректор — Е. Л. Качалова
Технический редактор — А. В. Плотников
Ответственный за выпуск — Е. Л. Качалова
Учебное издание
Душин Владимир Константинович
Теоретические основы
информационных процессов и систем
Санитарно-эпидемиологическое заключение
№ 77.99.60.953.Д.007399.06.09 от 26.06.2009 г.
Подписано в печать 18.06.2013. Формат 60× 84 1/16.
Печать офсетная. Бумага офсетная № 1. Печ. л. 21,75.
Тираж 1000 экз.
Издательско-торговая корпорация «Дашков и К°»
129347, Москва, Ярославское шоссе, д. 142, к. 732.
Для писем: 129347, Москва, п/о И-347
Тел./факс: 8(499) 182-01-58, 182-11-79, 183-93-01
E-mail: sales@dashkov.ru — отдел продаж
office@dashkov.ru — офис;
http://www.dashkov.ru
Отпечатано в ГУП Академиздатцентр «Наука» РАН,
ОП Производственно-издательский комбинат «ВИНИТИ»-«Наука»,
140014, Московская обл., г. Люберцы, Октябрьский пр-т, д. 403.
Тел./факс: 554-21-86, 554-25-97, 974-69-76
Стр.348