Н.К. Шавенько ОснОвы теОрии инфОрмации и кОдирОвания Рекомендовано УМО по образованию в области геодезии и фотограмметрии в качестве учебного пособия для студентов высших учебных заведений, обучающихся по специальностям направления подготовки 120200 «Фотограмметрия и дистанционное зондирование» Москва Издательство МИИГАиК 2010 УДК 621.391 ББК 22.19 Ш 14 рецензенты: кандидат техн. наук и.в. <...> Ломоносова); кандидат техн. наук а.ф. стеценко (зав. кафедрой аэрокосмических съёмок МИИГАиК) Ш 14 Шавенько н.к. <...> УДК 621.391 ББК 22.19 ISBN 978-5-91188-027-9 © Шавенько Н.К., 2010 © Издательство МИИГАиК, 2010 2 введение В настоящем учебном пособии рассматриваются основы теории информации, основы теории кодирования и передачи информации по каналам связи, которые служат теоретическим базисом для специализированных курсов, связанных с автоматической обработкой информации и её передачи. <...> Источник сообщений — любой процесс, объект или явление, который обладают способностью изменять свое состояние во времени или в пространстве. <...> Символ источника сообщений — это любое мгновенное состояние источника сообщений. <...> Алфавит источника сообщений — все множество различных символов, генерируемых источником сообщений. <...> Объем алфавита источника сообщений — число различных символов, генерируемых источником сообщений. <...> Дискретный источник сообщений — источник сообщений, обладающий конечным алфавитом. <...> Непрерывный источник сообщений — источник сообщений, обладающий бесконечным алфавитом. <...> Выбор критерия для количественной оценки информации, независимо от выбранного подхода, должен удовлетворять условиям, вытекающим из практического опыта: сообщению большей длины (при одном и том же объеме алфавита) 6 соответствует большее количество информации; большее количество информации содержится в тех сообщениях (одинаковой длины), которые составлены из символов большего алфавита; символы в сообщении могут появляться с различными вероятностями и могут <...>
Основы_теории_информации_и_кодирования_учебное_пособие.pdf
Н.К. Шавенько
ОснОвы
теОрии инфОрмации
и кОдирОвания
Рекомендовано УМО по образованию в области геодезии и фотограмметрии
в качестве учебного пособия для студентов высших учебных заведений,
обучающихся по специальностям направления подготовки
120200 «Фотограмметрия и дистанционное зондирование»
Москва
Издательство МИИГАиК
2010
Стр.2
УДК 621.391
ББК 22.19
Ш 14
рецензенты:
кандидат техн. наук и.в. Починок
(зав. лабораторией мобильных и встраиваемых программных систем
НИВЦ МГУ им. Ломоносова);
кандидат техн. наук а.ф. стеценко
(зав. кафедрой аэрокосмических съёмок МИИГАиК)
Ш 14
Шавенько н.к.
Основы теории информации и кодирования: Учебное пособие. – М.:
Изд-во МИИГАиК, 2010. –126 с.: ил.
ISBN 978-5-91188-027-9
Содержит краткие теоретические положения курса «Основы теории
информации и кодирования», а именно: основы теории информации, основы
теории кодирования и передачи информации по каналам связи, а так же примеры
использования информационных моделей. Кроме этого пособие включает
в себя лабораторный практикум, предназначенный для закрепления теоретического
материала и представленный в виде подробного описания выполнения
лабораторных работ. Для удобства пользования пособие содержит краткие
справочные сведения по теории вероятностей, которые крайне необходимы
при рассмотрении основных положений курса.
Для студентов высших учебных заведений, обучающихся по направлению
«Фотограмметрия и дистанционное зондирование».
УДК 621.391
ББК 22.19
ISBN 978-5-91188-027-9
© Шавенько Н.К., 2010
© Издательство МИИГАиК, 2010
2
Стр.3
Оглавление
Введение .............................................................................................. 3
Гл а в а 1. Основы теории информации .............................................. 4
1.1. Информация. Общие понятия..................................................... 4
1.2. Измерение информации .............................................................. 5
1.3. Структурное (комбинаторное) определение количества
информации (по Хартли) ............................................................. 9
1.4. Статистическое определение количества информации
(по Шеннону) .............................................................................. 10
1.5. Свойства функции энтропии источника
дискретных сообщений ............................................................. 12
1.6. Информационная емкость дискретного сообщения .............. 14
1.7. Информация в непрерывных сообщениях .............................. 16
1.8. Энтропия непрерывных сообщений ........................................ 17
1.9. Экстремальные свойства энтропии
непрерывных сообщений .......................................................... 20
1.10. Информация в непрерывных сообщениях
при наличии шумов ................................................................. 22
Гл а в а 2. Основы теории кодирования ........................................... 27
2.1. Кодирование. Основные понятия ............................................. 27
2.2. Избыточность кодов .................................................................. 31
2.3. Эффективное кодирование равновероятных символов
сообщений .............................................................................................32
2.4. Эффективное кодирование неравновероятных
символов сообщений ................................................................. 33
2.5. Алгоритмы эффективного кодирования
неравновероятных взаимнонезависимых символов
источников сообщений .............................................................. 35
2.6. Алгоритмы эффективного кодирования
неравновероятных взаимозависимых
символов сообщений ................................................................. 41
2.7. Недостатки алгоритмов эффективного кодирования ............ 41
2.8. Помехоустойчивое (корректирующее) кодирование ............. 42
2.9. Теоретические основы помехоустойчивого кодирования ..... 43
2.10. Некоторые методы построения блочных
корректирующих кодов ........................................................... 48
2.11. Кодирование как средство защиты информации
от несанкционированного доступа ....................................... 51
124
Стр.125
Гл а в а 3. Передача информации по каналам связи ...................... 57
3.1. Канал связи. Общие понятия .................................................... 57
3.2. Передача дискретных сообщений по каналам связи ............. 59
3.3. Передача непрерывных сообщений по каналам связи .......... 61
3.4. Согласование каналов с сигналами ......................................... 62
Гл а в а 4. использование информационных моделей
при анализе систем автоматической обработки
изображений ......................................................................... 66
4.1. Информационные модели систем автоматической ............... 66
обработки изображений ............................................................ 66
4.2. Информационная оценка качества
оптических изображений ......................................................... 73
4.3. Информационная оценка качества фотоизображений .......... 86
4.4. Информационная оценка датчиков сообщений ..................... 93
лабораторный практикум .................................................................. 101
Ла б ор а т ор ная ра б о та №1
Информация в дискретных сообщениях ..................................... 102
Ла б ор а т ор ная ра б о та №2
Информация в непрерывных сообщениях. ................................. 106
Ла б ор а т ор ная ра б о та №3
Эффективное кодирование неравновероятных символов
источника дискретных сообщений ........................................................110
Ла б ор а т ор ная ра б о та №4
Информационное моделирование источников визуальных
сообщений и фотоизображений .............................................................111
некоторые полезные сведения из теории вероятностей ............... 115
литература ............................................................................................. 123
125
Стр.126