Теория информации (500,00 руб.)

Стр.2

Стр.75

УДК 519.72(075.8) Х529 Рецензенты: д-р физ.-мат. наук, директор института вычислительной математики и математической геофизики СО РАН М. А. Марченко канд. физ.-мат. наук, доцент кафедры защиты информации НГТУ Ю. А. Котов Работа подготовлена на кафедре защиты информации Хиценко В. Е. Х529 Теория информации : учебное пособие / В. Е. Хиценко. – Новосибирск : Изд-во НГТУ, 2025. – 76 с. ISBN 978-5-7782-5369-8 Учебное пособие содержит краткое изложение основных понятий и разделов теории информации, таких как энтропия, собственная и взаимная информация, условная энтропия. Рассмотрен пример вычисления этих характеристик для сложной системы. Приведены описание и параметры источников информации и текстов на выходе источников; параметров каналов связи без учета и с учетом помех. Рассмотрены вопросы кодирования и декодирования информации – в частности, эффективные и корректирующие коды. Многочисленные задачи и контрольные вопросы в конце каждого раздела повышают методическую ценность пособия. Учебное пособие предназначено для студентов, обучающихся по специальностям 10.05.03 «Информационная безопасность автоматизированных систем», 10.03.01 «Информационная безопасность», 12.03.01 «Приборостроение». УДК 519.72(075.8) ISBN 978-5-7782-5369-8  Хиценко В. Е., 2025  Новосибирский государственный технический университет, 2025 2

Стр.2

ОГЛАВЛЕНИЕ Введение ................................................................................................................... 3 Глава 1. Энтропия дискретных систем и собственная информация ........... 7 1.1. Энтропия как мера неопределенности ......................................................... 7 1.2. Энтропия сложной системы ........................................................................ 11 1.3. Энтропия непрерывных систем .................................................................. 22 Задачи к главе 1 ................................................................................................... 27 Контрольные вопросы к главе 1 ........................................................................ 29 Глава 2. Источники сообщений и каналы связи ........................................... 31 2.1. Основные понятия ....................................................................................... 31 2.2. Источник дискретных сообщений .............................................................. 31 2.3. Энтропия последовательности знаков ....................................................... 35 2.4. Особенности и характеристики реальных источников и текстов ............ 38 2.5. Свойства эргодических последовательностей знаков .............................. 40 2.6. Дискретный канал связи .............................................................................. 43 Задачи к главе 2 ................................................................................................... 50 Контрольные вопросы к главе 2 ........................................................................ 53 Глава 3. Основные понятия и методы кодирования ..................................... 55 3.1. Кодирование при отсутствии помех в канале ........................................... 55 3.2. Методы эффективного кодирования .......................................................... 57 3.3. Блочный арифметический код .................................................................... 65 Задачи к главе 3 ................................................................................................... 71 Контрольные вопросы к главе 3 ........................................................................ 72 Библиографический список .................................................................................. 74 75

Стр.75