Кельберт М.Я., Сухов Ю.М. Вероятность и статистика в примерах и задачах. Том 3. Теория информации и кодирования

Москва: Московский центр непрерывного математического образования (МЦНМО), 2014. — 575 с.Для освоения таких разделов прикладной математики, как теория вероятностей, математическая статистика, теория информации и кодирование, тренировка в решении задач и выработка интуиции важны не меньше, чем изучение доказательств теорем; большое разнообразие задач по этому предмету затрудняет студентам переход от лекций к экзаменационным задачам, а от них — к практике. Этот том включает стандартный пакет информационно-теоретического материала, обычно читаемого на факультетах информатики и электроники, а также прикладной математики ведущих университетов. При этом излагаются как вероятностные, так и алгебраические аспекты теории информации и кодирования, включая как основы теории, так и некоторые ее современные аспекты. Предмет этой книги критически важен для современных приложений (телекоммуникации, обработка сигналов, информатика, криптография). Авторы собрали большое количество упражнений, снабженных полными решениями. Эти решения адаптированы к нуждам и умениям учащихся. Необходимые теоретические сведения приводятся по ходу изложения; кроме того, текст снабжен историческими отступлениями.Предисловие.Основные понятия теории информации
Основные понятия. Неравенство Крафта. Кодирование Хаффмана.
Понятие энтропии.
Первая теорема Шеннона о кодировании. Энтропийная скорость марковского источника.
Каналы передачи информации. Правила декодирования. Вторая теорема Шеннона о кодировании.
Дифференциальная энтропия и её свойства.
Дополнительные задачи к главе.Введение в теорию кодирования
Пространства Хэмминга. Геометрия кодов. Основные ограничения на размер кода.
Геометрическое доказательство второй теоремы Шеннона о кодировании. Тонкие границы на размер кода.
Линейные коды: основные конструкции.
Коды Хэмминга, Голея и Рида — Маллера.
Циклические коды и алгебра многочленов. Введение в БЧХ-коды.
Дополнительные задачи к главе.Дальнейшие темы из теории кодирования
Сведения по теории конечных полей.
Коды Рида — Соломона. Развитие теории БЧХ - кодов.
Развитие теории циклических кодов Декодирование БЧХ-кодо в.
Тождество Мак-Вильямс. Граница линейного программирования.
Асимптотически хорошие коды.
Дополнительные задачи к главе.Дальнейшие темы из теории информации
Гауссовский канал и его обобщения.
А.с.р. в условиях непрерывного времени.
Формула Найквиста — Шеннона.
Пространственные точечные процессы и сетевая теория информации.
Избранные примеры и задачи криптографии.
Дополнительные задачи к главе.Литература.
Список сокращений.
Предметный указатель