vopros-otvet (Экзаменационные вопросы и ответы)

Вопросы по курсу «Передача информации»

I. Теория информации

1. Определение информации. Семиотика и ее составные части. Фазы обращения информации.

2. Структура системы связи. Основные задачи каждого блока системы связи.

3. Измерение информации. Дискретный источник информации. Мера информации по Хартли и ее свойство

4. Измерение информации по Шеннону.

5. Свойства информации по Шеннону.

6. Энтропия нескольких источников информации.

7. Энтропия непрерывного источника. Относительная энтропия.

8. Избыточность источника сообщений.

9. Взаимосвязь между энтропией и числом сообщений.

10. Пропускная способность двоичного канала.

11. Согласование характеристик сигнала и канала.

12. Пропускная способность непрерывного канала с помехами.

13. Классификация методов преобразования непрерывной информации в дискретную форму.

14. Теорема дискретизации Котельникова В.А. и ее особенности.

15. Корреляционный критерий дискретизации.

16. Адаптивные методы дискретизации.

17. Квантование по уровню. Шум квантования.

18 . ЦАП.

19. АЦП поразрядного взвешивания.

20. Устройство выборки - хранения.

21. Распределение мощности в спектре периодического сигнала.
22. Спектр периодической последовательности прямоугольных импульсов. Пример.

23. Спектр одиночного прямоугольного импульса. Пример.

24.Теорема Парсеваля о распределении энергии в спектре непериодического сигнала.

25. Взаимосвязь между длительностью импульса и шириной его спектра.

Понятие о текущем и мгновенном спектрах.

26. Спектральная плотность мощности случайного процесса.

II. Кодирование

27. Цели кодирования. Эффективное кодирование. Методы эффективного

кодирования. Его недостатки.

28. Техническая реализация кодирующего и декодирующего устройств

эффективного кода.
29. Теорема Шеннона о пропускной способности канала без помех и

следствие из нее. Способы сжатия информации.

30. Теорема Шеннона о пропускной способности канала при наличии помех. Классификация помехоустойчивых кодов.

31. Общие принципы использования избыточности в блоковых кодах.

32. Групповой код. Математическое введение. Определение количества

избыточных символов для различных кодов.

33. Таблицы опознавателей и проверочные уравнения для различных кодов (7;4); (7;3); (8;2); (9;3).

34. Техническая реализация группового кода и его матричная запись.

35. Циклический код. Математическое введение. Выбор образующего многочлена по требуемой корректирующей способности кода.

36.Методы построения циклического кода.

37. Техническая реализация кодирующих устройств циклического кода по методу умножения (примеры).

38. Техническая реализация кодирующих устройств циклического кода по методу деления (примеры).

39. Техническая реализация кодирующих устройств циклического кода по методу группового кода (примеры).

40. Техническая реализация декодирующих устройств циклического кода, исправляющих одиночную ошибку. Пример.

41. Техническая реализация декодирующих устройств циклического кода, исправляющего 2-ые смежные ошибки. Пример.

42. Рекуррентный код. Кодирующее и декодирующее устройства. Пример.

43. Итеративные коды. Код с повторениями.

Лектор ЕвсеевА.И

9.12.2009г.

1. Определение информации. Семиотика и ее составные части. Фазы обращения информации.

Определение понятия информация:

• философское – «Информация есть отражение реального мира»;

• практическое – «Информация есть все сведения, являющиеся объектами сбора, хранения, передачи, преобразования и представления».

Основные свойства информации:

1. Информация приносит знания об окружающем мире, которых в рассматриваемой точке не было до ее получения.

2. Информация не материальна, но проявляется в форме реальных носителей: дискретных знаков и сигналов или непрерывных функций.

3. Информация может быть заключена как в знаках как таковых, так и в их взаимном расположении.
   Взаимное расположение знаков меняет информацию. Знаки «т»; «р»; «с»; «о» могут нести разную информацию: «сорт»; «рост»; «торс»; «трос». Знак «Т» – может обозначать троллейбусную остановку.

4. Знаки и сигналы несут информацию только для получателя, способного их распознать.

Поскольку информация имеет дело не с самими объектами и процессами, а с их отображением в моделях при помощи знаков, слов и правил соединения их в языке, то обратимся к семиотике – науке о знаках, словах и языках (от греческого «семеион» – знак, признак).

В семиотике различают:

• сигматику – выбор знаков для обозначения объектов реального мира;

• синтактику – структурная сторона языка или правила соединения знаков между собой;

• семантику – смысловая сторона языка, значение знаков и слов;

• прагматику – использование знаков, их практическая полезность.

Знаки и сигналы, организованные в последовательности, несут информацию (знание о мире) не потому что они повторяют объекты реального мира, а по общественной договоренности об однозначной связи знаков и объектов. Например, предметы и слова для их обозначения.

Синтаксическая информация – информация, заключенная в характере (порядке и взаимосвязи) следования знаков или сигналов в сообщении. Синтаксическая мера информации имеет практическую ценность потому, что семантическая информация ( в конечном счете интересующая получателя) заключена в заданной последовательности знаков или сигналов. Чаще всего – чем больше знаков передается за заданный интервал времени, тем в среднем (по ансамблю всех сообщений) передается больше смысловой информации.

Семантическая или смысловая информация – это информация, основанная на однозначной связи знаков и сигналов с объектами реального мира.

Рассмотрим восприятие, передачу и использование информации с целью управления некоторым объектом. Здесь можно выделить несколько фаз в цикле обращения информации.

Рис. 1.1

Генерация – информация, снимаемая с объекта с помощью датчиков.

Восприятие – формирование образа объекта, производится опознание и оценка образа. При восприятии необходимо отделить полезную информацию от шумов, что иногда не просто (радиосвязь, радиолокация и т.п.). В фазу восприятия включаются операции по подготовке информации для передачи и обработки.

Подготовка – включает предварительные операции для передачи и обработки информации (нормализация, квантование, кодирование, модуляция).

Передача – перенос информации на расстояние посредством сигналов различной физической природы по различным каналам. Прием информации на приемной стороне имеет характер вторичного восприятия со свойственными ему операциями борьбы с шумами.

Обработка – заключается в решении задач, связанных с преобразованием информации независимо от их функционального назначения.

Хранение – промежуточный этап обработки.

Представление – требуется тогда, когда в цикле обращения информации принимает участие человек. Оно заключается в представлении перед человеком условных изображений, содержащих качественные и количественные характеристики выходной информации. Для этого используются устройства, способные воздействовать на органы чувств человека.

Воздействие – состоит в том, что сигналы, несущие информацию производят регулирующие или защитные действия в самом объекте.

2. Структура системы связи. Основные задачи каждого блока системы связи.

В первую очередь рассмотрим системы связи, поскольку теория информации разработана применительно к ним.

Связь состоит в передаче сообщений от отправителя к получателю.

Общая схема связи имеет вид.

Рис. 1.2

Под системой связи будем понимать систему, состоящую по существу из пяти частей:

1. Источник сообщения (информации).

2. Передающее устройство.

3. Линия связи.

4. Приемное устройство.

5. Приемник сообщения (информации).

Всякое сообщение является некоторой совокупностью сведений о состоянии какой-либо материальной системы, которые передаются человеком (или устройством), наблюдающим эту систему, другому человеку (или устройству), обычно, не имеющему возможности получить эти сведения из непосредственных наблюдений. Эта материальная система вместе с наблюдателем (или устройством) представляет собой источник информации. Источник информации создает сообщения различного вида:

• последовательность букв в системах телеграфа или телетайпа – дискретный источник информации;

• некоторая функция времени f(t) – радио, телефон – непрерывный источник информации;

• функция времени и других переменных – черно-белое телевидение можно считать f(x; y; t), где f – интенсивность света; x, y – координаты экрана; t – время;

• две или более функций времени – стерео запись звука – f₁(t), f₂(t), f₃(t);

• несколько функций от нескольких переменных – цветное телевидение имеет три функции: f₁(x, y, t), f₂(x, y, t), f₃(x, y, t);

• комбинация вышеуказанных видов информации. Существенно, что каждое конкретное сообщение является выбранным из некоторого множества возможных сообщений. Но для получателя сообщения оно заранее неизвестно и является случайным.

Система связи должна быть спроектирована так, чтобы ее можно было использовать для передачи любого сообщения из ограниченного класса, создаваемое заданными источниками.

Передающее устройство – отображает сообщение в сигналы, соответствующие характеристикам данной линии связи.

В телефонии эта операция состоит просто в преобразовании звукового сигнала в пропорциональный ему электрический ток.

В телеграфии имеется операция кодирования, которая дает последовательность точек, тире и пробелов, соответствующих сообщениям.

Для того, чтобы сообщение было передано необходимо воспользоваться каким-либо физическим процессом.

Физическая величина, которая изменяясь отображает сообщение и может распространяться по линии связи называется сигналом.

Процесс изменения одного или нескольких параметров физической величины (ток в проводе, электромагнитное поле, звуковые волны) в соответствии с сообщением называется модуляцией.

Синусоида y = Asin(ωt + φ) – имеет три параметра:

A; ω и φ . Полезный сигнал может модулировать (изменять) каждый из этих параметров. Например:

y₁ = (A + u(t))sin(ωt + φ), где u(t) – полезный сигнал.

Полученный сигнал y₁ – промодулирован по амплитуде; кроме амплитудной модуляции возможна частотная и фазовая модуляции с пропорциональным передаваемому сигналу изменением частоты [ω + Δω(t)] или фазы [φ + Δφ(t)].

Среда, используемая для передачи сигнала от передатчика к приемнику, называется линией связи. Линией связи может быть пара проводов, кабель, луч света, эфир и так далее. В линии связи всегда происходит ослабление сигнала и частотные искажения. Однако их можно учесть, так как их характер известен заранее, они рассчитываются и, если необходимо, то через некоторое расстояние устанавливаются регенерирующие станции. Другое дело воздействие случайных процессов различного происхождения, называемых помехами или шумами. Наличие помех вызывает принципиальную неоднозначность для восстановления сообщения. Для получения однозначности нужны специальные меры – так называемое помехоустойчивое кодирование.

Приемное устройство выполняет операции, обратные производимым передатчиком восстанавливая сообщение по полученным сигналам (демодуляцию, декодирование).

Адресат (получатель сообщения) – это лицо или аппарат, для которого предназначено сообщение.

Линия связи вместе с передатчиком и приемником образует канал связи.

Канал связи совместно с источником сообщения и получателем, в котором заданы методы преобразования сообщения в сигнал и восстановления сообщения по принятому сигналу называется «системой связи».

3. Измерение информации. Дискретный источник информации. Мера информации по Хартли и ее свойство

Рассмотрим как наиболее простой дискретный источник, который выдает дискретные сообщения, а не непрерывные.

Дискретные сообщения состоят из последовательности дискретных знаков.

Рассмотрим основные свойства дискретного источника.

• Алфавит – это общее число различных знаков (M), используемых в данном источнике. Элементы алфавита будем обозначать через {x_i}, где 1 ≤ i ≤ M. Минимальное число элементов алфавита M_min = 2, например {0,1} – двоичный код. Один дискретный знак представляет собой элементарное сообщение, последовательность знаков – сообщение.

• Набор элементов алфавита, создаваемых дискретным источником сообщений, заранее, априори (до опыта) известен получателю. Источник информации в каждый момент времени t выдает один элемент алфавита X(t). Этот элемент сообщения взят из алфавита, но заранее не известно какой это элемент. Если обозначить вероятность выбора каждого элемента алфавита в момент выбора времени t – p_i(t), где p_i(t) – вероятность выбора элемента алфавита x_i в момент времени t, то

.

• В случае выдачи того или иного элемента алфавита источник сообщения переходит в новое состояние – S. Если при этом вероятности появления следующего элемента алфавита зависят от того в каком состоянии находится источник сообщений, то имеет место источник сообщений со статической зависимостью состояний. Большинство языков общения являются примерами источников со статической зависимостью состояний.

Например:

1. Первая буква любого сообщения имеет вероятность появления равной частоте употребления этой буквы в начале слова

2. Если же первая буква сообщения нам известна, например «м», то вероятность употребления следующей буквы, будет уже отличаться от вероятности употребления начальных букв (в русском языке чаще употребляются сочетания «сг», чем «сс»). Тогда набор вероятностей следующих букв составит:

3. Если же вторая буква – «а» и получено сочетание «ма», то набор вероятностей {p(i/ма)} снова будет другим. Неопределенность выбора следующей буквы алфавита зависит от того в каком состоянии находится источник в данный момент времени. А характеристикой источника становится перечисление всех его состояний S( j) и соответствующих столбцов вероятностей появления следующих элементов алфавита в каждом состоянии. Элементарным источником сообщений является источник со статически независимыми состояниями. Он характеризуется безусловными вероятностями появления следующего элемента сообщения, то есть