metod_15.03.04_atppp_oaip_ump_2016 (Методические документы), страница 5

Исходы равновероятны, если ни одноиз них не имеет преимущества перед другими. Очевидно, что энтропия данного опытазависит от величины n, т.е. является функцией числа возможных равновероятныхисходов f (n):1. f (1) = 0, поскольку возможный исход не является случайным;2. f (n) возрастает с ростом числа возможных исходов n, поскольку чем большечисло возможных исходов, тем трудней предугадать результат опыта.Пусть проводятся два (или больше) независимых опыта a и b с количествамиравновероятных исходов в каждом соответственно na и nb.

Очевидно, мера суммарнойнеопределенности опытов a ^ b равна сумме неопределенностей:3. f (na * nb) = f (na) + f (nb) – свойство аддитивности.Таким образом, энтропия должна описываться функцией, обладающей тремянеобходимыми свойствами – 1,2,3. Такому набору свойств соответствует лишьлогарифмическая функция, причем ее основание не имеет значения (loga x = logb x *19loga b). На практике выбирают основание 2, так как это оказывается удобным припринятии единицы информации бит - при n = 2 равновероятных исходах log2 n = 1 бит.Энтропия опыта с n равновероятными исходами – H (a) = log 2 (n).Энтропия одного исхода в опыте с возможными n равновероятными исходами:H = (1/ n) * log 2 (n) = -(1/n) * log 2 (1/n) = - p*log2 p,где p = 1/n – вероятность любого из отдельных исходов.Таким образом, энтропия каждого возможного исхода равнаH = - p*log2 n.Обобщая это выражение на опыт с n не равновероятными исходами A1…An получим:∑ p (Ai) * log2 p (Ai).H (a) = -Энтропия обладает рядом свойств:H (a) – вещественная и неотрицательная величина (знак минус учитывает, чтозначение величины под логарифмом меньше единицы, т.е.

0 < pi < 1 дробное).1. Энтропия не учитывает содержательную сторону информации, т.е. ее ценность.2. Энтропия нескольких независимых источников сообщений равна сумме энтропиикаждого из них: H (a*b) = H (a) + H (b).3. Энтропия – величина ограниченная. При прочих равных условиях наибольшуюэнтропию имеет опыт с равновероятными исходами.H1p0, 5Энтропия опыта равна той информации, которую получаем в результате егоосуществления, т.е. I = H(a) – информация опыта равна среднему количествуинформации одного его исхода.I = –∑ p (Ai) * log2 p (Ai).Для случая, когда все n исходы равновероятны p (Ai) = 1 / n иI = –∑ p (Ai) * log2 p (Ai) = – ∑ (1/n) * log2 (1/n) = ∑(1/n) * log2 (n) = log2 (n)Таким образом, в случае равновероятных исходов по формуле Р.

Хартликоличество информации определяется числом возможных исходов. Данная формуласвязывает количество равновероятных состояний (n) и количество информации всообщении (I), что любое из этих состояний реализовалось. Ее смысл в том, что,если некоторое множество содержит n элементов и x принадлежит данномумножеству, то для его выделения (однозначной идентификации) среди прочихтребуется количество информации, равное log2 (n).20Алфавитный (кибернетический) подход – это единственный способ измеренияинформации, циркулирующей в информационной технике (компьютерах). Здесьречь идет об измерении информации в тексте (символьном сообщении),составленном из символов некоторого алфавита.

К содержанию текста (семантикесообщения) такая мера информации отношения не имеет. Поэтому такой подходможно назвать объективным, т.е. не зависящим от воспринимающего его субъекта.Базовым понятием в данном подходе является понятие алфавита. Алфавит – этоконечное множество символов, используемых для представления информации.Число символов в алфавите называется мощностью алфавита. В предположении,что вероятности появления каждого символа алфавита одинаковы (что на практикедалеко не так), количество информации, которое несет в тексте каждый символ (i)вычисляется из уравнения Хартли: 2 ^ i = N, где N – мощность алфавита. Величину(i) можно назвать информационным весом символа. Отсюда следует, чтоколичество информации во всем тексте, состоящим из K символов, равнопроизведению информационного веса символа на их количество:I = i * K.Величина I - информационный объем текста.

Поэтому данный подход носитназвание объемного подхода.Минимальная мощность алфавита, пригодного для передачи информации, равна2. Такой алфавит называют двоичным. Информационный вес символа в двоичномалфавите: поскольку 2 ^ i = 2, то i = 1. Эта величина получила название бит. Одинсимвол двоичного алфавита несет 1 бит информации.Бит – основная единица измерения информации. Существуют и производныеединицы измерения: 1 байт = 8 бит (256 = 2 ^8 – мощность алфавита ПК); 1килобайт = 1024 байта, т.е больше 1 байта в 2^10 раз; 1 мегабайт = 1024 килобайта.Говоря о символьном сообщении как последовательности знаков определенногоалфавита и считая вероятность появления каждого отдельного знака неизменной вовремени (шенноновское сообщение) можно определить среднее количествоинформации одного знака в сообщении.Если за исходное положение принять равную вероятность появления каждогознака в сообщении, то количество информации, приходящееся на один знакалфавита, находим по формуле Хартли:I0 = log2 (n).Для английского алфавита I = log2 (n) = log2 27 = 4,755 бит, а для русскогоалфавита I = log2 (n) = log2 34 = 5,087 бит.Определим среднее количество информации, приходящейся на один знак, есливероятности появления различных букв алфавита в сообщении не одинаковы:I1 = –∑ p i * log2 p i.Эту формулу открыл К.

Шеннон, с работы которого (1948) принято начинатьотсчет возраста информатики, как самостоятельной науки.Следующим приближением при оценке значения информации, приходящейся наодин знак алфавита, должен быть учет корреляции, т.е. связей между буквами всловах. Значение I∞, полученное после учета бесконечного числа корреляциймежду буквами данного алфавита в словах, является предельным значением21количества информации на один знак данного алфавита, отражающейминимальную неопределенность выбора знака алфавита без учета семантическихособенностей языка.Относительная избыточность языка R = 1 – (I∞ / I0) показывает долю лишнейинформации текстов данного языка. Лишней в том отношении, что эта доляопределяется структурой самого языка и может быть восстановлена в сообщениибез явного выражения в буквенном виде.3.7.

ЭКОНОМИЧЕСКАЯ ИНФОРМАЦИЯБольшое значение в условиях рыночной экономики приобретает своевременное икачественное использование информации в управлении всеми социальноэкономическими процессами. Такую информацию принять считать экономической.Экономическая информация – это та информация, которая возникает в процессепроизводственно – хозяйственной деятельности и используется при подготовке ипринятии управленческих решений. Это совокупность сведений, отражающихсоциально-экономические процессы и служащих для управления этими процессами иколлективами людей в производственной и непроизводственной сферах.Входная информацияОсведомляющаяВнутренняя информацияВыходная информацияПлановаяДирективнаяНормативносправочнаяПервичнаяУправляющаяОтчетная(статистическая)УчетнаяВходная информация поступает в орган управления извне.

Первичная информацияпоступает от объекта управления и образуется в результате измерения или подсчета.Остальная часть входной информации (осведомляющая и директивная) поступает изсторонних по отношению к управляющей системе органов. Поэтому ее называютвнешней. Директивная информация исходит из вышестоящих органов и можетвключать параметры и условия формирования обязательных (налоговых) выплат,плановые задания, выделенные лимиты. Осведомляющая информация поступает как отвышестоящих органов, так и от организаций непосредственного контакта с объектомуправления (поставщики, подрядчики, транспортные организации, посредники,финансовые институты, территориальные органы государственной власти).

Кисточникам информации собственно об объекте управления относится нормативносправочная информация (экономические, технологические, материальные и трудовыенормативы, расчетные коэффициенты, каталоги, номенклатурные справочники). Извходной и нормативно-справочной информации в результате обработки получается всеобилие производной информации. Получение производной информации является цельюобработки и определяет выбор соответствующих методов. Из производной информации22следует особо выделить учетную и плановую информации, которые являются основойвсего процесса управления. Окончательным итогом обработки можно считатьполучение выходных данных, часть которых направляется вышестоящим органам, ачасть к объекту управления.Особенности экономической информации:она дискретна, т.е.

характеризует состояние объекта, процесса или явлениялибо на определенный момент времени, либо за определенный интервал времени;представляется преимущественно в цифровой форме;характеризуется большим объемом, как переменных, так и условнопостоянных данных;имеет строго определенные сроки своего представления;обладает способностью к преобразованию, агрегированию по определеннымпризнакам;характеризуется возможностью использования одних и тех же данных, в томчисле и у разных потребителей.Экономическую информацию можно классифицировать по следующимнаправлениям:По месту возникновения – входная и выходная, внутренняя и внешняя.

Входнаяинформация – поступает в организацию извне. Выходная – информация изорганизации. Внутренняя информация возникает внутри объекта управления, авнешняя – за его пределами.По стадии обработки – первичная, вторичная, промежуточная, результатная.Первичная – возникает непосредственно в процессе деятельности объекта ирегистрируется на начальной стадии.

Вторичная – результат обработки первичной иможет быть промежуточной или результатной. Промежуточная используется вкачестве исходных данных для дальнейших расчетов. Результатная – используется длявыработки управленческих решений.По способу отображения – текстовая или графическая.По признаку стабильности – переменная (текущая) или постоянная (условно).По функциям управления – плановая, нормативно-справочная, учетная, оперативная.4. ПРЕДСТАВЛЕНИЕ ИНФОРМАЦИИ4.1. ПОНЯТИЕ О ФОРМАЛЬНОМ ЯЗЫКЕИнформацию, с которой имеет дело человек, можно разделить на два вида: насимвольную и образную. Символьная информация представляет собой сообщение ввиде последовательности знаков, воспринимаемая человеком в письменной или речевойформе.

Все остальное, не относящееся к этому, называется образной информацией.Образная информация – это сохраненные в памяти ощущения человека от контакта систочником, воспринимаемые всеми органами чувств человека.Для технических систем информатики приемлема лишь дискретная формапредставления данных, т.е. используются сообщения, составленные посредствомкакого-либо языка. Язык – это определенная система символьного представленияинформации.23Языки делятся на две группы: естественные и формальные.Представление информацииЯзык – система символьного представления информацииЕстественные языкиФормальные языкиЯзыки информатикиЯзыки других естественных наукЕстественные языки – это исторически сложившиеся языки национальной речи. Вузко профессиональных областях не всегда бывает возможным или удобным применятькакой-либо естественный язык. В этих случаях возникает потребность в специальныхязыках.