Лекционный курс по основам информатики, страница 4

Первая концепция (концепция К. Шеннона), отражая количественно-информационный подход, определяет информацию как меру неопределенности (энтропию) события. Количество информации в том или ином случае зависит от вероятности его получения: чем более вероятным является сообщение, тем меньше информации содержится в нем. Этот подход, хоть и не учитывает смысловую сторону информации, оказался весьма полезным в технике связи и вычислительной технике, послужил основой для измерения информации и оптимального кодирования сообщений. Кроме того, он представляется удобным для иллюстрации такого важного свойства информации, как новизна, неожиданность сообщений. При таком понимании информация - это снятая неопределенность, или результат выбора из набора возможных альтернатив.

Вторая концепция рассматривает информацию как свойство (атрибут) материи. Ее появление связано с развитием кибернетики и основано на утверждении, что информацию содержат любые сообщения, воспринимаемые человеком или приборами. Наиболее ярко и образно эта концепция информации выражена академиком В.М. Глушковым. Он писал, что "информацию несут не только испещренные буквами листы книги или человеческая речь, но и солнечный свет, складки горного хребта, шум водопада, шелест травы". Иными словами, информация как свойство материи создает представление о ее природе и структуре, упорядоченности, разнообразии и т.д. Она не может существовать вне материи, а значит, она существовала и будет существовать вечно, ее можно накапливать хранить перерабатывать.

Третья концепция основана на логико-семантическом (семантика - изучение текста с точки зрения смысла) подходе, при котором информация трактуется как знание, причем не любое знание, а та его часть, которая используется для ориентировки, для активного действия, для управления и самоуправления. Иными словами, информация - это действующая, полезная," работающая " часть знаний.

Теорию информации вызвали к жизни потребности практики. Ее возникновение связывают с работой американского математика Клода Шеннона «Математическая теория связи», изданной в 1946 г. (хотя Хартли проводил исследования в этой области еще в 1928 г.). Основы теории информации опираются на результаты, полученные многими учеными.

Ко второй половине XX века земной шар гудел от передающейся информации, бегущей по телефонным и телеграфным кабелям и радиоканалам. Позже появились электронные вычислительные машины - переработчики информации. А для того времени основной задачей теории информации являлось, прежде всего, повышение эффективности функционирования систем связи.

Информационная деятельность, информационные процессы и информационные технологии в целом - это совокупность методов и средств сбора, передачи, хранения и обработки информации. Условиями эффективного функционирования информационных систем является согласованность методологического, информационного, методического, программно-технического, лингвистического и организационного обеспечения.

Слово «информация» имеет широкий смысл. В обычном смысле информация – разновидность сообщений любой физической природы, несущих какие – либо сведения.

Научная информация должна ответить на вопрос о количестве информации и ее надежности, о методах преобразования и об эквивалентности различных видов информации. Соответствующую этим требованиям теорию и предложил Шеннон в 1948 г. Он указал критерий, позволяющий сравнить количество информации, доставляемой разными сигналами, на одном языке.

Прежде всего, им установлено, что понятие информации легко связать с понятием вероятности. Здравый смысл подсказывает, что если событие маловероятно, то его появление для нас имеет большую ценность, т.е. в нем содержится большая информация, и наоборот.

Пусть имеются исходы A_i событий с вероятностью P_i.

Например, выпадение дождя за год:

А_i – выпадение дождя в конкретный i – ый день;

Р_i – вероятность того, что он выпадет в этот день;

к – количество дней.

Очевидно Р₁ + Р₂ + … + Р_k = 1

При N испытаниях (несколько лет): NP_i = n_i

и т.д.

Можно положить информацию об А: inf (А) = f (Р)

Ее можно измерить, например, так:

Это логарифмическая мера информации о случайном исходе А события .

Практически больший интерес представляет целый опыт , поэтому вместо inf (A₁), inf (A₂), … inf (A_k) находят среднюю информацию Н ( ).

При N опытах с исходами А₁, А₂, … А_k

и вероятностями Р₁, Р₂, … Р_k

в сериях n₁, n₂, … n_k

Средняя информация Н( ) выражает меру неопределенности. Ибо чем «неопределеннее» исход опыта , тем труднее нам предсказать его заранее, тем большую информацию мы получаем, выяснив исход.

Шеннон назвал Н( ) энтропией . Этот термин в теорию информации пришел из термодинамики. Энтропия в разновесных системах равна отношению количества тепла, сообщенного системе, к ее температуре. Неравновесные процессы сопровождаются ростом энтропии, они приближают систему к состоянию равновесия, в котором энтропия максимальна.

Один из наиболее общих законов природы, получивший название второго начала термодинамики, гласит: в изолированной системе процессы протекают в сторону возрастания энтропии. Почти каждое слово здесь требует пояснения.

«Изолированной» называется система, которая не отдает накопленной в ней энергии и не получает энергии извне. Другими словами, это система, полностью отрезанная от внешнего мира.

Гораздо труднее сказать, что значит «процессы протекают в сторону возрастания энтропии». Была чашка и разбилась – энтропия возросла. Сгорел кусок угля – энтропия возросла. Наблюдается стремление Вселенной к полному равновесию (тепловая смерть Вселенной). Непрерывно уменьшается количество потенциальной энергии, которую можно перевести в работу. Белка бросает шишки с дерева. Шишки, падая, задевают и раскачивают ветки. Больше эти шишки работу совершить не могут, если не затратить дополнительную энергию, хотя сама материя никуда не делась.

Камень лежит на вершине скалы. Если он находится достаточно близко к краю или даже наполовину свешивается над обрывом, рано или поздно он упадет вниз. В этом-то и проявляется второе начало термодинамики – оно не любит острых горных вершин и глубоких ущелий (стремление ко всеобщему равновесию). А вот точно предсказать момент, когда это произойдет, не может никакая наука. Можно подсчитать только вероятность для камня упасть в течение заданного промежутка времени.

Энтропия, таким образом, это мера вероятности пребывания системы в данном состоянии.

Н ( ) всегда положительна.

Из всех опытов (“к” – их количество) самый неопределенный вариант, когда все события равновероятны, т.е.

При любых P_i < log K = H( )

Пример. Доказать формулу для двух событий (основание логарифмов считаем больше единицы) при следующих вероятностях:

Д ано: Р₁ = Р₁ = Р₂ = Р =

К = 2 К = 2

Р₂ = (опыт ) (опыт о)

Значит,

Возьмем для двух событий другое соотношение вероятностей:

Р₁ = Р₂ =

Это указывает на то, что система с равновесными состояниями наиболее неопределенна, т.е. ее энтропия максимальна (как в термодинамике).

Выбор основания логарифмов связан с выбором единицы измерения энтропии и информации. Он в достаточной степени произволен.

Из алгебры известно:

Все величины энтропии опытов просто умножаются на постоянный множитель, т.е. возможно изменение единиц измерения.

Если принять за основу двоичный логарифм, то информация будет равна единице при :

при ,

что соответствует равновероятности двух событий или равновероятности каждого из двух состояний.

Эта единица называется двоичной единицей или битом, т.е. это количество информации, которое дает система, имеющая два равновероятных состояния, например «орел» – «решка».

Если принять основание логарифмов равным 10, то единица информации получится из 10 равновероятностных событий.

при

Эта единица называется десятичной единицей информации или дитом (в настоящее время не употребляется).

Сама система (любая изучаемая система) характеризуется совокупностью числа исходов. Полная совокупность несовместимых исходов называется ансамблем Х.

К аждому значению X_i состояния системы можно поставить в соответствие вероятность его осуществления:

Х₁, Х₂, Х₃, . . . X_i, . . . X_n

X =

P₁ (X₁) P₂ (X₂) P₃ (X₃) . . . P_i (X_i ) . . . P_n (X_n)

Очевидно, что

Информацию об Х можно оценить убылью неопределенности системы, т.е.