5235-1 (662841), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

Актуализация - получение информации с помощью активизации, инициализации её, т.е. переводом из статического (неактуального) состояния в динамическое (актуальное) состояние; при этом все необходимые связи и отношения (открытой) системы с внешней средой должны быть сохранены.

Визуализация - получение информации с помощью визуального представления состояний актуализированной системы; визуализация предполагает возможность выполнения операции типа “передвинуть”, “повернуть”, “укрупнить”, “уменьшить”, “удалить”, “добавить” и т.д. (как по отношению к отдельным элементам, так и к подсистемам системы).

В последнее время часто используются и такие формы как мониторинг (система наблюдений и анализа состояний системы), деловые игры и ситуации, экспертные оценки (экспертное оценивание), имитация (имитационная процедура, эксперимент) и др.

Охарактеризуем кратко теоретические методы.

Восхождение от абстрактного к конкретному - получение знаний о системе на основе знаний о его проявлениях в сознании, в мышлении.

Идеализация - получение знаний о системе или о ее подсистемах путём мысленного конструирования, представления в мышлении систем и/или подсистем, не существующих в действительности.

Формализация - получение знаний о системе с помощью знаков или же формул, т.е. языков искусственного происхождения, например, языка математики (или математическое, формальное описание, представление).

Аксиоматизация - получение знаний о системе или процессе с помощью некоторых, специально для этого сформулированных аксиом и правил вывода из этой системы аксиом.

Виртуализация - получение знаний о системе созданием особой среды, обстановки, ситуации, которую реально, без этой среды невозможно реализовать и получить соответствующие знания.

Все эти методы получения информации обычно применяются многоуровневым комплексным образом и можно предложить схему

3. Измерение сообщений и информации

Если отвлечься от конкретного смыслового содержания информации и рассматривать сообщения информации как последовательности знаков, сигналов, то их можно представлять битами, а измерять в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах и петабайтах.

Выше было отмечено, что информация может пониматься и интерпретироваться по разному. Вследствие этого имеются различные подходы к определению методов измерения информации, меры количества информации. Раздел информатики (теории информации) изучающий методы измерения информации называется информметрией.

Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности, определённости, выбору (вероятности) состояний отображаемой системы.

Если рассматривается система, которая может принимать одно из n возможных состояний, то актуальна задача оценки такого выбора, исхода. Такой оценкой может стать мера информации (или события). Мера - это некоторая непрерывная действительная неотрицательная функция, определённая на множестве событий и являющаяся аддитивной т.е. мера конечного объединения событий (множеств) равна сумме мер каждого события.

1. Мера Р. Хартли. Пусть имеется N состояний системы S или N опытов с различными, равновозможными последовательными состояниями системы. Если каждое состояние системы закодировать, например, двоичными кодами определённой длины d, то эту длину необходимо выбрать так, чтобы число всех различных комбинаций было бы не меньше, чем N. Наименьшее число, при котором это возможно или мера разнообразия множества состояний системы задаётся формулой Р. Хартли: H=k log_а N, где k - коэффициент пропорциональности (масштабирования, в зависимости от выбранной единицы измерения меры), а - основание системы меры.

Если измерение ведётся в экспоненциальной системе, то k=1, H=lnN (нат); если измерение - в двоичной системе, то k=1/ln2, H=log₂N (бит); если измерение - в десятичной системе, то k=1/ln10, H=lgN (дит).

Пример. Чтобы узнать положение точки в системе из двух клеток т.е. получить некоторую информацию, необходимо задать 1 вопрос ("Левая или правая клетка?"). Узнав положение точки, мы увеличиваем суммарную информацию о системе на 1 бит (I=log₂ 2). Для системы из четырех клеток необходимо задать 2 аналогичных вопроса, а информация равна 2 битам (I=log₂4). Если система имеет n различных состояний, то максимальное количество информации равно I=log₂ n.

Справедливо утверждение Хартли: если во множестве X={x₁, x₂, ..., x_n} выделить произвольный элемент x_iÎ X, то для того, чтобы найти его, необходимо получить не менее log_a n (единиц) информации.

По Хартли, для того, чтобы мера информации имела практическую ценность - она должна быть такова, чтобы отражала количество информации пропорционально числу выборов.

Пример. Имеются 192 монеты из которых одна фальшивая. Определим сколько взвешиваний нужно произвести, чтобы определить ее. Если положить на весы равное количество монет, то получим 2 возможности (мы сейчас отвлекаемся от того, что в случае фальшивой монеты таких состояний будет два - состояния независимы): а) левая чашка ниже; б) правая чашка ниже. Таким образом, каждое взвешивание дает количество информации I=log₂2=1 и, следовательно, для определения фальшивой монеты нужно сделать не менее k взвешиваний, где k удовлетворяет условию log₂2^k³ log₂192. Отсюда, k³ 7 или, k=7. Следовательно, нам необходимо сделать не менее 7 взвешиваний (достаточно семи).

Пример. ДНК человека можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК или нуклеотид. Определим сколько информации (в битах) содержит ДНК, если в нем содержится примерно 1,5´ 10²³ нуклеотидов. На один нуклеотид приходится log₂(4)=2 (бит) информации. Следовательно, структуры ДНК в организме человека позволяет хранить 3´ 10²³ бит информации. Это вся информация, куда входит и избыточная. Реально используемой, - структурированной в памяти человека информации, - гораздо меньше. В этой связи, заметим, что человек за среднюю продолжительность жизни использует около 5 — 6 % нейронов (нервных клеток мозга - “ячеек ОЗУ человека”). Генетический код - чрезвычайно сложная и упорядоченная система записи информации. Информация заложенная в генетическом коде (по учению Дарвина) накапливалась многие тысячелетия. Хромосомные структуры - своеобразный шифровальный код и при клеточном делении создаются копии шифра, каждая хромосома - удваивается, в каждой клетке имеется шифровальный код, при этом каждый человек получает, как правило, свой набор хромосом (код) от матери и от отца. Шифровальный код разворачивает процесс эволюции человека. Вся жизнь, как отмечал Э. Шредингер, “упорядоченное и закономерное поведение материи, основанное ... на существовании упорядоченности, которая поддерживается всё время”.

Формула Хартли отвлечена от семантических и качественных, индивидуальных свойств рассматриваемой системы (качества информации, содержащейся в системе, в проявлениях системы с помощью рассматриваемых N состояний системы). Это основная положительная сторона этой формулы. Но имеется и основная отрицательная сторона: формула не учитывает различимость и различность рассматриваемых N состояний системы.

Уменьшение (увеличение) Н может свидетельствовать об уменьшении (увеличении) разнообразия состояний N системы.

Обратное, как это следует из формулы Хартли (основание логарифма берётся больше 1!), - также верно.

Мера К. Шеннона. Формула Шеннона дает оценку информации независимо, отвлеченно от ее смысла:

n I = — å p_i log₂ p_i . i=1

где n - число состояний системы; р_i - вероятность (или относительная частота) перехода системы в i-ое состояние, причем сумма всех p_i равна 1.

Если все состояния равновероятны (т.е. р_i=1/n), то I=log₂n.

К. Шенноном доказана теорема о единственности меры количества информации. Для случая равномерного закона распределения плотности вероятности мера Шеннона совпадает с мерой Хартли. Справедливость и достаточная универсальность формул Хартли и Шеннона подтверждается и данными нейропсихологии.

Пример. Время t реакции испытуемого на выбор предмета из имеющихся N предметов линейно зависит от log₂N: t=200+180log₂N (мс). По аналогичному закону изменяется и время передачи информации в живом организме. В частности, один из опытов по определению психофизиологических реакций человека состоял в том, что перед испытуемым большое количество раз зажигалась одна из n лампочек, которую он должен указать. Оказалось, что среднее время, необходимое для правильного ответа испытуемого, пропорционально не числу n лампочек, а именно величине I определяемой по формуле Шеннона, где p_i - вероятность зажечь лампочку номер i. .

Легко видеть, что в общем случае:

n I = — å p_i log₂ p_i £ log₂n. i=1Если выбор i - го варианта предопределен заранее (выбора, собственно говоря, нет, p_i=1), то I=0.

Сообщение о наступлении события с меньшей вероятностью несёт в себе больше информации, чем сообщение о наступлении события с большей вероятностью. Сообщение о наступлении достоверно наступающего события несёт в себе нулевую информацию (и это вполне ясно, - событие всё равно произойдёт когда-либо).

Пример. Если положение точки в системе известно, в частности, она - в k-ой клетке, т.е. âñå р_i=0, кроме р_k=1, то тогда I=log₂1=0 и мы здесь новой информации не получаем.

Пример. Выясним, сколько бит информации несет каждое двузначное число со всеми значащими цифрами (отвлекаясь при этом от его конкретного числового значения). Так как таких чисел может быть всего 90 (10 - 99), то информации будет количество I=log₂90 или приблизительно I=6.5. Так как в таких числах значащая первая цифра имеет 9 значений (1- 9), а вторая - 10 значений (0-9), то I=log₂90=log₂9+log₂10. Приблизительное значение log₂10 равно 3.32. Итак, сообщение в одну десятичную единицу несет в себе в 3.32 больше информации, чем в одну двоичную единицу (чем log₂2=1), а вторая цифра в, например, числе аа несёт в себе больше информации, чем первая (если цифры разряда а неизвестны; если же эти цифры а известны, то выбора нет - информация равна нулю).

Если в формуле Шеннона обозначить f_i = —n log₂ p_i , то получим, что I можно понимать как среднеарифметическое величин f_i .

Отсюда, f_i можно интерпретировать как информационное содержание символа алфавита с индексом i и величиной p_i вероятности появления этого символа в сообщении, передающем информацию.

Пусть сообщение состоит из n различных символов, m_i - количество символов номер i=1, 2, .... n в этом сообщении, а N - длина сообщения в символах. Тогда вероятность появления i-го символа в сообщении равна p_i=m_i/N. Число всех различных сообщений длины n будет равно

n

p=N! / Õ m_i! .

i=1

Информация в одном таком сообщении равна

n

I=log₂ p=ln p / ln 2 = ln ( N! / Õ m_i!)/ln 2 .

i=1

Используя формулу Стирлинга (достаточно точна, например, при N>100) - N!» (N/e)^N , а точнее, её следствие - ln N! » N(ln N — 1) получаем (в битах):

n n

I » (N ln N — å m_i ln m_i ) / ln 2=— (N / ln 2) å p_i ln p_i .

i=1 i=1

Пример. Пусть рассматривается алфавит из двух символов русского языка - “к” и “а”. Относительные частоты встречаемости этих букв в частотном словаре русского языка равны соответственно p₁=0.028, p₂=0.062. Возьмем произвольное слово p длины N из k букв “к” и m (k+m=N) букв “а” над этим алфавитом. Число всех таких возможных слов, как это следует из комбинаторики, равно n=N!/(k! m!). Оценим количество информации в таком слове: I=log₂ n=ln n / ln2=log₂e [ln N! — ln k! — ln m!]. Воспользовавшись следствием приведённой выше формулой Стирлинга получаем оценку количества информации (в битах) на 1 символ любого слова:

I₁=I/N» (log₂e/N)[(k+m)( ln N —1) — k(ln k—1) — m(ln m —1)]=

=(log₂e/N)[k ln(N/k) — m ln(N/m)]=

=— log₂e[(k/N) ln(k/N) + (m/N) ln(m/N)]£

£ —log₂e [p₁ ln p₁+p₂ ln p₂]=—log₂e[0.028 ln0.028+0.062 ln0.062]» 0.235.

Пример. В сообщении 4 буквы “a”, 2 буквы “б”, 1 буква “и”, 6 букв “р”. Определим количество информации в одном таком (из всех возможных) сообщений. Число N различных возможных сообщений длиной в 13 букв будет равно величине: N=13!/(4!´ 2!´ 1!´ 6!)=180180. Количество информации I в одном сообщении будет равно величине: I=log₂(N)=log₂180180» 17.5 (бит).

Если k- коэффициент Больцмана, известный в физике как k=1.38´ 10^-16 эрг/град, то выражение

n S = —k å p_i ln p_i i=1в термодинамике известно как этропия или мера хаоса, беспорядка в системе. Сравнивая выражения I и S видим, что I можно понимать как информационную энтропию (энтропию из-за нехватки информации о/в системе).

Нулевой энтропии соответствует максимальная информация. Основное соотношение между энтропией и информацией:

I+S(log₂e)/k=const

или в дифференциальной форме

dI/dt= —((log₂e)/k)dS/dt.

Основными положительными сторонами формулы Шеннона является её отвлечённость от семантических и качественных, индивидуальных свойств системы, а также то, что в отличие от формулы Хартли она учитывает различность, разновероятность состояний - формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу удобной для практических вычислений. Основные отрицательные стороны формулы Шеннона: она не различает состояния (с одинаковой вероятностью достижения, например), не может оценивать состояния сложных и открытых систем и применима лишь для замкнутых систем, отвлекаясь от смысла информации.

Увеличение (уменьшение) меры Шеннона свидетельствует об уменьшении (увеличении) энтропии (организованности) системы. При этом энтропия может являться мерой дезорганизации систем от полного хаоса (S=S^max) и полной информационной неопределённости (I=I^min) до полного порядка (S=S^min) и полной информационной определённости (I=I^max) в системе.

Пример. Чем ближе движущийся объект к нам, тем полнее информация обрабатываемая нашими органами чувств, тем чётче и более структурирован (упорядочен) объект. Чем больше информации мы имеем о компьютерной технике, тем меньше психологический барьер перед ним (согласно основному соотношению между энтропией и информацией).

3. Термодинамическая мера. Информационно-термодинамический подход связывает величину энтропии системы с недостатком информации о её внутренней структуре (не восполняемым принципиально, а не нерегистрируемым). При этом число состояний определяет, по существу, степень неполноты наших сведений о системе.

Характеристики

Список файлов реферата