I( x ) = H( x ) – H₁( x ),

где H (x) – энтропия до опыта,

Н₁ (х) – после опыта.

Если после опыта неопределенность в системе равна нулю, то говорят, что получена информация, равная энтропии системы:

I( x ) = H( x )

Энтропия Н (х) имеет максимальное значение, когда все n исходов Х равновероятны. Формула Хартли:

Н (х) =

С помощью прибора мы не можем получить максимальную информацию. Потеря части информации вызвана неопределенностью системы из-за шумового воздействия самого измерителя.

П ример. n = 2. Распределение Н (х):

H

1

0 0,5 1 P

Теория информации проникла во многие науки, в том числе в технические и экономические. Учение об информации, возникшее в силу потребностей теории связи и кибернетики, перешагнуло их рамки.

Многие научные дисциплины используют теорию информации, чтобы подчеркнуть новое направление в старых науках. Так возникла, например, информационная экономика.

Но чрезвычайно большое значение приобрел термин «информация» в связи с развитием новейшей компьютерной техники, автоматизацией умственного труда, развитием новых средств связи и обработки информации и особенно с возникновением информатики.

Одной из важнейших задач теории информации является изучение природы и свойств информации, создание методов ее обработки, в частности преобразования самой различной современной информации в программы для ЭВМ, с помощью которых происходит автоматизация умственной работы - своеобразное усиление интеллекта, а значит, развитие интеллектуальных ресурсов общества.

3. АРИФМЕТИЧЕСКИЕ ОСНОВЫ ЭВМ

3.1. Системы счисления

Существует много различных систем счисления. Некоторые из них распространены, другие распространения не получили. Наиболее простая и понятная для вас система счисления - десятичная (основание 10). Понятна она потому, что мы используем ее в повседневной жизни. Но для ЭВМ десятичная система счисления крайне неудобна - необходимо иметь в цепях 10 различных уровней сигналов.

3.2. Позиционные и непозиционные системы счисления

Существуют позиционные и непозиционные системы счисления. Древние египтяне применяли систему счисления, состоящую из набора символов, изображавших распространенные предметы быта. Совокупность этих символов обозначала число. Расположение символов в числе не имело значения, отсюда и появилось название непозиционная система. К таким системам относится и римская, в которой впервые все величины представлялись с помощью прямолинейных отрезков. Людям приходилось либо рисовать громоздкие строки повторяющихся символов, либо увеличивать алфавит этих символов. Это и явилось общим недостатком непозиционных систем счисления.

В римской системе для записи больших чисел над символами основного алфавита ставилась черточка, которая обозначала: число надо умножить на 1000. Но все эти «маленькие хитрости» были бессильны перед проблемой записи очень больших чисел, с которыми сегодня приходится иметь дело вычислительным машинам. Выход из положения был найден, как только стали применять позиционные системы. В такой системе счисления число представляется в виде определенной последовательности нескольких цифр. Место каждой цифры в числе называют позицией. Первая известная нам система, построенная на позиционном принципе, - шестидесятеричная вавилонская. Цифры в ней были двух видов, одним из которых обозначались единицы, другим - десятки. При определении числа учитывали, что цифры в каждом следующем разряде были в 60 раз больше тех же самых цифр из предыдущего разряда. Запись числа была неоднозначной, так как не было цифры для определения нуля. Следы вавилонской системы сохранились и до наших дней в способах измерения и записи величин углов и времени.

Однако главную роль в нашей жизни играет индо-арабская система, где имеется ограниченное число значащих цифр - всего 9, а также символ 0 (нуль). Индийцы первыми использовали 0 для указания позиционной значимости величины в строке цифр. Эта система получила название десятичной, так как в ней было десять цифр.

В эпоху вычислительной техники получили практическое применение восмеричная, шестнадцатеричная и двоичная системы счисления, которые являются ее основой.

Итак, позиционная система!!!! В ней каждой позиции присваивается определенный вес p_i, где p - основание системы счисления.

Например, четырехпозиционное число можно представить следующим образом: a=a₃p₃+a₂p₂+a₁p₁+a₀p₀,

где a_i соответствует цифре.

Вес p_i увеличивается от позиции к позиции справа налево пропорционально. В качестве такой пропорции выступает степень основания. Таким образом, веса в позиционной системе счисления приобретают вид p_+n, ..., p₊₂, p₊₁, p₊₀. Вышеприведенный пример тогда имеет вид: a=a₃p₃+a₂p₂+a₁p₁+ a₀p₀. Если a_i есть множество десятичных чисел, а основание p=10, то значение числа a вычисляется, например, так: a=510³ +410²+810¹+310⁰=5483.

Для того чтобы представлять дробные числа, применяется отрицательный показатель степени основания:

a=a_-1p_-1+a_-2p_-2=110^-1+ 510^-2=0.15.

В общем виде число в позиционной системе счисления записывается и вычисляется так:

a=a_m-1p_m-1+a_m-2p_m-2+…+a₁p₁ + a₀p₀+ a_-1p_-1+ a_-2p_-2+… + a_-np_-n,

В общем виде число в позиционной системе счисления записывается и вычисляется так:

a=a_m-1p_m-1+a_m-2p_m-2+…+a₁p₁ + a₀p₀+ a_-1p_-1+ a_-2p_-2+… + a_-np_-n,

где m -число цифр, расположенных слева от точки,

n – число цифр, расположенных справа.

Пример для десятичной системы (p=10):

a=a₂p₂+a₁p₁+a₀p+a_-1p_-1+a_-2p_-2=

=410²+210¹+210⁰+110^-1+510^-2=432,15₁₀

Пример для двоичной системы счисления (p=2):

a=12²+02¹+12⁰+02^-1+02^-2=101,1₂=5,5₁₀/

В целом числе предполагается, что точка (запятая) находится справа от правой крайней цифры. Возможные нули в правых, левых и крайних позициях числа не влияют на величину числа и поэтому не отображаются. Действительно, число 432.15 равно числу 000423.150. Такие нули называются незначащими. Крайняя левая цифра в числе называется цифрой старшего разряда, а крайняя правая - цифрой младшего разряда.

3.3. Двоичная система счисления

Столь привычная для нас десятичная система оказалась неудобной для ЭВМ. Если в механических вычислительных устройствах, использующих десятичную систему, достаточно просто применить элемент со множеством состояний (колесо с девятью зубьями), то в электронных машинах надо было бы иметь 10 различных потенциалов в цепях. Наиболее просто реализуются элементы с двумя состояниями - триггеры. Поэтому естественным был переход на двоичную систему, т.е. систему по основанию 2. В этой системе всего две цифры - 0 и 1. Каждая цифра называется двоичной (от английского binary digit - двоичная цифра). Сокращение от этого выражения (binary digit, bit) привело к появлению термина бит, ставшего названием разряда двоичного числа. Веса разрядов в двоичной системе изменяется по степеням двойки. Поскольку вес каждого разряда умножается либо на 1, либо на 0, то в результате значение числа определяется как сумма соответствующих значений степеней двойки. Ниже в таблице показаны значения весов для 8-pазpядного числа (1 байт).

Если разряд двоичного числа равен 1, то он называется значащим разрядом. Ниже показан пример накопления суммарного значения числа за счет значащих битов:

Нетрудно догадаться, что максимальное значение двоичного числа ограничено числом его разрядов и определяется по формуле M=2ⁿ-1, где n-число разрядов. В вычислительной технике эти числа имеют фиксированные значения 4, 8, 16, 32 и т.д., а соответствующие им числа будут иметь следующие максимальные значения:

3.4. Арифметические действия и коды чисел

Арифметические действия, выполняемые в двоичной системе, подчиняются тем же основным правилам, что и в десятичной системе. Только в двоичной системе перенос единиц в старший разряд происходит несравнимо чаще. Вот как выглядит таблица сложения в двоичной системе:

0 + 0 = 0

0 + 1 = 1

1 + 0 = 1

1 + 1 = 0 + перенос=1

Примеры.

11010 10111

+10010 +1000

101100 11111

Для упрощения аппаратных средств современных вычислительных машин их арифметические устройства не содержат специальных схем выполнения вычитания. Эта операция производится тем же устройством, которое выполняет сложение, т.е. сумматором. Но для этого вычитаемое должно быть преобразовано из прямого кода, с которым мы познакомились выше, в специальный код. Ведь в десятичной системе тоже приходится преобразовывать числа: сравните: 13 - 5 и 13 + (-5). Такой обратный код в двоичной системе получают путем изменения в числе всех разрядов на противоположные - операции инвертирования. Например, инвертирование числа 0101 даст число 1010. Опыт выполнения операций над числами в обратном коде показал, что они требуют ряда дополнительных преобразований, неизбежно ведущих к усложнению аппаратных средств. Поэтому широкого распространения этот код не получил.

При выполнении математических действий результат может получиться не только положительным, но и отрицательным. Как же представить знак минус в схемах машины, если в них фиксируется лишь два состояния - 1 и 0? Договорились знак числа определять самым левым битом. Если число положительное, то этот бит (знаковый) равен нулю (сброшен), если отрицательное - единице (установлен). Решение о введении знакового разряда сказалось на максимальных величинах представляемых чисел. Максимальное положительное 16-битное число равно +32767, а отрицательное –32768. Оказалось, что наиболее удобно оперировать двоичными данными в дополнительном коде. Единственная сложность - надо прибавить единицу к обратному коду числа - получится дополнительный код.

В таблице приведены десятичные числа и их двоичные представления в трех различных формах. Интересно в ней вот что. Если начать счет с числа 1000 (-8) и двигаться вниз по столбцам, то в дополнительном коде каждое последующее число получается прибавлением единицы к предыдущему без учета переноса за пределы четвертого разряда. Так просто эту операцию в прямом и обратном кодах не осуществить. Эта особенность дополнительного кода и явилось причиной предпочтительного применения его в современных ЭВМ.