Как посчитать количество информации в сообщении v. Определение количества информации в сообщении

Количество информации (от англ. information content) ― мера информации, сообщаемой появлением события определенной вероятности; мера оценки информации, содержащейся в сообщении; мера, характеризующая уменьшение неопределенности, содержащейся в одной случайной величине относительно другой.
В 1928 г. американский инженер Р. Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N. I = log 2 N В 1948 г. американский учёный Клод Шеннон предложил другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.
I = ― (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N) = Н, где p i ― вероятность того, что именно i-е сообщение выделено в наборе из N сообщений, а Н ― информационная энтропия, которая характеризует степень неопределенности состояния источника, степень хаоса. Неопределенность снижается при приеме сообщения, т.е. получении информации. Поэтому получаемая информация, приходящаяся в среднем на один символ источника сообщений, количественно определяет степень уменьшения неопределенности.
Легко заметить, что если вероятности p i , ..., p N равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.
В качестве единицы информации Клод Шеннон предложил принять один бит. в теории информации ― это количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"-"решка", "чет"-"нечет" и т.п.). В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.
Бит ― слишком мелкая единица измерения. На практике чаще применяется более крупная единица ― байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2 8).
Широко используются также ещё более крупные производные единицы информации:
■ 1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,
■ 1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,
■ 1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт.
В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:
■ 1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт,
■ 1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт.
За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации.

Используемые источники:
1. Гуров И.П. Теория информации и передачи сигналов;
2. Шауцукова Л.З. Информатика 10 - 11;
3. glossary.ru.

Все мы привыкли к тому, что все вокруг можно измерить. Мы можем определить массу посылки, длину стола, скорость движения автомобиля. Но как определить количество информации, содержащееся в сообщении? Ответ на вопрос в статье.

Итак, давайте для начала выберем сообщение. Пусть это будет «Принтер — устройство вывода информации. «. Наша задача — определить, сколько информации содержится в данном сообщении. Иными словами — сколько памяти потребуется для его хранения.

Определение количества информации в сообщении

Для решения задачи нам нужно определить, сколько информации несет один символ сообщения, а потом умножить это значение на количество символов. И если количество символов мы можем посчитать, то вес символа нужно вычислить. Для этого посчитаем количество различных символов в сообщении. Напомню, что знаки препинания, пробел — это тоже символы. Кроме того, если в сообщении встречается одна и та же строчная и прописная буква — мы считаем их как два различных символа. Приступим.

В слове Принтер 6 различных символов (р встречается дважды и считается один раз), далее 7-й символ пробел и девятый — тире . Так как пробел уже был, то после тире мы его не считаем. В слове устройство 10 символов, но различных — 7, так как буквы с , т и о повторяются. Кроме того буквы т и р уже была в слове Принтер . Так что получается, что в слове устройство 5 различных символов. Считая таким образом дальше мы получим, что в сообщении 20 различных символов.

2 i =N

Подставив в нее вместо N количество различных символов, мы узнаем, сколько информации несет один символ в битах. В нашем случае формула будет выглядеть так:

2 i =20

Вспомним и поймем, что i находится в диапазоне от 4 до 5 (так как 2 4 =16, а 2 5 =32). А так как бит — минимальная и дробным быть не может, то мы округляем i в большую сторону до 5. Иначе, если принять, что i=4, мы смогли бы закодировать только 2 4 =16 символов, а у нас их 20. Поэтому получаем, что i=5, то есть каждый символ в нашем сообщении несет 5 бит информации.

Осталось посчитать сколько символов в нашем сообщении. Но теперь мы будем считать все символы , не важно повторяются они или нет. Получим, что сообщение состоит из 39 символов. А так как каждый символ — это 5 бит информации, то, умножив 5 на 39 мы получим:

5 бит x 39 символов = 195 бит

Это и есть ответ на вопрос задачи — в сообщении 195 бит информации. И, подводя итог, можно написать алгоритм нахождения объема информации в сообщении :

• посчитать количество различных символов.
• подставив это значение в формулу 2i=N найти вес одного символа (округлив в большую сторону)
• посчитать общее количество символов и умножить это число на вес одного символа.

1. Информация. Информационные объекты различных видов. Основные информационные процессы: хранение, передача и обработка информации. Роль информации в жизни людей.
2. Восприятие, запоминание и преобразование сигналов живыми организмами.
3. Понятие количества информации: различные подходы. Единицы измерения количества информации.
4. Обобщающий урок по теме, самостоятельная работа.

Урок.

• образовательные – дать понятие количества информации, познакомить с вероятностным и алфавитным подходом при определении количества информации, познакомить с единицами измерения информации, формировать практические навыки по определению количества информации.
• развивающие – продолжить формирование научного мировоззрения, расширять словарный запас по теме «Информация»
• воспитательные – формировать интерес к предмету, воспитывать настойчивость в преодолении трудностей в учебной работе.

1. Организационный этап (приветствие, определение отсутствующих на уроке)

2. Проверка домашнего задания, активизация знаний

по теме «Информация», полученных на предыдущих 2 уроках. С целью формирования речи, закрепления основополагающих понятий данной темы проверка домашнего задания проводится в виде фронтального устного опроса по следующим вопросам:

1. Что вы понимаете под информацией? Приведите примеры. Предполагаемые ответы: обычно учащиеся легко приводят примеры информации, которые они получают сами в окружающем мире – новости, школьный звонок, новые знания на уроках, сведения, полученные при чтении научно-популярной литературы, опыт и эмоции, полученные при чтении художественной литературы, эмоциональные переживания, полученные от прослушивания музыки, эстетические каноны, сведения о костюме и быте 18 века, эмоции, полученные при просмотре картин художников 18 века. Желательно, чтобы учащиеся приводили примеры информации и в технических, и в биологических системах и др. (форма бородки ключа содержит информацию о замке, определенная температура воздуха в помещении – информация для системы пожаротушения, в биологической клетке содержится информация о биологическом объекте, частью которого она является…)
2. Мы знаем, что две другие важные сущности мира вещество и энергия существовали до живых организмов на Земле. Существовала ли информация и информационные процессы до появления человека? Предполагаемый ответ – да, существовала. Например, информация, содержащаяся в клетке растения о виде растения, об условиях прорастания, размножения и пр. позволяет растению расти и размножаться без вмешательства человека; информация, накопленная поколениями хищных животных, формирует условные и безусловные рефлексы поведения следующих поколений хищников.
3. Вещество – то, из чего все состоит, энергия – то, что все приводит в движение. Верно ли суждение, что информация управляет миром. Обоснуйте свой ответ. Ответ: информация действительно управляет миром. Сигнал с Земли спутнику заставляет изменить траекторию его движения; если мы на пути видим лужу, то информация о ее виде, о том, что она мокрая и грязная, заставляет нас принять решение обойти лужу. Характерный жест человека (вытянутая вперед рука с вертикально расположенной ладонью) заставляет нас остановиться, информация на бородке ключа и форма щели замка позволяет принять решение о выборе ключа из связки, сформированные поколениями определенного вида птиц рефлексы управляют миграционными процессами. Читая художественную литературу, мы впитываем жизненный опыт героев, который влияет на принятие определенных решений в нашей собственной жизни; слушая определенную музыку, мы формируем соответствующий вкус, влияющий на наше поведение, окружение и пр.
4. Назовите виды информации по форме представления, приведите примеры. Ответ: числовая (цена на товар, числа в календаре), текстовая (книга, написанная на любом языке, текст учебников), графическая (картина, фотография, знак СТОП), звуковая (музыка, речь), видео (анимация + звук), командная (перезагрузить компьютер - нажатие клавиш Ctrl+Alt+Delete/Enter).
5. Какие действия можно производить с информацией? Ответ: ее можно обрабатывать, передавать, хранить и кодировать (представлять).
6. Назовите способы восприятия информации человеком. Ответ: человек воспринимает информацию с помощью 5 органов чувств - зрение (в форме зрительных образов), слух (звуки – речь, музыка, шум…), обоняние (запах с помощью рецепторов носа), вкус (рецепторы языка различают кислое, горькое, соленое, холодное), осязание (температура объектов, тип поверхности…)
7. Приведите примеры знаковых систем. Ответ: естественный язык, формальный язык (десятичная система счисления, ноты, дорожные знаки, азбука Морзе), генетический алфавит, двоичная знаковая система.
8. Почему в компьютере используется двоичная знаковая система для кодирования информации? Ответ: двоичная знаковая система используется в компьютере, так как существующие технические устройства могут надежно сохранять и распознавать только два различных состояния (знака).

3. Вероятностный подход к измерению количества информации (см. мультимедийную презентацию).

Сегодня мы с вами поговорим об измерении информации, т. е. об определении ее количества. (Учащиеся записывают тему урока в тетрадь – «Количество информации» ). Как вы думаете, какая из книг содержит большее количество информации (показать тонкую и толстую)? Как правило, учащиеся выбирают толстую, так как в ней больше записано слов, текста, букв (некоторые ребята задают вопрос о том, какого типа информация содержится в книге – графическая или текстовая? Следует уточнить, что в книге содержится только текстовая информация). Какое сообщение несет для вас больше информации «завтра учимся по обычному расписанию» или «завтра вместо литературы будет химия»? Учащиеся интуитивно ответят, что второе, потому что, несмотря на почти одинаковое количество слов, во втором сообщении содержится более важная, новая или актуальная для них информация. А первое сообщение вообще не несет никакой новой информации. Вы заметили, что посмотрели на информацию с точки зрения количества символов, в ней содержащихся, и с точки зрения ее смысловой важности для вас? Существует 2 подхода при определении количества информации – смысловой и технический (алфавитный). Смысловой применяется для измерения информации, используемой человеком, а технический (или алфавитный) – компьютером.

Для человека получение новой информации приводит к расширению знаний, или к уменьшению неопределенности. Например, сообщение о том, что завтра среда, не приводит к уменьшению неопределенности, поэтому оно не содержит информацию. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. Мы знаем до броска, что может произойти одно из двух событий – монета окажется в одном из двух положений: «орел» или «решка». После броска наступает полная определенность (визуально получаем информацию о том, что выпал, например, «орел»). Информационное сообщение о том, что выпал «орел» уменьшает нашу неопределенность в 2 раза, так как получено одно из двух информационных сообщений.

В окружающей действительности достаточно часто встречаются ситуации, когда может произойти больше, чем 2 равновероятных события. Так, при бросании шестигранного игрального кубика – 6 равновероятных событий. Событие выпадение одной из граней кубика уменьшает неопределенность в 6 раз. Чем больше начальное число событий, тем больше неопределенность нашего знания, тем больше мы получим информации при получении информационного сообщения.

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. (Выделенное курсивом учащиеся записывают в тетрадь).

Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:

N=2 I (N – количество возможных информационных сообщений, I – количество информации, которое несет полученное сообщение).

Для количественного выражения любой величины необходимо определить единицу измерения. Например, для измерения длины выбран определенный эталон метр, массы – килограмм.

4. Единицы измерения информации

За единицу измерения количества информации принимается такое количество информации, которое содержится в сообщении, уменьшающем неопределенность знания в 2 раза. Такая единица называется битом.

Вернемся к рассмотренному выше получению информационного сообщения о том, что выпал «орел» при бросании монеты. Здесь неопределенность уменьшилась в 2 раза, следовательно, это сообщение равно 1 биту. Сообщение о том, что выпала определенная грань игрального кубика, уменьшает неопределенность в 6 раз, следовательно, это сообщение равно 6 битам.

Минимальной единицей измерения количества информации является бит, а следующей по величине единицей – байт, причем

1 байт = 8 битов

В международной системе СИ используют десятичные приставки «Кило» (10 3), «Мега» (10 6), «Гига» (10 9),… В компьютере информация кодируется с помощью двоичной знаковой системы, поэтому в кратных единицах измерения количества информации используется коэффициент 2 n .

1 килобайт (Кбайт) = 2 10 байт = 1024 байт
1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт
1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт
1 терабайт (Тбайт) = 2 10 Гбайт = 1024 Гбайт

Терабайт – очень крупная единица измерения информации, поэтому применяется крайне редко. Всю информацию, которое накопило человечество, оценивают в десятки терабайт.

5. Определение количества информации

Задача 1. Определите количество экзаменационных билетов, если зрительное сообщение о номере одного вытянутого билета несет 5 битов информации. Количество билетов – это количество информационных сообщений. N=2 I = 2 5 = 32 билета.

Задача 2. Какое количество информации несет сообщение об оценке за контрольную работу? Вы можете получить за контрольную 2, 3, 4 или 5. Всего 4 сообщения (N=4). Формула принимает вид уравнения - 4=2 I = 2 2 , I=2.

Задания для самостоятельного выполнения: (формула всегда должна быть перед глазами, можно также вывесить таблицу со степенями 2) (3 мин.)

1. Какое количество информации мы получаем в зрительном сообщении о падении симметричной восьмигранной пирамиды на одну из граней? Ответ: 3 бита, потому что количество возможных событий (сообщений) N=8, 8=2 I = 2 3 , I=3.
2. Из непрозрачного мешочка вынимают шарики с номерами и известно, что информационное сообщение о номере шарика несет 5 битов информации. Определите количество шариков в мешочке. Ответ: в мешочке 32 шарика, т. к. N=2 I = 2 5 = 32.
3. Какое количество информации при игре в крестики-нолики на поле размером 4 Х 4 клетки получит второй игрок после первого хода первого игрока. Ответ: Количество событий до начала игры N=16, 16=2 I = 2 4 , I=4. Второй игрок после первого хода первого игрока получит 4 бита информации.

6. Алфавитный подход к определению количества информации

Суть технического или алфавитного подхода к измерению информации определяется по количеству использованных для ее представления знаков некоторого алфавита. Например, если при представлении числа XVIII использовано 5 знаков римского алфавита, то это и есть количество информации. То же самое число, т. е. ту же самую информацию, можно записать в десятичной системе (18). Как видим, получается 2 знака, т. е. другое значение количества информации. Для того, чтобы при измерении одной и той же информации получалось одно и то же значение количества информации, необходимо договориться об использовании определенного алфавита. Так как в технических системах применяется двоичный алфавит, то его же используют для измерения количества информации. Количество знаков в алфавите N=2, N=2 I , I – количество информации, которое несет один знак. 2 2 = 2 1 , I=1бит. Интересно, что сама единица измерения количества информации «бит» (bit) получила свое название от английского словосочетания «BI nary digiT » - «двоичная цифра».

Чем большее количество знаков в алфавите, тем большее количество информации несет 1 знак алфавита.

Определите самостоятельно количество информации, которое несет 1 буква русского алфавита.

Ответ: буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению информации).

Какое количество информации содержится в одном символе 8 разрядного двоичного кода (символ А – 11000000)? Ответ: 8 битов или 1 байт.

Практическая работа (раздаточный материал – инструкционная карта для выполнения практической работы) по определению количества информации с помощью калькулятора:

1. Определите информационный объем следующего сообщения в байтах (сообщение напечатано на карточке, карточки на каждой парте):

Количество информации, которое несет в себе знак, зависит от вероятности его получения. В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и в сто раз меньше количество букв «ф» (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» - наибольшая).

Определяем количество символов (количество символов в строке*количество строк) – 460 символов = 460 байт

Введите и сохраните этот текст на рабочем столе с помощью программы Блокнот. Определите информационный объем этого файла с помощью компьютера (Выделите объект àПКМ à Свойства) Ответ: 460 байт.

Можно записать этот текст в виде звукового файла 1.wav и сравнить с текстовым (Пуск à программы à стандартные à развлечения à звукозапись…). Определить его информационный объем с помощью компьютера – 5,28 Мб (5 537 254 байта). Объяснить учащимся, что это отличие вызвано различием в представлении звуковой и текстовой информации. Особенности такого представления будут рассмотрены позже.

2. Определите какое количество учебников поместится на диске, информационный объем которого 700 Мб. Ответ: 1. определить количество символов в учебнике (количество символов в строке*количество строк на странице * количество страниц) 60 * 30 *203 = 365400 символов = 365400 байт = 365400/1024/1024 Мб= 0,35 Мб. Количество учебников К=700/0,35= 2000 учебников.

7. Подведение итогов урока в форме фронтального опроса:

1. Какие существуют подходы к определению количества информации? Ответ: существует 2 подхода к измерению количества информации – смысловой и технический или алфавитный.
2. В чем состоит отличие одного подхода от другого? Ответ: при смысловом подходе количество информации – мера уменьшения неопределенности знания при получении информационного сообщения, при алфавитном – количество знаков в сообщении * количество информации, которое несет 1 знак алфавита.
3. Назовите единицы измерения информации от самых маленьких до самых больших. Ответ: бит, байт, Кб, Мб, Гб, Тб.
4. На какую величину отличается байт от Кб, Кб от Мб, Мб от Гб? Ответ: 1024 (2 10).
5. Сколько битов содержится в 1 байте? Ответ: 8.
6. Что такое бит при смысловом и алфавитном подходе к определению количества информации? Ответ: при смысловом подходе бит – уменьшение неопределенности знания в 2 раза при получении информационного сообщения; при алфавитном подходе бит – информационная емкость одного знака при двоичном кодировании.

8. Домашнее задание

1. Параграфы 1.3.1 и 1.1.3 (Н. Угринович «Информатика. Базовый курс. 8 класс») 2 вопроса на стр. 29 (1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знания. 2. Приведите примеры информационных сообщений, которые несут 1 бит информации).
2. Задачи: 1. Какое количество информации содержит сообщение об оценке за контрольную работу? 2. Вычислите, какое количество информации в битах содержится в 1 Кб, 1 Мб? 3. Рассчитайте, какое количество книг (дома возьмите любую художественную книгу) поместится на дискете, объемом 1,44 Мб.

Свойства информации

Понятие «информация» используется многими научными дисциплинами, имеет большое количество разнообразных свойств, но каждая дисциплина обращает внимание на те свойства информации, которые ей наиболее важны. В рамках нашего рассмотрения наиболее важными являются такие свойства, как дуализм, полнота, достоверность, адекватность, доступность, актуальность . Рассмотрим их подробнее.

Дуализм информации характеризует ее двойственность. С одной стороны, информация объективна в силу объективности данных, с другой – субъективна, в силу субъективности применяемых методов. Например, два человека читают одну и ту же книгу и получают подчас весьма разную информацию. Более объективная информация применяет методы с меньшим субъективным элементом.

Полнота информации характеризует степень достаточности данных для принятия решения или создания новых данных на основе имеющихся. И неполный и избыточный наборы данных затрудняют получение информации и принятие адекватного решения.

Достоверность информации – это свойство, характеризующее степень соответствия информации реальному объекту с необходимой точностью. При работе с неполным набором данных достоверность информации может характеризоваться вероятностью, например, при бросании монеты выпадет герб с вероятностью 50 %.

Адекватность информации выражает степень соответствия создаваемого с помощью информации образа реальному объекту, процессу, явлению. Получение адекватной информации затрудняется при недоступности адекватных методов.

Доступность информации – это возможность получения информации при необходимости. Доступность складывается из двух составляющих: доступности данных и доступности методов. Отсутствие хотя бы одного дает неадекватную информацию.

Актуальность информации. Информация существует во времени, т. к. существуют во времени все информационные процессы. Информация, актуальная сегодня, может стать совершенно ненужной по истечении некоторого времени. Например, программа телепередач на нынешнюю неделю будет неактуальна для многих телезрителей на следующей неделе.

Атрибутивные свойства (атрибут – неотъемлемая часть чего-либо). Важнейшими среди них являются - дискретность (информация состоит из отдельных частей, знаков) и непрерывность (возможность накапливать информацию).

Во всякой информации присутствует субъективная компонента. А возможно ли вообще объективно измерить количество информации? Важнейшим результатом теории информации является вывод о том, что в определенных условиях, можно, пренебрегая качественными особенностями информации, выразить ее количество числом , а следовательно, сравнивать количество информации, содержащейся в различных группах данных.

Количеством информации называют числовую характеристику информации, отражающую ту степень неопределенности, которая исчезает после получения информации.

Понятия «информация», «неопределенность», «возможность выбора» тесно связаны. Получаемая информация уменьшает число возможных вариантов выбора (т.е. неопределенность), а полная информация не оставляет вариантов вообще.

Какое количество информации содержится, к примеру, в тексте романа «Война и мир», во фресках Рафаэля или в генетическом коде человека? Возможно ли объективно измерить количество информации?

В научном плане понятие «информация» связывается с вероят­ностью осуществления того или иного события.

Вероятность – числовая характеристика степени возможности наступления события. Вероятность достоверного события (обяза­тельно должно произойти) равна 1, невозможного события (не про­изойдет никогда) – 0. Вероятность случайного события лежит в ин­тервале (0, 1). Например, вероятность выпадения «орла» при под­брасывании монеты равна 1/2, а вероятность выпадения каждой из граней при игре в кости – 1/6.

Случайным называется событие , которое может произойти, а может и не произойти. Примерами случайных событий могут слу­жить выпадение «орла» при подбрасывании монеты или число оч­ков (т.е. выпадение определенной грани) при игре в кости.

Американский инженер Р. Хартли (1928) процесс получения ин­формации рассматривал как выбор одного сообщения из конечного заранее заданного множества из N равновероятных сообщений, а количество информации I , содержащееся в выбранном сообщении, определяет как двоичный логарифм N .

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли I = log 2 N можно вычислить, какое количество информации для этого требуется: I = Iog 2 l00 = 6,644 бит, т.е. сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 бит.

Американский ученый Клод Шеннон предложил в 1948 г. другую формулу определения количества ин­формации, учитывающую возможную неодинаковую вероятность сообщений в наборе:

I = - (P 1 log 2 P 1 + Р 2 log 2 Р 2 + . . . + P N log 2 P N ),

где P i – вероятность того, что именно i -e сообщение выделено в наборе из N сообщений.

Если вероятности P 1 , Р 2 , …, P N равны, то каждая из них равна 1/N , и формула Шеннона превращается в формулу Хартли.

Анализ формулы показывает, что чем выше вероятность собы­тия, тем меньшее количество информации возникает после его осу­ществления, и наоборот. Если вероятность равна 1 (событие досто­верно), количество информации равно 0.

Если вероятность свершения или несвершения какого-либо со­бытия одинакова, т.е. равна 1/2, то количество информации, кото­рое несет с собой это событие, равно 1. Это и есть единица измере­ния информации, которая получила наименование бит .

Бит можно также определить как количество информа­ции, которое содержит один разряд двоичного числа (отсюда назва­ние «бит»: binary digit – двоичный разряд). Бит в теории информа­ции – количество информации , необходимое для различения двух равновероятных сообщений .

Количество информации, равное 8 битам, называется байтом . В восьми разрядах можно записать 256 различных целых двоичных чисел от 00000000 до 11111111. Широко используются более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт;

1 Мегабайт (Мбайт) = 1024 Кбайт;

1 Гигабайт (Гбайт) = 1024 Мбайт.

1 Терабайт (Тбайт) = 1024 Гбайт;

1 Петабайт (Пбайт) = 1024 Тбайт.