|
|
источник статьи: Большая Советская Энциклопедия |
00 ® 0, 01 ® 10, 10 ® 110, 11 ® 111, можно сократить запись почти вдвое. Максимальная доля «лишних» знаков определяется по статистическим свойствам рассматриваемого источника сообщений и также называется его избыточностью. В этом понимании И. с. R определяется по формуле где m — число букв алфавита, а Н — энтропия источника на букву сообщения. Можно подсчитать, что в приведённом примере И. с. равна 0,53. Минимальной И. с. R = 0 обладает только последовательность, в которой знаки независимы и с вероятностью 1/m могут быть равны любой из m букв алфавита. Практически важен вопрос об оценке избыточности конкретных форм сообщений (таких, как письменная и устная речь, фототелеграммы, телевизионные изображения). Величина И. с. в них оказывается обычно значительной. Так, например, И. с. английской письменной речи не менее 0,6. Большая избыточность позволяет лучше расп ознать передаваемые сообщения при наличии помех в каналах связи. С этой точки зрения не всегда следует стремиться к уменьшению И. с. Ю. В. Прохоров. |