>>67479

> Что это? С чем едят? Как считают?

http://ru.wikipedia.org/wiki/Информационная_энтропия

> Какую опасность представляют для мира, где информация - главная ценность?

Опасности не представляет, просто информация с высоким уровнем энтропии хуже поддается сжатию.

>>67480

>http://ru.wikipedia.org/wiki/Информационная_энтропии

Спасибо кэп, что бы я без вас делал...

>Опасности не представляет, просто информация с высоким уровнем энтропии хуже поддается сжатию.

При достаточно высоком уровне энтропии не зависимо от кодировки информацию без потерь вообще передать нельзя тащемта, особенно если шумы хаотичны.

>>67481

> При достаточно высоком уровне энтропии не зависимо от кодировки информацию без потерь вообще передать нельзя тащемта

Ты сделал мой день.

>>67484
Ок, тогда объясни мне что такое эта ваша информационная энтропия.

>>67487
Ссылка на вику была выше. Если в трех словах то что-то вроде "уровня хаотизации информации"

>>67488

>уровня хаотизации информации

Ну вот, наши взгляды совпадают. Так получается что энтропия есть хаос, дезорганизация. Как следствие, при передаче данных чем выше энтропия - тем выше вероятность того, что информация будет исковеркана и никакие хитрые алгоритмы не помогут.

насколько я помню, энтропия есть уровень знания получателя о принимаемых данных. если энтропия равна нулю, то мы знаем получаемые данные не передавая их.

а вообще у неё много значений.

>>67491
Но мы говорим именно об информационной.
Я предлагаю Шеноновское определение.

>информация — противоположность энтропии (хаоса, неопределенности, беспорядка), следовательно, она есть возможность уменьшения неопределенности: чем больше информации содержит система, тем выше степень ее упорядоченности

>>67490
почему ты думаешь, что хаотичная информация не может быть разбита на маленькие куски, попадающие под какой-то паттерн?

>>67495

>почему ты думаешь, что хаотичная информация не может быть разбита на маленькие куски, попадающие под какой-то паттерн?

Потому, что она "хаотичная" то есть формируется без каких-либо определённых законов. А твои "маленькие куски" могут быть бинарными сигналами - ценности не представляющими.

Алсо, определение информационного хаоса в студию.

>>67490

> Как следствие, при передаче данных чем выше энтропия - тем выше вероятность того, что информация будет исковеркана и никакие хитрые алгоритмы не помогут.

>>67500
Пруф?

>>67501

>>67502
И что это.

Объясните на пальцах же - что такое эта ваша энтропия и с чем её едят?

>>67512
Тебе же объясняли, но ты начинаешь нести десу же.

>>67518
Я не могу понять в чём измеряется хаотичность и почему вы утверждаете что информация при этом не теряется. Вот например сигнал "nowere" как посчитать его информационную энтропию?

>>67552

> Я не могу понять в чём измеряется хаотичность

У нее нет каких-то конкретных единиц измерения.

> почему вы утверждаете что информация при этом не теряется

Потому что она не теряется.

> Вот например сигнал "nowere" как посчитать его информационную энтропию?

Считаем вероятность появления каждого символа n=1/6, o=1/6, w=1/6, e=1/3, r=1/6; дальше используем формулу Шенона: -(1/6*log(1/6)*4/log(2)+1/3*log(1/3)/log(2))=~2.25

>>67559

>У нее нет каких-то конкретных единиц измерения.

И её бессмысленно сравнивать? Тогда зачем она нужна?

>Потому что она не теряется.

Энтропия - антипод информации. Ты получаешь меньше информации и теряешь исходное послание.

>Считаем вероятность появления каждого символа n=1/6, o=1/6, w=1/6, e=1/3, r=1/6; дальше используем формулу Шенона: -(1/6*log(1/6)*4/log(2)+1/3*log(1/3)/log(2))=~2.25

Горжусь новерем и тобой в частности, но что бы ты сделал если бы ты не знал что зашифрованно именно "nowere"? Тогда тебе пришлось бы считать через все возможные слова + их вероятности?Да и не факт что ты собрал бы новерь при большой энтропии, а не полиндром?

>>67570

> И её бессмысленно сравнивать? Тогда зачем она нужна?

Нет, просто это безразмерная величина.

> Энтропия - антипод информации.

Wrong.

> но что бы ты сделал если бы ты не знал что зашифрованно именно "nowere"?

Не зная самой информации нельзя оценить ее энтропию.

>>67479
Никакой опасности. Уровень шума способствует самоорганизации в диссипативных системах.

>>67570
да ты же просто путаешь энтропию сложной системы (источник + приемник), где можно посчитать условную энтропию - мера, которая может охарактеризовать потери информации в канале, и, собственно, информационную энтропию, что есть мера однородности распределения разных символов в сообщении.
Пример:
"фшфшфшфш" и "ффффшшшш" - при одинаковом алфавите сообщений и одинаковой длине у первого сообщения больше энтропия чем у второго. Сечешь?

cat /dev/urandom | grep shit
x0k?bshit/??G?%?zA??)0??j ?_bO}i\?֌??͆?xq?=??~w[ӣ???
gk??O?3|=<<N?X??Ih?ໄK???9?~?shit2?s5Lpv?1ȟV?a?Lź???OfS????????bc?????