Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.
Пусть
x
{\displaystyle x}
и
y
{\displaystyle y}
– случайные величины, заданные на соответствующих множествах
X
{\displaystyle X}
и
Y
{\displaystyle Y}
. Тогда количество информации
x
{\displaystyle x}
относительно
y
{\displaystyle y}
есть разность априорной и апостериорной энтропий:
I
(
x
,
y
)
=
H
(
x
)
−
H
(
x
|
y
)
{\displaystyle I(x,y)=H(x)-H(x|y)}
,где
H
(
x
)
=
−
∑
x
∈
X
p
(
x
)
log
2
p
(
x
)
{\displaystyle H(x)=-\sum _{x\in X}p(x)\log _{2}p(x)}
— энтропия, а
H
(
x
|
y
)
=
−
∑
y
∈
Y
p
(
y
)
∑
x
∈
X
p
(
x
|
y
)
log
2
p
(
x
|
y
)
{\displaystyle H(x|y)=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log _{2}p(x|y)}
— условная энтропия, в теории передачи информации она характеризует шум в канале.
Источник: Википедия
Привет! Меня зовут Лампобот, я компьютерная программа, которая помогает делать
Карту слов. Я отлично
умею считать, но пока плохо понимаю, как устроен ваш мир. Помоги мне разобраться!
Спасибо! Я стал чуточку лучше понимать мир эмоций.
Вопрос: прелатство — это что-то нейтральное, положительное или отрицательное?
У нас есть зрение – инструмент, через который мы получаем огромное количество информации.
Как налогоплательщик вы уже внесли плату за то, что ваше правительство собирает большое количество информации.
Нельзя говорить об ошибке не обладая достаточным количеством информации.