Задачи по Теории Информации

[harvos]

К сожалению, у меня сложилась весьма сложная ситуация, связанная с зачетом по вышеуказанному

предмету. Так что если хотя бы некоторые из перечисленных здесь задач будут решены, я буду весьма

благодарен =)



1) Пусть исходы вероятностных схем А и В связаны соотношением:
 а=хb+y, для любых а из А и b из В.
Найти связь между энтропиями схем Н(А) и Н(В).

2) Построить двоичный код Хемминга Н(15, 11, 3).
Выписать порождающую и проверочную матрицы G,H.
Закодировать информационную последовательность g=(11111100000).

3) Посчитать пропускную способность канала, образованного последовательным соединением двух ДСК.
(ДСК - двоичный симметричный канал без памяти)

4) ДКПБ [A,B; P] называется аддитивным по модулю kб если его входным и выходным алфавитами является

множество символов {0, 1, ..., k-1} и вход А связан с выходом В и шумом С посредством равенства

b=a+c (mod k).
Вход и шум статистически независимы.
(ДКПБ - двоичный канал без памяти, задается вероятностной схемой А на входе, множеством символов на

выходе В и переходными вероятностями Р)
Необходимо:
Доказать,  что I(A;B)=H(B)-H(C)
Выразить пропускнуб способность С* рассматриваемого канала через энтропию шума Н(С)
Найти входное распределение, на котором достигается пропускная способность С*


Заранее спасибо.