已知离散无记忆信源如下，试求：

设离散无记忆信源X通过离散无记忆信道{X,P_Y|X,Y}传送信息，设信源的概率分布为：

信道线图如图所示。

试求：

(1)从输出符号b_j(j=1,2)中所获得的关于输入符号a_i(i=1,2)的信息量；

(2)信源X和信道输出Y的熵；

(3)信道损失熵H(X|Y)和噪声熵H(Y|X)；

(4)从信道输出Y中获得的平均互信息量I(X;Y)。

有离散无记忆信源，其失真度为汉明失真度。

(1)求D_min和R(D_min)，并写出相应试验信道的信道矩阵;

(2)求D_max和R(D_max)，并写出相应试验信道的信道矩阵;

(3)若允许平均失真度D=1/3，试问信源的每一个信源符号平均最少由几个二进制码符号表示？

设离散无记忆信源S其符号集A={a1，a2，…，aq}，知其相应的概率分布为(P1，P2，…，Pq)。设另一离散无记忆信源S，其符号集为S信源符号集的两倍，A={ai}i=1，2，…，2q，并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1，2，…，q) Pi=εPi-q(i=q+1，q+2，…，2q) 试写出信源S的信息熵与信源S的信息熵的关系。

设S为一离散无记忆信源，其符号集合为{0，1}，概率分布为p(0)=0.995，p(1)=0.005。令信源符号序列的长度为n=100，假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求：

(1)信源无记忆时，有当且仅当信道无记忆时等式成立。

(2)信道无记忆时，有当且仪当信源无记忆时等式成立。

13．有一离散无记忆信源，其输出为X∈{0，1，2}，相应的概率为P(0)=1/4，P(1)=1/4，P(2)=1/2，设计两个独立试验去观察它，其结果分别为Y₁∈{0，1)，Y₂∈{0，1}，已知条件概率如表1所示。

某离散无记忆信源S的符号集A={a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈}，各符号的概率分别为：0.1，0.2，0.2，0.3，0.05，0.05，0.05，0.05；

1．设有两相关离散无记忆信源S₁=S₂={0，1}，且

其中α∈{0, 0.3，0.5，0.7，1}。对各α值求出速率对的界限，并说明参数α的作用。