设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆
设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆信源S,其符号集为S信源符号集的两倍,A={ai}i=1,2,…,2q,并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1,2,…,q) Pi=εPi-q(i=q+1,q+2,…,2q) 试写出信源S的信息熵与信源S的信息熵的关系。
设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆信源S,其符号集为S信源符号集的两倍,A={ai}i=1,2,…,2q,并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1,2,…,q) Pi=εPi-q(i=q+1,q+2,…,2q) 试写出信源S的信息熵与信源S的信息熵的关系。
第1题
某离散无记忆信源S的符号集A={a1,a2,a3,a4,a5,a6,a7,a8},各符号的概率分别为:0.1,0.2,0.2,0.3,0.05,0.05,0.05,0.05;
第2题
设S为一离散无记忆信源,其符号集合为{0,1},概率分布为p(0)=0.995,p(1)=0.005。令信源符号序列的长度为n=100,假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求:
第3题
设m阶马尔可夫信源S,其符号集A={x1,x2,…xq},又设p1,p2,…,pq为其平稳后的一维概率分布,现定义一无记忆信源,它的符号集也是A={x1,x2,…,xq},又其符号概率分布等于m阶马尔可夫信源S平稳后的一维概率分布,称信源为m阶马尔可夫信源的伴随信源,试证明。
第4题
设离散无记忆信源X通过离散无记忆信道{X,PY|X,Y}传送信息,设信源的概率分布为:
信道线图如图所示。
试求:
(1)从输出符号bj(j=1,2)中所获得的关于输入符号ai(i=1,2)的信息量;
(2)信源X和信道输出Y的熵;
(3)信道损失熵H(X|Y)和噪声熵H(Y|X);
(4)从信道输出Y中获得的平均互信息量I(X;Y)。
第6题
第7题
第8题
有离散无记忆信源,其失真度为汉明失真度。
(1)求Dmin和R(Dmin),并写出相应试验信道的信道矩阵;
(2)求Dmax和R(Dmax),并写出相应试验信道的信道矩阵;
(3)若允许平均失真度D=1/3,试问信源的每一个信源符号平均最少由几个二进制码符号表示?
第9题
6.设信源U={0,1,2,3}无记忆,各符号等概率分布,信宿V={0,1,2,3,4,5,6}。失真函数定义为
证明其率失真函数R(D)如图所示。
第10题
设一离散无记忆信道的输入符号集为{a1,…,aK},输出符号集为{b1,…,bJ},信道转移概率为p(bj|ak),k=1,…,K;j=1,…,J。若译码器以概率γkj(k=1,…,K;j=1,…,J)对收到的bj判决为ak。试证明对于给定的输入分布,任何随机判决方法得到的错误概率不低于最大后验概率译码时的平均译码错误概率。