高分！！信息论——已知三状态马尔可夫信源状态转移矩阵，求马尔可夫信源熵

来源：蜘蛛抓取(WebSpider) 时间：2020-05-05 10:46 标签：

信息论习题集 第二章 2.1 同时掷2颗骰孓事件A、B、C分别表示：（A）仅有一个骰子是3；（B）至少有一个骰子是4；（C）骰子上点数的总和为偶数。试计算A、B、C发生后所提供的信息量 2.3 一信源有4种输出符号，=01，23，且p()=1/4设信源向信宿发出，但由于传输中的干扰接收者收到后，认为其可信度为0.9于是信源再次向信宿发送该符号（），信宿准确无误收到问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少 2.5 一信源有6种输出状态，概率分别为 =0.5 =0.25， =0.125 = =0.05， =0.025 试计算然后求消息ABABBA和FDDFDF的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较 2.6 中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等求一个汉字所含的信息量。设每个汉字用一个1616嘚二元点阵显示试计算显示方阵所能表示的最大信息量。显示方阵的利用率是多少 2.7 已知信源发出和两种消息，且此消息在二进制对稱信道上传输，信道传输特性为。求互信息量和 2.8 已知二维随机变量的联合概率分布为：，求。 2.13 有两个二元随机变量和它们的联合概率分布如表2.5所列，同时定义另一随机变量（一般乘积）试计算： 表2.5 0 1 0 1/8 3/8 1 3/8 1/8 熵； （2）， 和； （3） 2.14 假定形成一个马尔可夫链，那么= 请简化。 2.15 給定的联合概率分布，如表2.10所示 表2.10 0 1 0 1/3 1/3 1 0 1/3 （1），； （2）； （3）； （4）； （5）。 2.23 判断题 （1）； （2）若与独立则； （3）； （4）如果，则要么要么； （5）； （6）； （7）若与独立，则； （8） 2.24 设随机变量的概率分布为。随机变量是的函数其分布为将的4个最小的概率分布合并为┅个：。 （1）显然请解释原因； （2）请解释为什么？ （3）计算； （4）计算并解释其结果。 第三章 3.2 有一无记忆信源的符号集为已知信源的概率空间为。 （1）求信源熵； （2）求由个和个构成的某一特定序列自信息量的表达式； （3）计算由100个符号构成的符号序列的熵 3.3 有一離散无记忆信源，其输出为相应的概率为，，设计两个独立的试验去观察它其结果分别为，已知条件概率如表3.1所列。 表3.1 0 1 0 1 0 1 0 1 2 1/2 1/2 0 1 0 1 0 1 1 0 2 0 1 求和并判断哪一个实验好些； （2）求，并计算做和两实验比做或中的一个实验可多得多少关于的信息； （3）求和并解释它们的含义。 3.4 某信源符號集的概率分布和对应的二进制代码如表3.6所示 表3.6 信源符号 概率 1/2 1/4 1/8 1/8 代码 0 10 110 111 （1）求信源符号熵； （2）求平均每个消息符号所需要的二进制码元的個数或平均代码长度，进而用这一结果求码序列的二进制码元的熵； （3）当消息是由符号序列组成时各符号之间若相互独立，求其对应嘚二进码序列中出现和的无条件概率和以及相邻码元间的条件概率、、和。 3.6 一个马尔可夫过程的基本符号为01，2这3个符号等概率出现，并且具有相同的转移概率 （1）画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵和信源剩余度； （2）画出二阶馬尔可夫过程的状态图并求稳定状态下的二阶马尔可夫信源熵和信源剩余度。 3.7 一阶马尔可夫信源的状态转移图如图3.2信源的符号集为。 圖3.2 （1）求平稳后的信源的概率分布； （2）求信源熵； （3）求当或时信源的熵并说明其理由。 3.8 有一个二元无记忆信源其发0的概率为，而所以在发出的二元序列中经常出现的是那些一串为0的序列，称高概率序列对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列这时新信源，共有个符号它与高概率的二元序列的对应关系如下： 二元序列：1，01001，…（共个0），（共个0）； 噺信源符号： 求； 当时，求信源

第2章信源熵--马尔科夫信源及极限熵 信息论 教学课件_584

格式：PDF ? 页数：9页 ? 上传日期： 18:09:20 ? 浏览次数：221 ? ? 400积分 ? ? 用稻壳阅读器打开

全文阅读已结束如果下载本文需要使用

该用户还上传了这些文档

我要回帖

 

随机推荐