单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级HUST -- Information and Coding Theory -- Wang Fu rong单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级
单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级熵与平均互信息第2章 熵与平均互信息信息如何度量2.1 熵信源发出的消息为单一符号这些符号随机取值于一个有限集合1单符号离散信源定义表示离散型随机变量X随机变量X的取值xi为信源发出的消息 i=12…N例12自信息消息xi所对应的概率P(xi)对数的负值用I(xi)表示定义表示单位由对数的底a决定——当a=2时为bit(bi
一平均互信息量的定义y2=0 p(y2)计算步骤:1)计算联合概率:5)计算平均互信息量:通信过程中信息在信道中的损失量信源发出消息X前后关于信宿Y的平均不确定性的消除程度X空间2非负性随着处理器数目的增多输入消息和输出消息之间的平均互信息量一般趋于变小
单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级普通高等教育十五国家级规划教材《信息论与编码》单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级普通高等教育十五国家级规划教材《信息论与编码》单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级普通高等教育十五国家级规划教材《信息论与编码》单击此处编辑母版标题样式单击此处编辑母版文本样
概率分布的散度(相对熵)平均互信息的散度表示连续随机变量的互信息随机序列平稳的概念平稳信源的熵
最简单的离散信源a5x2 x2116
单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级 第二讲 信息量和熵信源信道信宿噪声源编码器译码器消息干扰接收信号消息数字通信系统模型有效性可靠性Revie
§向量的物理背景及概念编制人:余永敏 审核人:张平 签字:【学习目标】了解向量的物理背景掌握向量的概念【问题导学】什么叫做向量数量与向量有什么区别(向量的概念)小试牛刀1:下列物理量中那些是向量哪些是数量①质量②速度③位移④力⑤加速度⑥路程⑦密度【答案】1.答:把既有大小又有方向的量叫做向量区别:向量既有大小又有方向数量只有大小没有方向物理学中:把向量
#
信息论的发展是以信息可以度量为基础的度量信息的量称为信息量对于随机出现的事件它的出现会给人们带来多大的信息量考虑到通信系统或很多实际的信息传输系统对于所传输的消息如何用信息量的方法来描述本章将围绕这些问题展开讨论5考虑一个单符号离散信源它的输出被传送给对此感兴趣的一方设x1为最大可能的输出xN为最小可能的输出例如假设信源输出代表天气情况x1为晴或多云天气xN为冰雹或其它强对流天气哪个输出包含更多的
违法有害信息,请在下方选择原因提交举报