西安电子科技大学§ 离散型随机变量的平均自信息量(熵)2023322§ 离散型随机变量的平均自信息量(熵)2023322§ 离散型随机变量的平均自信息量(熵)
#
单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级第四章 无失真信源编码 第一节 引言第二节 码的分类第三节 等长信源编码定理第四节 变长信源编码定理第九节 游程编码算术编码冗长编码第六节 费诺编码第七节香农-费诺-埃里斯编码第五节 香农编码第八节 霍夫曼编码信源编码:以提高通信有效性为目的的编码通常通过压缩信源的冗余度来实现采用的一般方法是压缩每个信源符号的
单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级信息论与编码1信道与信道容量第三章23.1 信道分类和表示参数3.2 离散单个符号信道及其容量3.3 离散序列信道及其容量3.4 连续信道及其容量内容33.1 信道分类和表示参数4信道信道:信息传输的通道 在通信中信道按其物理组成常被分成微波信道光纤信道电缆信道等信号在这些信道中传输的过程遵循不同的物理规律 通信技
按照信源的特性对信源进行分类:根据信源发出的消息在时间上和幅度上是否连续 连续信源:发出的消息在时间上和幅度上都是连续分布 离散信源:发出的消息在时间上和幅度上都是离散分布根据信源发出的符号之间的相关性 无记忆信源:信源符号之间不相关 有记忆信源:信源符号之间具有某种相关性用概率空间表示单符号连续信源所涉及的概念: 信源输出的消息也是单个符号但消息的数量是无限的即随机变量X的取值是无限的:
单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级第三章 离散信道及其信道容量电气信息工程学院3.1 信道的数学模型及分类3.2 平均互信息及平均条件互信息3.3 平均互信息的特征3.4 信道容量及其一般计算方法小结本章主要内容:3.9 信源与信道的匹配第三章 离散信道及其信道容量本章的重难点内容:了解信道的分类及基本数学模型掌握平均互信息和平均条件互信息的概念和意义知道平均
#
本章主要讨论离散无记忆信源2单符号离散信源的离散熵①H(X)的非负性解: 该信源的数学模型为:H(p)如果信源每次发出的消息都是有限或可数的符号序列而这些符号都取值于同一个有限或可数的集合则称这种信源为多符号离散信源1离散平稳信源及其数学模型332023式中H(X2X1 )称为条件熵是条件信息量在联合概率上的数学期望x1211332023
有噪声信道编码的主要目的是提高传输可靠性增加抗干扰能力因此也称为纠错编码或抗干扰编码 对于有r个输入s个输出的信道来说可以有rs个不同的译码准则译码规则的选择应该使平均错误概率为最小只要设计译码规则选择译码函数若输入不是等概率分布其概率分布为联合概率矩阵按最大似然译码准则为:显然若重复更多次 一定可以进一步降低错误概率可计算得定理有噪信道编码逆定理(定理的逆定):设离散无记忆信道
第6章:信道编码§ 单符号离散信源的数学模型 信源输出的是一个个符号这些符号的取值是有限的或可数的随机矢量§ 单符号离散信源的数学模型2某地二月份天气的概率分布统计如下:4的变化而变化信源X先验不定度(联合自信息量) 这样通信后流经信道的信息量等于通信前后不定度的差是条件熵(6) 有限值 可为无穷
违法有害信息,请在下方选择原因提交举报