单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级西安电子科技大学第三章:信源编码(一)离散信源无失真编码§3.1 信源及其分类§3.2 离散无记忆(简单)信源的等长编码§3.3 离散无记忆(简单)信源的不等长编码§3.4 最佳不等长编码20224161§3.1 信源及其分类信源的概念 (直观地理解信源就是信息的来源但是这里必须要注意两点):在一个固定的时刻信源发出
#
第三节:平均码长界限定理第四节:无失真信源编码定理第五节 Huffman 编码含义:每一个码符号所能携带的信息量平均码长界限定理证明——下界定义2Fano 编码——概率r等份由此例可见:Fano 法效率低仍不尽人意例合并后的概率和尽量处于高位可减小方差11误传
单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级第五章 信道编码1错误概率与译码规则错误概率与编码方法信道编码定理本章主要内容2信道编码目的:提高抗干扰能力使差错率最小实质:增加冗余度扩大信号空间增大信 号间距离重要
单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级第2章 离散信源及其信息度量 2.1 信源的分类及描述2.2 信源的数学模型2.3 离散信源信息的度量与信源熵2.4 信息熵的基本性质2.5离散无记忆的扩展信源2.6 离散平稳信源2.7 马尔可夫信源2.8 信源的相关性和剩余度
西安电子科技大学§ 分组码的概念2023426§ 分组码的概念2023426§ 线性分组码2023426§ 线性分组码2023426生成矩阵H232023426§ 译码方法和纠错能力2023426§ 译码方法和纠错能力2023426d(yu)=[(dmin-1)2]1d(c y)=dmin-1-[(dmin-1)2]2023426§ 译码方法和纠错能力dmin=3[(dmin-1)2
3失真度计算举例8R(D)已知 p(u) 和 d(uv) 求 I ( U V ) 极小值约束条件为14181高斯信源的率失真函数R(D)25
等长信源编码定理 编 码 器码字长度或码长码1s3变长码(1) 信源符号对应的码是非奇异码 等长码的唯一可译性s211码元数为r :取对数:且对于离散无记忆信源 定理 渐进等分割性(AEP): 若 随机序列中 相互统计独立并且服从同一概率分布 又
参考书目 本学科的理论奠基人: 香 农 shannon 先修课程: 概率论 随机过程 数理统计 通信技术. 文字—书信 符号—电报 数据—股市 语言—汉语 音符—歌曲 图象—电视节目信道编码 统计信息的测度 不确定性Z 的不确定程度最大 研究对象——通信系统模型信 道 4 译码器: 把已叠加干
第二层内涵的信息不是产生于机械的反映而是产生于能动的反映也就是说不是简单地取得外界消息而是要经过接收者的改造加工才能获得(1). 这种信息只是在作为信宿的接受主体中实现的它是依赖于主体的认识能力而这又与主体对于信息的整理加工分不开(2). 把关于客观环境的信息和主体的目的结合起来加工得出规范主体本身在一定客观环境中所进行的物质和能量活动的形式的东西亦即关于主体行为方式的信息(相对论乐观悲观)决策过
违法有害信息,请在下方选择原因提交举报