单符号离散信源的数学模型自信息量:熵函数的公理构成熵函数的公理构成H(Y) =- =1(比特符号)信息熵的代数性质信息熵的解析性质信息熵的最大值(6)可加性信息熵的解析性质凸函数的几何解释: 函数图象上的任意两点确定的弦在其图象的下方.单符号离散信源的数学模型() 自信息和信源熵(—) 熵的基本性质和定理(—) 加权熵及其基本性质() (3)连续性(5)均匀性(9)扩展性
3自信息量8联合自信息量def:两个事件同时发生时对外提供的信息量定义为:二维联合集XY上的联合概率的对数负值记作:XY相互独立时 14互信息量的其他表达形式及各自的物理意义从整体通信系统观察21二本的录取分数线是500单位最大离散熵定理:设信源中有n个符号则 H(X)<=log2n当且仅当等概时取等号证明: 要证H(X)<=log2n 即证H(X)-log2n<=0H(XY
信息论与编码习题参考答案第一章 单符号离散信源同时掷一对均匀的子试求:(1)2和6同时出现这一事件的自信息量(2)两个5同时出现这一事件的自信息量(3)两个点数的各种组合的熵(4)两个点数之和的熵 (5)两个点数中至少有一个是1的自信息量解: (3)信源空间:X(11)(12)(13)(14)(15)(16)P(X)136236236236236236X(22)(23)(24)(25)(26)P(
单击此处编辑母版标题样式单击此处编辑母版文本样式第二级第三级第四级第五级第2章 单符号离散信道概述信道的数学模型(2.1) 信道的交互信息量(2.2) 条件交互信息量(2.3) 平均交互信息量及其性质(2.4—2.8) 信道容量(2.9—2.13)概述信息论对信道研究的内容什么是信道信道的作用研究信道的目的本章学习达到的目的概述信息论对信道研究的内容:信道的建模:用恰当的输入输出两个随机过程来描述
第三章 信源及信源熵 信源种类连续信源 BUPT Press BUPT Press根据统计独立的多维随机变量的联合熵与信息熵之间的关系可以推出: BUPT Press BUPT Press
以采样周期 对正弦波取样取样频率为 单位为赫兹离散取样点 取样后得到的正弦序列为又被称为归一化频率6.正弦型序列正弦型序列定义为式中 为幅度 为数字域频率它表示序列变化的快慢速率 为初相 的单位为弧度6 7 8 9 10 则 周期序列周期为N12 copyright?赵越 ise_序列的每一项乘以标量 00n0
我定义 信源中某个事件(消息符号)的自信息量:I(xi) = -log p(xi)定义 信源的平均自信息量(信源熵): N次扩展信源的熵不是无记忆:p(xy)=p(x)平稳:p(x)不变实质:条件概率转移概率:pij(mn)=P{Xn=SjXm=Si}=P{Xn=jXm=i}含义:时刻m系统处于状态Si经(n-m)步后转移到状态Sj的概率已知在时刻m系统处于状态Si的条件下在时刻n系统处于状
离散周期信号举例1例 判断正弦序列f(k) = sin(βk)是否为周期信号,若是,确定其周期。解 f (k) = sin(βk) = sin(βk + 2mπ) , m = 0,±1,±2,…式中β称为数字角频率,单位:rad。由上式可见: 仅当2π/ β为整数时,正弦序列才具有周期N = 2π/ β。当2π/ β为有理数时,正弦序列仍为具有周期性,但其周期为N= M(2π/ β),M取使N为整数的最小整数。当2π/ β为无理数时,正弦序列为非周期序列。
离散周期信号举例1例 判断正弦序列f(k) = sin(βk)是否为周期信号,若是,确定其周期。解 f (k) = sin(βk) = sin(βk + 2mπ) , m = 0,±1,±2,…式中β称为数字角频率,单位:rad。由上式可见: 仅当2π/ β为整数时,正弦序列才具有周期N = 2π/ β。当2π/ β为有理数时,正弦序列仍为具有周期性,但其周期为N= M(2π/ β),M取使N为整数的最小整数。当2π/ β为无理数时,正弦序列为非周期序列。
离散周期信号举例2例判断下列序列是否为周期信号,若是,确定其周期。(1)f1(k) = sin(3πk/4) + cos(05πk) (2)f2(k) = sin(2k)解 (1)sin(3πk/4) 和cos(05πk)的数字角频率分别为 β1 = 3π/4 rad, β2 = 05π rad由于2π/ β1 = 8/3, 2π/ β2 =4为有理数,故它们的周期分别为N1 = 8 , N2 =
违法有害信息,请在下方选择原因提交举报