信息论与编码基础

1. 信息论与编码基础 离散信源 一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源 四、离散平稳信源 五、信源的剩余度

2. 信息论与编码基础 离散信源 一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源 四、离散平稳信源 五、信源的剩余度

3. D.S C.S 由随机变量描述 信源输出的消息 由随机矢量描述 由随机过程描述 信息论与编码基础 离散信源 • 信源的分类 07314575707 离散信源：电报、文字、代码 连续信源：模拟语音、模拟视频

4. 信息论与编码基础 离散信源 • 概念 样本空间 事物所有可能选择的消息的集合。 概率空间 一个样本空间和它的概率测度。

5. 例 若扔一颗均匀的骰子，分析研究其下落后， 朝上一面的点数。 信息论与编码基础 离散信源 1) 信源输出的消息由随机变量描述

6. 信息论与编码基础 离散信源 定义2.1若信源输出的消息数是有限的或可数的，而且每次只输出符号集中的一个消息，这样的信源称为简单的离散信源。 信源空间

7. 例 箱子中有红、黄、蓝、白四种不同颜色的彩球，它们大小 质量、重量完全一样。若从这个箱子中任意摸取出一个球，并 把球的颜色当作试验的结果。这个随机试验就可看作是一个单 符号离散信源。信源的输出符号集就是四种不同的颜色A：{红 黄、蓝、白}，试构建这个信源的信源空间。 信息论与编码基础 离散信源 样本 概率

8. 信息论与编码基础 离散信源 定义2.2若信源输出的是单个符号的消息，但是其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的，这样的信源称为简单的连续信源。 或 或 例如：语音信号；遥控系统中测得的电压、温度、压力等连续数据。

9. 信息论与编码基础 离散信源 • 复杂信源 例1：中文自然语言文字信源 气 牛 冲 天 例2：离散化的平面灰度图像信源

10. 信息论与编码基础 离散信源 2) 信源输出的消息由随机矢量描述 定义2.3若离散信源输出的消息是由一系列符号所组成的（不妨假设由N个符号组成，其中N为有限正整数或可数的无限值），这样的信源称为多维的离散信源。

11. 信息论与编码基础 离散信源 其中 1)离散无记忆信源 扩展信源 2)离散有记忆信源 马尔可夫信源

12. 信息论与编码基础 离散信源 2) 信源输出的消息由随机矢量描述 定义2.4若连续信源输出的消息是由一系列符号所组成的，这样的信源称为多维的连续信源。 连续平稳信源： 随机矢量的各维概率密度都与时间起点无关

13. 模拟语音 模拟视频 信息论与编码基础 离散信源 3) 信源输出的消息由随机过程描述 随机波形信源 只要是时间上或频率上为有限的过程，就可以把随机过程用一系列 时间离散的取样值来表示，而每个取样值都是连续型随机变量。 随机过程 随机序列 离散信源

14. 信息论与编码基础 离散信源 一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源 四、离散平稳信源 五、信源的剩余度

15. 信息论与编码基础 离散信源 1、自信息 2、信源的信息熵 3、熵的基本性质

16. 信息论与编码基础 离散信源 • 简单的离散信源模型

17. 相互独立 信息论与编码基础 离散信源 1、自信息 期末考试中，我挤进了班级十强。 期末考试中，我挤进了年级十强。 305教学楼已经开始使用。 小明体育经常不及格，昨天测试成绩排名第一。 现在正在进行《信息论与编码基础》课程学习。 北京天安门前有游客在照相。

18. 自信息含义 当 发生以前，表示 发生的不确定性 当 发生以后，表示 所提供的信息量 信息论与编码基础 离散信源 • 自信息 r = 2 bit r = e nat r = 10 hart 含义

19. 信息论与编码基础 离散信源 • 证明

20. 信息论与编码基础 离散信源 例 假设一次掷两个各自均匀、互相不可区分又互不相关的骰子。如事件（A）（B）（C）分别表示：(A)仅有一个骰子是3；（B）至少有一个骰子是4；（C）骰子点数的总和是偶数。试计算事件（A）（B）（C）发生后所提供的信息量。

21. 例 设有n个球，每个球都能以同样的概率1/N落到N个格子的每 一个格子中，其中 。假定A表示某指定的n个格子中各落入 一个球；B表示任何n个格子中各落入一个球。试计算事件A,B发 生后各自提供的信息量。 信息论与编码基础 离散信源

22. 的自信息 联合事件集合XY中的事件 定义为 信息论与编码基础 离散信源 • 联合自信息 简记为

23. 事件 给定条件下的自信息 在事件 定义为 信息论与编码基础 离散信源 • 条件自信息 简记为 在事件y=b给定条件下，在x=a发生前的不确定性； 在事件y=b给定条件下，在事件x=a发生后所得到的信息量

24. 信息论与编码基础 离散信源 例 I(xy) = log64 = 6 bit I(x|y) = log8 = 3 bit

25. 信息论与编码基础 离散信源 2、信源的信息熵 信息单位/信源符号

26. 信息论与编码基础 离散信源 例 从另一角度领会信息熵的含义 若布袋内放100个球。其中，70个是红色（a1）;30个是白色（a2）。现随机摸出一个球，猜是什么颜色。 bit/sign

27. 三个信源 信息论与编码基础 离散信源 例2 1 bit事件

28. 例3 掷一个均匀硬币直到出现“正面”为止。令X表示所需掷的次数 求随机变量X的信息熵H(X)。 信息论与编码基础 离散信源

29. 信息熵的物理含义 信息论与编码基础 离散信源 • 信息熵具有三种物理含义 • 表示信源输出后，每个消息所提供的平均信息量 • 表示信源输出前，信源的平均不确定性 • 表示信源的随机性

30. 信息论与编码基础 离散信源 一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源 四、离散平稳信源 五、信源的剩余度

31. 信息论与编码基础 离散信源 1、自信息 2、信源的信息熵 3、熵的基本性质

32. 信息论与编码基础 离散信源 3、熵的基本性质 概率矢量 H(0.3, 0.4, 0.3) H(0.3) 熵函数

33. 信息论与编码基础 离散信源 3、熵的基本性质 1)非负性

34. 信息论与编码基础 离散信源 3、熵的基本性质 2)确定性

35. 3)对称性 信息论与编码基础 离散信源 3、熵的基本性质 例设X,Y,Z三个信源 天气情况 学术会议参与者肤色 节日上空彩球

36. 信息论与编码基础 离散信源 3、熵的基本性质 4)扩展性

37. 信息论与编码基础 离散信源 5)可加性 信源X,Y统计独立

38. 极值性 信息论与编码基础 离散信源 6)极值性 最大离散熵定理

39. H(ω) 1 ω 0 0.5 1 信息论与编码基础 离散信源 例，二元信源（1，0）的信息熵 H(0,1) 确定性 极值性 H(0.5,0.5)

40. 思考题1 设X是取值为有限个的随机变量，如果： H(X)和H(Y)的不等关系是什么？ 信息论与编码基础 离散信源 • 思考题

41. 思考题3 比较概率分布 的熵与概率分布 的熵的大小？ 信息论与编码基础 离散信源 思考题

42. 信息论与编码基础 离散信源 一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源 四、离散平稳信源 五、信源的剩余度

43. 信息论与编码基础 离散信源 简单的离散信源 N次扩展信源

44. 例 设离散无记忆信源 其发出的消息为（2021201302130012032101103210100 21032011223210），求此消息的自信息量是多少？ 解： 信息论与编码基础 离散信源

45. 定理2.1 对于DMS X的N次 扩展信源 其熵为X熵的 N倍，即 信息论与编码基础 离散信源

46. 例：设X为二元离散无记忆信源，其概率空间为例：设X为二元离散无记忆信源，其概率空间为 信息论与编码基础 离散信源 X的二次扩展 X的三次扩展

47. 信息论与编码基础 离散信源 一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源 四、离散平稳信源 五、信源的剩余度

48. 信息论与编码基础 离散信源 1、概念 2、二维平稳信源 3、一般离散平稳信源

49. 定义2.4 若信源X的各维联合概率分布 均与时间 起点无关，即 完全平稳的，称其为平稳信源。 则 X是 信息论与编码基础 离散信源 1、概念 1)一维平稳信源 2)二维平稳信源 3)N维平稳信源

50. 信息论与编码基础 离散信源 1、概念 2、二维平稳信源 3、一般离散平稳信源