《信息论基础》第三章学习笔记3.1–3.3参考教材翟明岳《信息论基础》清华大学出版社版权声明本文为个人课程学习总结所有内容均为个人理解、重新语言梳理整理无教材原文摘抄仅用于学习交流禁止任何商业用途。专业概念版权归原作者及出版社所有。如有侵权问题可联系删除。在第二章中我们学习了各类信息量、熵与互信息的基础概念掌握了衡量不确定性的方法。第三章将这些理论应用到信源当中研究离散信源以及信源熵。3.1、3.2、3.3从随机过程基础讲起介绍信源的数学模型与分类最后针对离散单符号信源展开分析搭建起信源分析的理论框架。3.1 随机过程基本知识3.1.1 概率空间概率空间是分析随机现象的基础由样本空间、事件集合和概率分配三部分组成。样本空间包含一次随机试验所有可能出现的结果事件是样本空间里部分结果构成的集合概率则给每一个事件分配0到1之间的数值用来描述事件发生可能性的大小。第二章学习的概率相关知识都是建立在概率空间之上。学习随机过程需要先巩固概率空间的概念才能理解随时间不断变化的随机信号。3.1.2 随机过程随机过程可以理解为随时间不断变化的一簇随机变量。普通随机变量只是单次随机结果而随机过程会随着时间持续产生随机取值。通信里发送的信号很多都属于随机过程信号在每一个时刻的取值都是不确定的无法提前精确预判。我们可以把随机过程看作无数条样本函数的集合每一次信号传输对应其中一条样本曲线。3.2 信源的数学模型和分类3.2.1 信源的数学模型信源就是信息的来源它会持续输出携带信息的符号。在信息论里我们不用去关心信源的物理结构而是用数学模型描述它把信源输出看作随机变量或者随机序列依靠符号的概率分布来刻画信源的特性。信源输出符号具有随机性这也是信源能够产生信息的根本原因。如果输出符号完全固定不存在随机性那么这个信源就无法提供任何信息。3.2.2 信源分类按照不同标准信源有多种划分方式。按照输出符号取值是否连续可以分为离散信源和连续信源离散信源输出符号取自离散集合例如文字、数字连续信源输出可以取一段区间内任意数值比如语音、模拟图像信号。按照符号之间是否存在关联又分为无记忆信源和有记忆信源。无记忆信源当前输出符号和之前输出的符号互不相关有记忆信源前后符号存在依赖关系比如一段中文文本相邻汉字之间有很强关联性。另外还可以根据统计特性是否随时间改变分为平稳信源和非平稳信源。本章重点研究离散类型的信源。3.3 离散单符号信源3.3.1 离散单符号信源的概念和数学模型离散单符号信源是最基础的一类离散信源。这类信源每次只输出一个单独符号符号取自一个有限或者可数的离散符号集合每一个符号都对应确定的发生概率。它的数学模型由符号集合和对应的概率分布共同构成。离散单符号信源属于无记忆信源每一次符号的输出相互独立这也是我们最先研究它的原因。很多简单通信场景都可以近似为离散单符号信源同时它也是后续复杂信源学习的基础。3.3.2 离散单符号信源的信息度量衡量离散单符号信源核心指标就是信源熵也就是第二章介绍的信息熵。信源熵代表这个信源每输出一个符号平均携带的信息量也代表符号的平均不确定性。符号的概率分布直接决定熵的大小。当所有符号等概率出现的时候信源熵达到最大值此时不确定性最高如果某一个符号概率趋近于1其余符号概率很小信源熵就会趋近于0信源几乎没有不确定性。我们可以利用信源熵评估信源输出信息的能力。熵越大信源每个符号承载的平均信息越多传输同样信息所需要的符号数量就越少。小节总结3.1至3.3这三节完成了从随机基础理论到简单信源模型的过渡。3.1介绍随机过程和概率空间补充分析信源所需要的随机数学基础3.2建立信源的抽象数学模型并且按照不同维度对信源分类区分离散/连续、有记忆/无记忆等类型3.3聚焦最简单的离散单符号信源搭建模型并且使用信源熵完成信息度量。这部分内容起到承上启下的作用。一方面把第二章学到的熵的知识落地用来分析真实的信息来源另一方面离散单符号信源是最简单模型后面章节要学习的多符号信源、马尔可夫信源都是在这个基础模型上增加记忆性、符号关联性拓展而来。理解离散单符号信源的熵的物理意义是后续学习信源压缩的重要前提。在学习时重点要理解信源的本质就是随机符号的产生者不确定性是信息产生的根源而信源熵就是量化这种不确定性的工具。