信息论与编码是一门比较理论化的科学，涉及大量的数学分析、论证和建模，对数学的要求高，涉及概率论、线性代数、微积分等。对于不善于领悟的同学，可能会觉得它枯燥无味；而对于善于领悟的同学，则会有如鱼得水的感觉。信息论是对信息问题的抽象，应用面和涉及面广，许多问题都可以归结为信息论问题，但是由于其中涉及数学建模太多，局限性也多。这对于学生，特别是对于本科生而言，是具有一定难度的。当今的某些课程，包括数学等，经历课时数的压缩，课时也有所缩短。在这样的情况下，针对昔日本科生的教学大纲和教材，对于经过扩招以后的大学生而言，显得更加枯燥无味、艰涩难懂。为了促进学生对于相关数学问题的理解，我们将信息论与编码中的关键性、全局性的问题进行了提炼，设计了一些全程问题，并且将复杂的问题分解为若干问题及其锦囊，通过逐步提示和启发的方式来促进学生的理解。当然对于一些问题的分解并不太让人满意，权作为抛砖引玉。

虽然直观地看，书本上的数学公式枯燥无味，但是如果能够善于思考和洞察问题的本质，就会发现，数学问题是那样美妙、有趣，数字的规律有时候也是严整有序的。

根据学生对以往的信息论与编码类教材的反馈意见，我们决定在前人的基础上改进信息论与编码教材，同时实践我们在一些教改论文中提出的教材改革、教学改革和提高学生创新能力的建议\[1-4\]。我们在教学中发现学生有应试习惯，许多学生并不是通过自己的理解去做题，而是依葫芦画瓢，按照类似的题型去套，因此在课后习题中增加了一些比较灵活、自由的题目。

我们在这本教材中试图做到以下几点： 

(1) 充分重视启发。将复杂的数学证明简化为若干小问题，变成若干锦囊来启发学生理解问题。通过极端的例子来启发学生发现和理解问题。通过现实中经常用到的例子来启发。

(2) 重视实用性，除了理论外，还对各种编码的具体实现中的问题进行了分析，并且给出了一些软件实现的具体指导。避免教材内容过于学术化，而没有考虑到学生今后在工作中的实际需求。对于信息论与编码技术在现实中的各种应用也有不少介绍和展望。

(3) 充分结合我们的研究和教学成果与经验，根据我们的分析和研究，提供一些新的理解或者证明相关结论的方法。

(4) 注重各知识点的条理性、衔接性、前后关系和因果关系。

(5) 详细叙述与方向指引并重。“吾生也有涯，而知也无涯。以有涯随无涯，殆已。”知识是无涯的，与此相对应的是教材篇幅是受到限制的，学生的时间也是有限的，即有涯。如何在有涯和无涯之间建立很好的平衡是一个教材的编者必须充分考虑的。在当今强调宽口径教学的背景下，一方面要突出重点，针对具有理论和应用价值的内容进行详细叙述；另一方面，由于篇幅所限，不可能面面俱到，在教材中指明学科的脉络、发展方向和前沿，对于某些应用面有限的、烦琐的尖端枝末性的知识，我们尽量推荐一定的教材和资源，以便读者可以根据指引找到相关资料。本书还提出了一些具有潜力的新问题研究方向。

(6) 传授知识与传授方法并举。通过举例等让学生体验到利用新的方法来解决实际问题的途径。以教材的课后习题诱导学生去探索现学现用甚至自己去搜集资料来解决问题的方法。本书不仅致力于让学生学会信息论与编码的相关知识，在许多时候通过启发的方式让学生能够学习信息论的基本方法，以及新理论的创新的方法和技巧。在值得学生深思、借鉴和联想的地方做一定的标记和启发性提问。提供通用的和针对信息论与编码的学习和研究的方法、技巧。

(7) 对于重要的关键词提供对应的英文术语，达到一定的双语效果，便于读者进一步阅读英文文献。

(8) 学术性与通俗性共存。在两者之间保持平衡，避免教材的曲高和寡与经院化，也避免教材一味追求实用却缺乏理论深度。目前一些教材存在着学术性很强，但是缺乏通俗性的弊端。编者将更多地站在学生的角度去编写教材。第一，在编写教材时，考虑读者的基础，尽量对于专业术语给予解释。第二，不要采用模糊不清的表述，宁可多写，也要把问题写清楚，对于可能存在歧义的表述，通过各种方式让歧义消除，语意明确。为了达到通俗易懂，在一些地方不避烦冗，对于比较专业和自学能力强的读者，可能会觉得比较啰嗦，这是为了表述得更加明确。第三，尽量少用抽象空洞的表述，同时配备通俗易懂的实例或者图表。第四，对于难于理解的问题，用形象的例子或者比拟来启发思维。第五，在描述问题时避免跨度太大或者跨越某些知识而造成理解上的困难。达到无须教师讲解依然具有很好的可读性的效果，便于自学。第六，内容上要考虑实践中必须解决的一些问题，考虑现实中的各种因素。第七，一方面减少了某些意义不大、非常烦杂的、数学推导过多的内容，但是同时也用一些启发的锦囊来引导读者自悟。对于较为复杂的问题，同时给予专业性表述和通俗性表述。

(9) 合理设计排版布局。为了保证对于不同读者和学生的适用性，显示教材内容的层次性，不同性质的内容采用不同的字体。对于比较难、选学的内容，在其标题后加*号，对于一些启发性、评价性的内容，解题指导以及理论应用于实际方面的讨论的内容，感想、启示以及启发性提问采用楷体；重要的内容采用加粗字体；必要的背景阐释和补充说明采用仿宋字体。

(10) 重视对创新能力的激励和培养。第一，在合适位置预留读者发表自己看法的空间。为了启发和唤醒学生的创新思维，在教材的适当位置（比如编者认为某些内容还有很大的创新空间时）预留读者自己思考和创新的空白位置，并且用文字标示出来提醒读者。在描述具有启发意义的创新内容时，对于相关内容的重大创新给予点评来启发读者进行创新，并且在章节的末尾或者适当位置预留空间让读者自由表达思想，如可以容纳新思想、新假想、未被证实或未完全证实的想法、简洁但是有用的想法等，或者让读者可以评阅、提出自己的困难与添加自己的观点、建议和改进意见，这样的提示有利于读者发挥主观能动性和养成独立思考的习惯，也有利于教师或者编者将这些学生的评阅和观点加以整理，以便于修改完善教材。第二，信息论的许多模型都有自己的前提，是有局限性的，在描述编者认为非绝对内容的时候通过非肯定的描述，避免让读者对已有的理论产生正确无疑的看法，从而鼓励学生放开眼光，发散思考，甚至提示学生去发现这些潜在的前提。

(11) 充分重视学生的数学基础，除了学生必须具备的高等数学、线性代数和概率论基础外，对于其他的数学基础会在相应章节简要提及。教材的编写注重通俗性和易读性，让数学基础差的同学在没有教师指导的情况下能够自学，特别是需要考虑扩招带来的学生基础的影响。

(12) 合理地设计习题。由于创新能力、自学能力和动手能力在产学研结合教育中的重要性，因此教材的习题也要考虑激发、提高或者检验学生的创新能力、现学现用能力、自学能力和动手能力。除了传统的答案相对固定的习题外，还应当有答案开放、促进思维发散的习题，让学生展开思维的翅膀去创新。在习题中引入没有用书本上的概念描述的现实问题，让学生现学现用，增强学生举一反三的能力。鼓励学生结合信息论去思考现实中的各种问题。

(13) 先立后破。引导学生进入信息论的模型中，进而接受和相信信息论。在可能走向迷信的时候，打破这种迷信。在教材的最后，才开始讨论信息论的前提条件，让读者知道其局限性。

(14) 对于一些比较困难的内容进行简化，仅仅提及相关的结论和基本的原理。

(15) 在将科研成果融入教材的同时，试图化解教学之易与科研之难的矛盾。本书在将许多科研成果融入教材时尽量采用容易理解的方式简化相关内容。

本教材依然存在以下方面的问题： 对于信息论的各个模型、定义，有一些未明确说明的假定。在具体的理论转向不同应用情形的时候，也存在一些未明确说明的问题，诸如是否适用的问题。比如，当一个定理对单个符号适用，转向应用于符号序列时，没有说明其适用性。这是读者在阅读信息论与编码类教材时需要注意的。本教材对于其中一部分给出了说明，但是没有全部说明。

在本书的编写过程中参考了不少信息论与编码方面的教材、专著、论文和网络资源等，在此作者对这些著作的作者深表感谢。为了减少歧义，对一些题目和知识的条件进行了明确的阐述，对于可能不妥的说法也进行了改进，但是，这些改进可能存在不当之处。

信息论面对的现实中真实的模型、系统、对象和参数都是极其复杂、多样化和不确定的，在信息论中是存在许多简化和忽略的，这造成某些理论是受到限制的，并不普适，也不唯一，有些教材也存在不一致的说法。在本教材中，编者尽量对一些模糊的对象加以明确，对于一些前提加以限定，但是有时候鉴于考虑得越复杂、越细致就会越烦琐和复杂化，因此有些地方依然保持现有教材的说法。

在不同的教材中，有些术语、分类和划分等对象存在一定的不一致、不统一、不确定的情况，有些内容本身也存在模糊性，有些划分要么过于庞杂，要么存在疏漏，有的划分还有重复。在本教材中采用以下原则： 列举别名、明确问题、理清脉络、解释分歧、回避歧义、避免繁杂而无意义的内容。但是，这些原则在针对实际情况时也存在欠缺，尚未做得满意。

本书力图做出多方面的改革和改进，但是，这些变革总是存在一定难度的，一部优秀的教材应该融合产学研，编者在有些方面心有余而力不足，加上时间有限，可能存在一定的不足。

对于学生的学习方面，编者认为，虽然本教材设计了大量的思考题，但是，作者也反对绞尽脑汁、挖空心思式的短期拔苗助长的思维训练方法，真正提高智力需要有安宁、清明的心，宁静才能致远，清明才能洞察。学生的思考习惯应该是先扶后抑，当学生不习惯思考的时候，可以培养思考的习惯；但是思考成为非常强烈的习惯的时候，这从任何一个角度（智力、身体、心理等）来说对于学生都是不利的，需要冷静观察和抑制思维。

在学习中，方法是非常重要的，甚至比书本上的死知识更重要，建议多读数学家和密码学家的故事，比如香农、王小云等。知识的启发价值可能远远超过知识的直接价值。关于这门课程的学习，相对于其他的课程显得比较艰深抽象，需要较好的数学基础，固然做习题也是需要的，但是，习题可能更多的是应付考试，对于真正掌握和进一步应用信息论与编码的理论意义是不大的，信息论与编码课程的学习与掌握，最重要的还是理解。

本教材添加了一些实践应用方面的知识，也涉及许多思想与方法，相比一些教材更“厚”，在教学中如果课时受限，要根据需求合理取舍，并将一些内容交给学生自学。

根据编者的经验，自己独立去想通一个问题，或者实在想不通的时候，看一部分书本证明再继续独立思考，可能比完全看书本上的分析与证明效果更好。这一点可以总结为“学习得来终觉浅，绝知此事要自悟”。

编者认为，信息在对于人类的利弊上是中立的，信息只是提供给我们更多的选择，但是这种选择到底是有益还是有害，人是不是会利用这种选择来危害社会，很大的程度上是取决于用信息的人，所以无论科技如何发达，永远都不能忽视人的道德问题，坏人掌握高科技，无异于南辕北辙。正如复旦大学校长所言： “无德学生越有知识可能越祸害社会。”对于学生的道德要求应高于学业要求，德育更重于智育。

现在的大学教学中忽视德育，轻视方法与思想，而更侧重理论。但实际上三者的重要性是递减的。

国外的一些大学教育水平为什么能够高出国内很多，我们参考国外的教材和教学安排、习题就可以得出一部分答案： 它们学生的压力更大，学习内容多，但是教师讲的少，学生自学的内容多，题目更加灵活；它们的平时成绩往往超过70%，平时的习题任务也非常大，而且非常严格；另外，机制保证了学生更加勤奋，教师的要求更加严格。而在国内，在学习专业知识的大学阶段却反倒松懈下来。提升大学教育质量离不开严格管理，国外的做法值得借鉴。

本书共分9章。第1章是绪论，介绍信息、通信系统模型、离散与连续等内容。第2章介绍信息的统计度量，也是信息论的基本概念，包括自信息量、互信息量、平均自信息（熵）、平均互信息等，这一章是后续章节的基础。第3章讨论信道及其容量。第4章主要介绍编码的基本概念与无失真信源编码。第5章讨论信息率失真函数与限失真编码。第6章讨论信道编码。第7章讨论加密编码。第8章分析香农信息论的局限性，并且对信息论的发展进行展望。第9章介绍一些常用编码的实现方法和信息论的应用。

本书由王勇主编，第6章由黄雄华完成，其余均由王勇编写，蔡国永参与了第9章的编写。主编审阅了各章内容，但是当章节编者与主编存在不同看法时，主要保留编者的观点。教材中新的锦囊、穿插的思考题、课后思考题由王勇设计。教材的策划与改革主要由王勇完成。

作者要特别感谢清华大学出版社的信任与支持！同时感谢付莉做了一部分资料收集工作，并绘制了若干插图。

本书得到中国电子教育学会“十二·五”高等教育科学研究立项课题（No.ZDJ11208）、新世纪广西高等教育教学改革工程立项项目（No.2012JGA137）的资助。

本书的前修课程包括高等数学、概率论和线性代数。离散数学（数论、近世代数）也是某些编码理论的基础，本书中在相关章节对这些基础简要提及。

本书将会提供一定的增补电子文档和其他相关的电子文档。

本书试图更多地从理解的角度来启迪读者，也提出了许多具有启发性的思考问题，希望能够把这本书变成启迪思维、开启智慧的素材集，但是编者的理解是有限的，在信息论与编码领域的理论和实践方面存在一定的欠缺，限于作者水平有限，书中错误和不当之处在所难免，欢迎各种批评和建议。我们倡导面向就业的教学方式，在教材的编写上，也希望能够进一步贴近研究和应用的实践，我们欢迎（但是不限于）以下反馈意见： 

(1) 研究人员对教材的前瞻性提出批评指正；

(2) 学习过信息论与编码的毕业生在从业多年后对教材的实用性进行评价；

(3) 还未学习过信息论与编码的本科生（已经学过高等数学、线性代数和概率论）来评论教材的通俗性和易读性，指出教材中的跳跃度较大、艰涩难懂的地方；

(4) 教师和学生对教材中出现的问题给予批评，对教材的优缺点进行评价，针对教材中的一些改进点提出批评意见；

(5) 产业界和广大的相关行业人士就教材的实用性提出自己的意见，以增强课程与实践的衔接。如有意见可以发到hellowyin@126.com，对于有显著贡献的读者，我们会在教材或者其电子材料中注明，并可能拿出一部分稿酬给予奖励。此外，对于今后的教材再版，我们也积极欢迎产、学、研等领域的人才参与进来，参与者和提出意见者可以提出自己的关于版权、署名和稿酬等方面的要求。

王勇

2012年11月于桂林电子科技大学