为什么计算信息量要用以2为底的对数？
常用对数是以10为底的，即若10x=y，则有log10y=x。但是在信息论中，信息量的大小则是用以2为底的对数来衡量的。
我国古代的烽火台是传递信息的工具。烽火台燃起烟火，表示敌人来犯。 否则，表示敌军未动。它传递的信息只有两种情况:“有”或“没有”。这是最简单的通信情形，我们拿它作为信息量的单位，称为“1比特”。用数学的语言来说，即只含有0(无烟）和1(有烟）两种情况的通信，其信息量定义为log22=1。
假设烽火台上有两支烟囱，甲烟囱表示敌人情形：进犯（1），或未进犯(0)。乙烟囱表示我方情形，需增援(1)，或不需增援(0)。这样我们就得到四种情况：
甲乙
(0,0)敌人未来，...全部
常用对数是以10为底的，即若10x=y，则有log10y=x。但是在信息论中，信息量的大小则是用以2为底的对数来衡量的。
我国古代的烽火台是传递信息的工具。烽火台燃起烟火，表示敌人来犯。
否则，表示敌军未动。它传递的信息只有两种情况:“有”或“没有”。这是最简单的通信情形，我们拿它作为信息量的单位，称为“1比特”。用数学的语言来说，即只含有0(无烟）和1(有烟）两种情况的通信，其信息量定义为log22=1。
假设烽火台上有两支烟囱，甲烟囱表示敌人情形：进犯（1），或未进犯(0)。乙烟囱表示我方情形，需增援(1)，或不需增援(0)。这样我们就得到四种情况：
甲乙
(0,0)敌人未来，不需增援；
(0,1)敌人未来，需要增援；
(1，0)敌人进犯，不需增援；
(1，1)敌人进犯，需要增援。
这样，我们所知道的信息比以前多了，它所含的信息量应该是10g24=2(比特)。
容易想象，三支烟囱的烽火台可传递8种情况的信息，即：(0,0,0);(0,0,1);(0，1，0);(0,1，1);(1，0,0);(1，0，1);(1，1，0);(1，1，1)。
这时的信息量自然就应该是1og28=3(比特)了。
更复杂的情形的信息量都是从这种最简单的情形变化而来的。正由于最简单的信息只具有两种可能，因此计算信息量时采取以2为底的对数可以获得最基础的信息量值1;而当信息以y=2x发生变化的时候，用10g2y=x计算信息量就能正确反映出信息量的真实情况。收起
