2、信息与信息量的定义及区别?
所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数。香农(C。 E。 Shannon)信息论应用概率来描述不确定性。 信息是用不确定性的量度定义的。一个消息的可能性愈小,其信息愈多;而消息的可能性愈大,则其信息愈少。事件出现的概率小,不确定性越多,信息量就大,反之则少。在数学上,所传输的消息是其出现概率的单调下降函数。 如从64个数中选定某一个数,提问:“是否大于32?”,则不论回答是与否,都消去了半数的可能事件,如此下去,只要问6次这类问题,就可以从64个数中选定一个数。我们可以用二进制...全部
所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数。香农(C。 E。 Shannon)信息论应用概率来描述不确定性。
信息是用不确定性的量度定义的。一个消息的可能性愈小,其信息愈多;而消息的可能性愈大,则其信息愈少。事件出现的概率小,不确定性越多,信息量就大,反之则少。在数学上,所传输的消息是其出现概率的单调下降函数。
如从64个数中选定某一个数,提问:“是否大于32?”,则不论回答是与否,都消去了半数的可能事件,如此下去,只要问6次这类问题,就可以从64个数中选定一个数。我们可以用二进制的6个位来记录这一过程,就可以得到这条信息。收起