信息論是應(yīng)用近代數(shù)理統(tǒng)計(jì)方法研究信息的傳輸、存儲(chǔ)與處理的科學(xué)，故稱為（）；1948年香農(nóng)在貝爾雜志上發(fā)表了兩篇有關(guān)的“通信的數(shù)學(xué)理論”文章，該文用熵對信源的（）的度量，同時(shí)也是衡量（）大小的一個(gè)尺度；表現(xiàn)在通信領(lǐng)域里，發(fā)送端發(fā)送什么有一個(gè)不確定量，通過信道傳輸，接收端收到信息后，對發(fā)送端發(fā)送什么仍然存在一個(gè)不確定量，把這兩個(gè)不確定量差值用（）來表示，它表現(xiàn)了通信信道流通的（），若把它取最大值，就是通信線路的（），若把它取最小值，就是（）。