정보의 이론
정보이론이란 정보이론은 정보의 수량화, 저장, 의사소통에 대한 과학적 연구이다. 이 분야는 1920년대의 해리 나이퀴스트와 랄프 하틀리의 작품과 1940년대의 클로드 섀넌의 작품에 의해 근본적으로 설립되었습니다. 그 분야는 확률 이론, 통계학, 컴퓨터 과학, 통계 역학, 정보 공학, 그리고 전기 공학의 교차점에 있다. 정보 이론의 핵심 척도는 엔트로피이다. 엔트로피는 랜덤 변수의 값 또는 랜덤 프로세스의 결과에 관련된 불확실성의 양을 수량화합니다. 예를 들어, 공정한 동전 던지기의 결과를 식별하는 것은 주사위 굴림에서 결과를 지정하는 것보다 정보(낮은 엔트로피)를 더 적게 제공한다. 정보 이론의 다른 중요한 척도로는 상호 정보, 채널 용량, 오류 지수 및 상대 엔트로피가 있다. 정보 이론의 중요한 하위 ..
2021. 9. 13.