Fundamentos de teoría de la información

Abstract

El material de Bloque II de la asignatura Fundamentos Matemáticos de la Información se centra en los límites fundamentales de la representación y transmisión de la información, abordando conceptos clave de la Teoría de la Información. Se divide en tres partes: teoría, ejercicios y prácticas. La sección teórica introduce nociones esenciales como bits, entropía, información mutua, entropía conjunta y condicional, teoría de la distorsión, compresión de datos y capacidad del canal, incluyendo temas como el teorema de codificación de fuente, códigos Huffman y canales de comunicación discretos y gaussianos. La parte de ejercicios ofrece ejemplos resueltos y problemas sobre cálculo de entropía, eficiencia de códigos, capacidad de canales y compresión de fuentes, permitiendo la aplicación de los conceptos estudiados. Además, se incluyen dos prácticas: la primera sobre el cálculo de entropía, información mutua y capacidad del canal, y la segunda sobre la codificación y decodificación Huffman, donde los estudiantes implementan y analizan códigos en función de la eficiencia y longitud promedio. Con una combinación de teoría, ejercicios y prácticas computacionales, este material busca proporcionar una comprensión profunda de la representación y transmisión de la información.