25/01/2020, 23:05:36 pm *
Bienvenido(a), Visitante. Por favor, ingresa o regístrate.
¿Perdiste tu email de activación?

Ingresar con nombre de usuario, contraseña y duración de la sesión
Noticias: Homenaje a NUMERARIUS
 
 
Páginas: [1]   Ir Abajo
  Imprimir  
Autor Tema: ¿Por qué hay un límite a la compresión de datos de una fuente aleatoria?  (Leído 932 veces)
0 Usuarios y 1 Visitante están viendo este tema.
Raúl Aparicio Bustillo
Pleno*
*****

Karma: +0/-3
Desconectado Desconectado

Sexo: Masculino
España España

Mensajes: 3.067


Ver Perfil
« : 16/11/2015, 07:05:55 am »

La información que lleva un dato en bits es [texx] -log_2 p_i[/texx] donde p es la probabilidad de que aparezca dicho dato. El promedio es la entropía de Shannon. Si el número de datos es lo suficientemente grande se entiende que la cantidad de información que lleva el dato en promedio es esa. Pero ¿por qué en una muestra finita pequeña no puede dar la casualidad de que datos muy probables aparezcan mucho y se pueda reducir por debajo de ese límite?
En línea
Raúl Aparicio Bustillo
Pleno*
*****

Karma: +0/-3
Desconectado Desconectado

Sexo: Masculino
España España

Mensajes: 3.067


Ver Perfil
« Respuesta #1 : 17/11/2015, 04:27:33 am »

Aprovechando mis vacaciones forzosas, tengo tiempo para pensar, así que me respondo la pregunta. Supongamos que hay una secuencia finita que rebasa el límite de compresión de Shannon. LA compresión de una cadena finita no puede bajar ese limite ideal porque si unimos 2 secuencias la capacidad de comprimir, en el peor de los casos será la suma de ambas. Si usamos el mismo compresor, añadiendole una intrucción de que si sale la compresión de las 2 secuencias por separado mayor las junte, es obvio que nos acercamos al límite ideal por arriba.

La definición frecuentista se puede aplicar a secuencias aleatorias finitas. Es verdad que no es computable, pero se puede acotar usando cualquier lenguaje de programación. No sé en qué grado se puede acotar para decir que es útil. Hay que ir probando programas de ordenador, si alguien se apunta... (si casi nadie se molesta en responder, hay excepciones pero no voy a dar nombres por cortesía)
 es un juego interesante.
En línea
Páginas: [1]   Ir Arriba
  Imprimir  
 
Ir a:  

Impulsado por MySQL Impulsado por PHP Powered by SMF 1.1.4 | SMF © 2006, Simple Machines LLC XHTML 1.0 válido! CSS válido!