La entropía, en la teoría de la información, es una magnitud que mide la
información provista por una fuente de datos, es decir, lo que nos aporta sobre
un dato o hecho concreto.
Por ejemplo, que nos digan que las calles están mojadas, sabiendo que acaba de
llover, nos aporta poca información, porque es lo habitual. Pero si nos dicen
que las calles están mojadas y sabemos que no ha llovido, aporta mucha
información (porque no las riegan todos los días).
![{\displaystyle c_{i}=\log _{2}(k)=\log _{2}[1/(1/k)]=\log _{2}(1/p)=\underbrace {\log _{2}(1)} _{=0}-\log _{2}(p)=-\log _{2}(p)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/60e1bbf8ab152a7dae8420dce7c60b1467ab16d7)
No hay comentarios.:
Publicar un comentario