Entropia este o măsură a dezordinei sau incertitudinii dintr-un sistem. În teoria informației, entropia este utilizată pentru a măsura cantitatea de informație conținută într-un mesaj sau într-o serie de mesaje. Cu cât entropia este mai mare, cu atât informația conținută este mai mare.