Sätze zur Shannonschen Entropie
-
Hallo zusammen,
ich bin auf der Suche nach Sätzen über o. g. Entropie.
Gibt es Aussagen über die Entropie bzw. Infogehalt einzelner Subsymbolströme?
Ist die Summe der Einzelentropien gleich der Gesamtentropie? Etc.Hat jemand eine Quelle für mich?
Dankeschön!
-
Ich glaube, du hast da etwas falsch verstanden. Der Entropiebegriff ist nichts für konkrete Symbolfolgen, sondern für Quellen und deren probabilistisches Modell.
Ich kenne jetzt nicht viel Literatur dazu. Habe in der Uni für die Vorlesung "Algorithmische Kodierungstheorie" für den Datenkompressionsteil nur das Buch "Introduction to Data Compression" von Khalid Sayood gehabt, was ich übrigens sehr empfehlen kann.
-
Ich empfehle dir das Buch:
Elements of Information Theory,
von Cover & Thomas.Das vermittelt die Grundlagen der Informationstheorie, die Entropie ist daher eines der Hauptthemen. Ausserdem finde ich es sehr angenehm zu lesen.