Entropie von Verteilungen
-
Hallo zusammen,
Folgende Verteilungen sind gegeben: http://img199.imageshack.us/i/distz.jpg/
ich versuche gerade schriftlich zu begründen, weshalb die rote Verteilung eine höhere Entropie hat als die Blaue.
"Ich würde sagen, das die Rote die größere Entropie hat, da deren x-Werte insgesamt stärker um ihren Mittelwert streuen als die der blauen Verteilung.
Hier gibt es zwar zwei Mittelwerte, allerdings streuen die tatsächlichen Ergebnisse sehr viel weniger."Gibt es an dieser Erklärung was auszusetzen oder könnte man etwas ergänzen?
Danke wiedermal und mfg
-
Die Entropie ist defininert als die mittlere Überraschung. Je höher die Wahrscheinlichkeitsdichte an einem Punkt ist, desto weniger bist du überrascht, dass das ereignis auftritt.
-
Also ist die blaue Verteilung einfach weniger spannend bezüglich ihres Informationsgehaltes, das ist mir klar.
Mir gefällt meine obere Beschreibung nicht. Ich werde versuchen sie umzuformulieren.
-
Die blaue Funktion hat eine niedrigere Entropie, weil die Funktion scheinbar einen Korrelationsbezug hat ähnlich zu: f(x) = g(x)h(x).
g(x) ist meinetwegen eine nicht steitige Funktion um die Mitelwerte; h(x) = sei eine Standardnormalverteilte. Deswegen ist die Gesamtentropie f geringer als bei einer Standardnormalverteilung.
Hinweis: Eine Standardnormalverteilung hat grundsätzlich immer die höhstmögliche Informationsentropie!
-
Prof84 schrieb:
Hinweis: Eine Standardnormalverteilung hat grundsätzlich immer die höhstmögliche Informationsentropie!
Aha...
-
AhaSager schrieb:
Prof84 schrieb:
Hinweis: Eine Standardnormalverteilung hat grundsätzlich immer die höhstmögliche Informationsentropie!
Aha...
http://en.wikipedia.org/wiki/Maximum_entropy_probability_distribution
The normal distribution N(μ,σ2) has maximum entropy among all real-valued distributions with specified mean μ and standard deviation σ. Therefore, if all you know about a distribution is its mean and standard deviation, it is often reasonable to assume that the distribution is normal
http://en.wikipedia.org/wiki/Principle_of_maximum_entropy Aha ...
-
Prof84 schrieb:
The normal distribution N(μ,σ2) has maximum entropy among all real-valued distributions with specified mean μ and standard deviation σ. Therefore, if all you know about a distribution is its mean and standard deviation, it is often reasonable to assume that the distribution is normal
http://en.wikipedia.org/wiki/Principle_of_maximum_entropy Aha ...
Aha!
