Maximum-Likelihood Sequence Estimator (MLSE)
-
hi,
wie kann man jemanden den Maximum-Likelihood Sequence Estimator (MLSE) erklären, der der noch nicht wirklich viel background von estimation theory hat?
bye
-
Definiere mal, welche Ansprüche du an die Erklärung stellst: Laienhafte Vorstellung vermitteln? Grobe, aber fachlich richtige, Vorstellung vermitteln? In die Lage versetzen MLSE zu benutzen? Jemanden zu einem MLSE Guru machen?
-
also eher laienhafte vorstellung vermitteln bzw. grobe, aber fachlich richtige, vorstellung vermitteln...
-
wie kann man die likelihood function, welche man dann maximiert?
ausgehen tut man doch von einem statistischen modell?
-
klischko schrieb:
wie kann man die likelihood function, welche man dann maximiert?
Was? Ich rate mal, dass das fehlende Wort "erhalten" lautet.
Die likelyhood funktion ist p(x1)*p(x2)*p(x3)*...*p(xn). Das statistische Modell setzt du dann für p ein, zum beispiel eine Gaussfunktion wenn du glaubst, dass deine Daten Gauss-verteilt sind.
-
@otze: ich versteh nicht ganz wo der unterschied zwischen MLE und minimum variance unbiased (MVU) estimator ist!?
kannst du vielleicht ein beispiel angeben, indem der unterschied zwischen MLE und MVU gezeigt wird?lg
-
Ich hab auf meiner Website ein paar Artikel, die dir vielleicht helfen können.
Hier zunächst ein Beispiel zur Konstruktion eines MSE:http://me-lrt.de/beispiel-zu-schatzfunktionen
Ist recht simpel erklärt. Weitere Übungsaufgaben und Erklärungen findest du hier:
http://me-lrt.de/kategorie/studium-2/mathematische-statistik
-
ich such zuerst mal ne allgemeine erklärung und will erst dann auf die mathematik näher eingehen!
Die likelihood-funktion ist z.b. eine gauss-verteilung von irgendwelchen messungen
dann nehme ich stichproben und versuche daraus einen parameter theta zu finden, der aus den stichproben am wahrscheinlichsten ist. und das maximum dieser funktion in abhängigkeit des parameter theta ist der wert des ml estimators?lg
-
klischko schrieb:
@otze: ich versteh nicht ganz wo der unterschied zwischen MLE und minimum variance unbiased (MVU) estimator ist!?
kannst du vielleicht ein beispiel angeben, indem der unterschied zwischen MLE und MVU gezeigt wird?Hi!
Es gibt ja 'ne Ganze Menge verschiedene Moeglichkeiten, einen Wert zu schaetzen. Manche davon sind unbiased. Unter allen Schaetzern, die Unbiased sind, suchst du dir den raus, der die kleinste Varianz hat. Das ist dann der MVU estimator.
Fuer sehr viele Probleme laesst sich der MVU-Estimator nicht bekannt -- weil angenommen du hast einen Estimator X, von dem du glaubst dass er MVU ist, dann musst du zeigen, dass es keinen anderen Estimator gibt, der kleinere Varianz hat. Das ist keine leichte Aufgabe.Der MLE Estimator ist unbiased*. D.h. er erfuellt schon mal eine der Voraussetzungen, um ein MVU-Estimator zu sein. Je nach Problemstellung kann es aber auch andere Schaetzer geben, die kleinere Varianz haben. D.h. der MLE kann der MVU-Estimator fuer dein Problem sein, muss es aber nicht.
* streng genommen ist er asymptotisch unbiased
klitschko schrieb:
ich such zuerst mal ne allgemeine erklärung und will erst dann auf die mathematik näher eingehen!
Die likelihood-funktion ist z.b. eine gauss-verteilung von irgendwelchen messungen
dann nehme ich stichproben und versuche daraus einen parameter theta zu finden, der aus den stichproben am wahrscheinlichsten ist. und das maximum dieser funktion in abhängigkeit des parameter theta ist der wert des ml estimators?lg
Genau.
EDIT: den Begriff "Maximum Likelihood Sequence Estimator" hab ich noch nie gehoert. Meine Aussagen beziehen sich auf den ganz normalen MLE. Der Wikipedia-Artikel zu MLSE gibt nicht genug Info darueber, wie MLE und MLSE zusammenhaengen, und ich bin grad zu faul das selbst rauszusuchen
-
ich bin etwas mit dieser aussage verwirrt:
"likelihood functions ARE NOT distributions and they're NOT the probability that the data came from a particular distribution."was stellt die likelihood function dann dar?
lg
-
Der erste Satz ist falsch. Der zweite richtig.
wenn x dein Datenvektor ist, und theta die Parameter der Verteilung, dann ist die likelihood:
p(x|theta)
Siehe Dazu Bishop: Pattern Recognition and Machine learning Seite 22.
Was stimmt ist, dass das Integral über Theta nicht 1 ist. Es ist also nicht die Wahrscheinlichkeit, dass theta die Verteilung ist die x erzeugt, sondern die Wahrscheinlichkeit, dass eine zufällig von theta erzeugte Datenmenge gleich x ist.
-
@otze: ok werde ich machen.
was heisst das hier noch?
Unless we initialize the Miximum Likelihood Estimator to a value close to the correct solution, it is possible that our maximization search may not find the global maxima.
-
steht doch da. Was genau ist dir unklar?
-
@otze: habe mir gerade das hier durchgelesen:
http://en.wikipedia.org/wiki/Likelihood_function"likelihood" allows us to estimate unknown parameters based on known outcomes.
was sind kown outcomes: sind z.b. variance und mean einer gaussian distribution?
unknown parameters: ist irgendein theta das ich schätzen will?
-
Ich dachte bei dem Topictitel eigentlich, dass es darum geht, dass du bereits ahnung hast wovon du redest und du es Leuten erklären willst, die keine Ahnung haben. Sonst macht es keinen Sinn, den MLE erklären zu wollen.
Deine letzten Fragen zeigen mir aber, dass du nichtmal weißt, WOZU man einen MLE verwendet. Sonst würden sich die Fragen sofort in Luft auslösen. Ich kann dir da eigentlich nichts anderes empfehlen als mal ein ordentliches Buch über machine learning zu wälzen(wie das, was ich bereits genannt hatte - steht in jeder guten uni-Bibliothek), da das Thema zu komplex ist, um das mal eben so in einem Forum zu erklären - vor allem wenn es Leute gibt, die das wesentlich besser können.
Aber um deine Fragen zu beanworten:
Der MLE schätzt dir die Verteilung der Daten gegeben einem Verteilungsmodell. Ist dein Modell eine Gaussverteilung, schätzt er dir also die Gaussverteilung die am Besten passt. Das heißt, die unbekannten Parameter sind in dem Fall Mittelwert und Varianz. Womit schätzt du die Verteilung? Na klar, mit einem Datensatz an Punkten den du hast. Das sind deine "known outcomes".
