Methode der kleinsten Quadrate

D1BAKEL

Hallo,

ich versuche, die Methode der kleinsten Quadrate zu verstehen. Bei wikipedia gibt es folgenden Artikel: http://de.wikipedia.org/wiki/Methode_der_kleinsten_Quadrate#Lineare_Modellfunktion
Für den Fall y = x₀ + x₁t sind die Lösungen gegeben. Ich kann jetzt nur nicht nachvollziehen, wie man auf diese kommt. Mich interessiert nämlich die Lösung für den Fall y = x₀t₀ + x₁t₁, wobei x die Parameter und t die Variablen sind. Es ergäbe sich dann für die Matrix A statt (1 t₁ ... 1 t₂) die Matrix (t₀₁ t₁₁ ... t_0n t_1n) Sorry für die Schreibweise, aber ich kann kein LaTeX. Was ergibt sich dann für die Lösungen, bzw. wie komme ich auf die Formeln für x₀ und x₁?

Vielen Dank im voraus, mfG D1B

Taurin

Ich glaub, du hast den Ansatz in der Wiki nicht genau verstanden. Gesucht wird einer linare Funtkion $y(t) = x\_1 \cdot t + x\_0$ , wobei nur eine Reihe von Messwerten $y\_i(t\_i)$ zu unterschieldichen Zeitpunkten $t_i$ hat. Die Parameter $x\_1, x\_2$ sollen so bestimmt werden, dass die bestimmte Funktion möglich nah an den Messwerten liegt (also der Fehler minimiert wird).

Hat dir das weiter geholfen? Was meinst du mit deinen unterschiedlich Zeiten t0, t1? Willst du eine Funktion mit zwei Parametern bestimmen $y(t\_1, t\_2)$ ?

D1BAKEL

Ich weiß, dass es um eine lineare Funktion ging, aber mich interessiert ja gerade der Schritt zur Ebenengleichung. Du hast recht, zwei Zeiten sind unglücklich gewählt, aber grundsätzlich geht es mir um eine Funktion, mit zwei Funktionsvariablen, zum Beispiel x₁ und x₂. Dann suche ich die Parameter p₁ und p₂ der Funktion y = f(x₁,x₂) = p₁*x₁ + p₂*x₂. Ich habe bloß die Variablen und Parameterbezeichngungen übernommen um zu klarzumachen, was sich wirklich ändert, da dies ja nur die erste Spalte der Matrix A aus dem Beispiel betrifft. Was ergibt sich jetzt für die Lösungen? Ich hoffe es ist jetzt klarer geworden.

fubar

Google mal nach "multilinearer Regression".

D1BAKEL

Danke für den Tipp, werd ich gleich mal machen. In diesem Wikibook steht übrigens ein etwas ausführlicherer Rechenweg: http://de.wikibooks.org/wiki/Mathematik:_Statistik:_Regressionsanalyse#Minimierung

Allerdings komme ich nicht auf den Regressionskoeffizienten b aus den beiden Gleichungen die darüber stehen. Werds gleich nochmal probieren. Wenn ich das hinbekommen habe, kann ich doch in die erste Formel durch RSS = ∑(y_i - (p₁*t₁ + p₂*t₂))² ersetzen und dann analog vorgehen oder? Allerdings rechne wird sich dann ein Gleichungssystem ergeben, wie muss ich dann damit verfahren?

fubar

Weiter unten steht auch noch was zur multilinearen (oder multiplen) Regression: http://de.wikibooks.org/wiki/Mathematik:_Statistik:_Regressionsanalyse#Multiple_Regression

D1BAKEL

Ja danke, die Lösung mit der pseudoinversen hab ich hier schon gelesen: http://fuzzy.cs.uni-magdeburg.de/books/nnfuzzy/txt/regext.pdf
Werd mir die etwas umfangreichere Erläuterung aber noch zu Gemüte führen, danke.

fubar

Die Pseudoinverse brauchst du eigentlich nicht. Willst du das ganze numerisch lösen? Dann würde ich dir Cholesky-Zerlegung empfehlen (die Matrix des LGS ist symmetrisch positiv definit) ...

fubar

Etwas ausführlicher:
Hast du ein überbestimmtes Gleichungssystem $Cx + d = r$ mit $C \in \mathbb{R}^{(N,n)}$ und $d \in \mathbb{R}^N$ , dann kannst du folgendermaßen vorgehen:
$A = C^{t}C$
$b = C^{t}d$
Dann hast du das LGS $Ax = b$ , welches du dann - wie oben schon geschrieben - mit Hilfe der Cholesky-Zerlegung lösen könntest ... Das wäre IMHO der einfachste Weg (wenn du das Verfahren allgemein programmieren willst, für Spezialfälle kann man das aber evtl. auch einfacher lösen).

D1BAKEL

Den Namen kannte ich noch nicht, aber das Verfahren habe ich schonmal gesehen. Da es sich bei mir um einen Spezialfall handelt brauche ich es aber nicht. Das lässt sich so schon gut vereinfachen und wenn ich statt der Inversen die Komplimentäre nehme und erst ganz am Ende durch die entsprechende Determinante teile, habe ich auch ausreichende Genauigkeit.

Vielen Dank für deine Hilfe, Problem gelöst

mfG D1B