Nabsala

Hallo,
ich habe ein größeres Problem die Nabla-Rechnung auf http://fuzzy.cs.uni-magdeburg.de/books/nnfuzzy/txt/regext.pdf nachzuvollziehen.

Schon bei der erstene Zeile müsste es doch lauten:
$\vec{0} = \vec{\nabla}_{\vec{b}} ((X\vec{b}-\vec{y})^T(X\vec{b}-\vec{y}))$ , oder nicht? So ginge ich noch direkt konform, schließlich steht dann da ja immernoch die der Gradient des Skalarfelds (man beachte halt die Klammern). Aber was dann passiert, kann ich überhaupt nicht nachvollziehen. Zuerst dachte ich an die Produktregel, die für das Produkt zweier Skalarfelder definiert ist (siehe Wikipedia), aber da steht ja eigentlich das Produkt zweier Vektorfelder, was erst zusammengenommen wieder ein Skalarfeld ergibt. Für das Skalarprodukt zweier Vektorfelder sehe ich in der Wikipedia hingegen eine Formel, die prominent Kreuzprodukte enthält (die ich beim "Einsetzen" auch nicht eliminieren konnte, aber vielleicht hakt es ja dort), also das kann es auch nicht sein. Ich habe also überhaupt keine Ahnung, was der Autor dort mit dem $\vec{\nabla}_{\vec{b}}$ mindestens zwischen erster und zweiter Zeile macht, würde das aber sehr gerne nachvollziehen können, weil es schon toll wäre, die Technik zu beherrschen. Kann mir da jemand helfen?

Ich beziehe mich natürlich auf die zweite Seite!

Also mir lässt das keine Ruhe.

Als Ausgangsbasis steht da doch letztendlich:
$\vec{0} = \vec{\nabla} (\vec{c}\vec{c}) = \vec{\nabla}\vec{c}^T\vec{c}$
oder nicht?
Wenn ich die 2. Zeile richtig deute, dann steht dort
$\vec{\nabla}\vec{c}^T\vec{c} = (\vec{\nabla}\vec{c})^T\vec{c} + (\vec{c}^T(\nabla\vec{c}))^T$
Wie kommt es dazu? Wenn ich das als pure Vektoren betrachte, entsprechend dem Text dort (Ich hab da einfach mal Koordinaten eingesetzt, auch für $\nabla$ ), dann gilt diese Gleichung nicht. Was wurde da gemacht? Ich kann mir das nur so erklären, dass dort eine kluge Vektoroperation mit irgendeiner Differenzialregel vermengt wurde, aber ich steige nicht dahinter

Hrmm, bei http://www.mia.uni-saarland.de/Teaching/MFI0708/kap74.pdf geht man einen anderene Weg. Man multipliziert die Ausgangsgleichung oben aus:

$(X\vec{b}-y)^T(X\vec{b}-y) = \vec{b}^TX^TX\vec{b} - \vec{b}^TX^T\vec{y} - \vec{y}^TX\vec{b} + \vec{y}^T\vec{y}$
Jetzt sind die Summanden natürlich alle Skalare, somit kann man da frei transponieren:
$\vec{b}^TX^TX\vec{b} - \vec{b}^TX^T\vec{y} - \vec{y}^TX\vec{b} + \vec{y}^T\vec{y} = f = \vec{b}^TX^TX\vec{b} - 2\vec{b}^TX^T\vec{y} + \vec{y}^T\vec{y}$
Von der Gleichung wird nun der Gradient gebildet:
$\vec{\nabla}_{\vec{b}} f = X^TX\vec{b} + \vec{b}^TX^TX - 2X^T\vec{y}$
Und das macht mich jetzt schon wieder stutzig. Irgendwie scheint da vorne ja das Äquivalent der Produktregel eingesetzt worden zu sein, dass das so stimmt, davon muss ich mich erst noch überzeugen. Aber was mich gerade noch viel stärker verwirrt ist, dass doch da jetzt der erste und der letzte Summand Zeilenvektoren sind, aber der zweite Summand ein Spaltenvektor. Ist das denn da formal alles so richtig?

Also was ich meine ist, man hat sich ja dazu entschieden, die Vektoren als Spaltenmatrix aufzufassen und dann auf Basis von Matrizen weitergerechnet... darf man da jederzeit die entstandenen Teilterme wieder als reine Vektoren auffassen und mit ihnen so weiterrechnen? Irgendwie behagt mir da etwas nicht.

Wenn das unklar ist, schreib doch mal alles aus:

\begin{align}\vec{\nabla} (\vec{a}^\intercal\vec{b}) &= \begin{pmatrix}\frac\partial{\partial x_1}\\ \vdots\\ \frac\partial{\partial x\_n}\end{pmatrix}\left((a\_1,\dots,a\_n)\begin{pmatrix}b\_1\\\vdots\\b_n\end{pmatrix}\right) % allinone \\&=\left(\frac\partial{\partial x\_1}(a\_1 b\_1+\dots+a\_n b\_n),\dots,\frac\partial{\partial x\_n}(a\_1 b\_1+\dots+a\_n b\_n)\right)^\intercal % expanded \\&=\left(a\_1\frac\partial{\partial x\_1}b\_1+\dots+a\_n\frac\partial{\partial x\_1}b\_1,\dots\right)^\intercal \+ \left(b\_n\frac\partial{\partial x\_1}a\_1+\dots+b\_n\frac\partial{\partial x\_1}a\_n,\dots\right)^\intercal % matrix \\&=\left((a\_1,\dots,a\_n)\begin{pmatrix}\frac\partial{\partial x\_1}b\_1 & \dots &\frac\partial{\partial x\_n}b\_n\\ \vdots & \dots & \vdots\\ \frac\partial{\partial x\_1}b\_1 & \dots &\frac\partial{\partial x\_n}b\_n\\\end{pmatrix}\right)^\intercal + \text{Gleiches mit $a$ und $b$ vertauscht} % three vectors \\&=\left( \begin{pmatrix}\frac\partial{\partial x\_1}\\\vdots\\\frac\partial{\partial x\_n}\end{pmatrix} (b\_1+\dots+b\_n) \right)^\intercal \begin{pmatrix}a\_1\\\vdots\\a\_n\end{pmatrix} + \text{Gleiches mit $a$ und $b$ vertauscht} % nabliert \\&= (\vec{\nabla}\vec{b}^\intercal)\vec{a} + (\vec{\nabla}\vec{a}^\intercal)\vec{b} \end{align}

Setzt man $\vec{a}=\vec{b}=\vec{c}$ , erhält man

$\vec{\nabla} (\vec{c}^\intercal\vec{c})= (\vec{\nabla}\vec{c}^\intercal)\vec{c} + (\vec{\nabla}\vec{c}^\intercal)\vec{c}$

,

was genau die dritte Zeile ist.

Du must nur aufpassen, dass $\vec{\nabla}$ ein Spaltenvektor ist, nicht ein Zeilenvektor wie im Skript geschrieben.

Oh, danke Dir, das war offensichtlich mühsam!
Okay, ich rechne das jetzt mal formal durch, ohne bei Dir abzuschauen natürlich :), dann werde ich zumindest vom Ergebnis überzeugt sein.
Aber was ich mich dann immer noch frage ist, was ist der Schritt von der ersten auf die zweite Zeile? Es ist natürlich schön das Ergebnis verifiziert zu haben, aber wenn man da irgendwelche fundamentalen "mechanischen" Regeln ableiten könnte, wäre es umso praktischer, denke ich.
Und hast Du meine zwei Postings vor Deinem davor gelesen? Ich glaub' das entstand zeitgleich. Über diese Sache bin ich mir auch noch nicht so im Klaren.

Viele Grüße

Okay, ich hab's jetzt geschafft. Ich hatte den Anfang der Rechnung tatsächlich schon durchgeführt, aber da hatte ich das "Matrixmuster", das dann zu $\vec{nabla}\vec{a}^T$ führt einfach nicht erkannt und aufgegeben in der Annahme, dass es zu keinem "einfacheren" Ergebnis führen würde.
Super, ohne Deine Hilfe hätte ich's nicht gepackt!

Wobei da natürlich noch das Vorgehen in den jetzt zwei Skripten noch etwas unklar bleibt, wie im Vorpost beschrieben!

Jodocus

Mag mir mal jemand erklären, woher auf einmal die gemischten Terme $a\_i\partial\_j b_j$ bzw. $b\_i\partial\_j a_j$ mit $i \neq j$ in Zeile 3 von del nibbla's Posting auftauchen? Jedenfalls sind nach Anwenden der Produktregel auf jeden Term in Zeile 2 nur Terme vom Typ $b\_i \partial\_j a_i$ und $a\_i \partial\_j b_i$ vorhanden.

Und außerdem: warum widerspricht dieses Ergebnis dann nicht der Identität
$\vec\nabla (\vec a^T \vec a) = \vec\nabla \vec a^2 = 2((\vec a \cdot \vec \nabla) \vec a + \vec a \times (\vec\nabla \times \vec a))$ ?

Das ist die Produkregel der partiellen Differenzierung, wenn ich Dich richtig verstehe?

Achso, da hat sich ein Fehler eingeschlichen, das $b_1$ muss natürlich ein $b_n$ sein... im anderen Summanden ist's ja richtig?

Nee, im anderen Summanden muss es beim ersten natürlich eine 1 als Index sein. Aber ich will nicht mäkeln, ohne die ausführliche Rechnung zu sehen hätte ich nicht die Motivation gehabt selbst nochmal! zu rechnen um den kritischen Punkt zu überwinden, der ja erst etwas weiter unten kommt.

@Jodocus, hast Du schon verifiziert, dass sich die Ergebnisse nicht entsprechen? Ich seh's auf Anhieb nicht, aber finde auch gerade keinen Fehler in meiner eigenen Rechnung, die zum selben Ergebnis kommt. Ich war natürlich auch schon drüber gestolpert, dass die Identität, die man auf Wikipedia dazu findet, so überhaupt nicht nach der Form, die wir hier haben, ausschaut.

Jodocus

Hilfesuchender2 schrieb:

Das ist die Produkregel der partiellen Differenzierung, wenn ich Dich richtig verstehe?

Also wenn ich die Produktregel auf jeden einzelnen Term anwende, erhalte ich:

\left(\frac\partial{\partial x\_1}(a\_1 b\_1+\dots+a\_n b\_n),\dots,\frac\partial{\partial x\_n}(a\_1 b\_1+\dots+a\_n b\_n)\right)^\intercal = \left( (a\_1\partial\_1 b\_1 + b\_1 \partial\_1 a\_1) + (a\_2 \partial\_1 b\_2 + b\_2 \partial\_1 a\_2) + ... + (a\_n \partial\_1 b\_n + b\_n \partial\_1 a\_n), \dots, (a\_1 \partial\_n b\_1 + b\_1 \partial\_n a\_1) + ... + (a\_n \partial\_n b\_n + b\_n \partial\_n a\_n)\right)^\intercal

Jodocus

Hilfesuchender2 schrieb:

@Jodocus, hast Du schon verifiziert, dass sich die Ergebnisse nicht entsprechen? Ich seh's auf Anhieb nicht, aber finde auch gerade keinen Fehler in meiner eigenen Rechnung, die zum selben Ergebnis kommt. Ich war natürlich auch schon drüber gestolpert, dass die Identität, die man auf Wikipedia dazu findet, so überhaupt nicht nach der Form, die wir hier haben, ausschaut.

IMHO fehlt da der Summand $\vec a \times (\vec \nabla \times \vec a)$

@Jodocus, da hat sich nur ein Fehler in den Indizes eingeschlichen, multipliziere mal die Zeile darunter aus, dann kommt doch genau das bei heraus, was wir in der Zeile darüber richtigerweise haben wollen?

Nee, kommt's auch nicht... soll ich meine Rechnung jetzt nochmal runter schreiben hier

Jodocus

Hilfesuchender2 schrieb:

Nee, kommt's auch nicht... soll ich meine Rechnung jetzt nochmal runter schreiben hier

Weiter hab ich's mir ehrlich gesagt nicht angesehen, weil ich schon bei Zeile 3 ein Problem habe.

Was hast du denn gerechnet? Damit es schneller geht, kannst du ja Komponenten-Schreibweise mit Einstein-Summenkonvention benutzen.

Ich hab keine Ahnung wie die Summenkonvention geht, ich hab's jetzt mal rutnergeschrieben...

\newcommand{\pd}[2]{\frac{\partial #1}{\partial #2}} \begin{align*} \begin{bmatrix} \pd{\sum a\_ib\_i}{x_1} \\ \vdots \\ \pd{\sum a\_ib\_i}{x_n} \end{bmatrix} &= \begin{bmatrix} \sum b\_i \pd{a\_i}{x_1} \\ \vdots \\ \sum b\_i \pd{a\_i}{x_n} \\ \end{bmatrix} + \text{analog} \\ &= \sum (b_i \begin{bmatrix} \pd{a\_i}{x\_1} \\ \vdots \\ \pd{a\_i}{x\_n} \end{bmatrix}) + \text{analog} \\ &= \begin{bmatrix} \pd{a\_1}{x\_1} & \cdots & \pd{a\_n}{x\_1} \\ \vdots & \vdots & \vdots \\ \pd{a\_1}{x\_n} & \cdots & \pd{a\_n}{x\_n} \end{bmatrix} \vec{b} + \text{analog}\\ &= (\vec{\nabla}\vec{a}^T)\vec{b} + \text{analog} \end{align*}

Ich denke, diese Matrix die man da aufspannt, macht das, was das Kreuzprodukt in der Identität verursacht... Man beachte halt die Transponierung von a. Also vielleicht steht da wirklich dasselbe und ich bin nur zu blöd das zu sehen. Oder ich habe einfach einen gravierenden Fehler gemacht, würde mich nicht überraschen.