Backpropagation monoton ?
-
Hallo zusammen, ich beschäftige mich mit neuronalen Netzen, speziell mit Backpropagation-Algorithmen. So ein neuronales Netz realisiert eine Funktion von einer Eingabemenge in eine Wertemenge. Wenn nun so ein Netz, gelernt hat x1 y1 zuzuordnen, später lernt x2 y2 zuzuordnen, kann es sein, dass das Netz dann verlernt hat x1 y1 zuzordnen ? Beim Backpropagation werden ja Gewichte wi verändert, kann es sein, dass so ein Gewicht mehrfach verändert wird, oder habe ich hier ein Denkfehler ?
-
@biter
Ja, sicher. Das ist auch ein -soweit ich mich richtig erinnere- recht zentrales Thema gewesen, einen guten Weg zwischen Stabilität und Anpassungsfähigkeit zu finden.
-
Ja, mit Backpropagation of error soll der Fehler des Netzes ja minimiert werden.
Wenn die erste Trainingseingabe x1 und y1 sind und später x2 und y2 dem Netz präsentiert werden, kann das erste wieder verlernt werden.Daher unterscheidet man zwischen "Batch" und "Online" Verfahren des Backprop und Kompromissen dazwischen.
Beim Batch Verfahren präsentierst du alle Trainingsbeispiele auf einmal, damit der globale Fehler minimiert wird. Hat aber mehr Probleme mit lokalen Minima.
Online wird jedes Beispiel einzeln präsentiert und der Fehler von jedem Beispiel einzeln minimiert, was zur Folge hat, dass gelernte Sachen wieder "verlernt" werden können. Dadurch ist es aber robuster gegen lokale Minima.
Man kann versuchen die Vorteile beider Varianten auszunutzen, in dem man z.B. das Trainingsset in verschiedene kleine Batches zerlegt.
-
Danke Euch !