Backpropagation

Einleitung

Die bisher dargestellten Lernregeln funktionieren nur bei neuronalen Netzen ohne Hidden-Units. Auch wenn zahlreiche Probleme ohne die Verwendung einer oder mehrerer Hidden-Schichten gelöst werden können, muss man gelegentlich auf neuronale Netze mit Hidden-Units zurückgreifen. Beispielsweise kann das sogenannte XOR-Problem (= exklusives Oder, z. B. die Entscheidung entweder ins Kino oder aber ins Theater zu gehen, nicht aber beides) nicht ohne weiteres ohne Hidden-Units gelöst werden.

Das Backpropagation Verfahren stellt eine Rechenvorschrift dar, mit der die Gewichte zu den Hidden-Units modifiziert werden können. Entwickelt wurde das Verfahren bereits in den 70er Jahren (u. a. von Paul Werbos, 1974), allerdings geriet es zunächst für über ein Jahrzehnt in Vergessenheit.

Besonders bekannt wurde der Backpropagation Ansatz von Rumelhart, Hinton und Williams (1986), deren Verfahren eine Verallgemeinerung der Delta-Regel darstellt.

Heutige neuronale Netze, die konkrete Anwendungsprobleme lösen sollen, greifen typischerweise auf das Backpropagation-Verfahren zurück. Ein Problem im Zusammenhang mit diesem Ansatz ist die fragwürdige biologische Plausibilität bei der Erklärung der Funktionsweise des menschlichen Gehirns (siehe hierzu Probleme neuronaler Netze).