Neuronale Netze
Eine Einführung
  • Grundlagen
  • Lernregeln
  • Netztypen
  • Eigenschaften
  • Anwendungen
  • Sonstiges
  • Hebb-Regel
  • Delta-Regel
  • Backpropagation
  • Competitive Learning
  • Zusammenfassung
  • Einleitung
  • Algorithmus
  • Gewichtsanpassung
  • Gradientenabstiegsverfahren
  • Probleme
  • Lösungen
LernregelnLayout elementBackpropagationLayout elementEinleitung
Seite 13/63
Delta-RegelDelta-Regel
  AlgorithmusAlgorithmus

Backpropagation

Einleitung

Lernregel für neuronale Netze mit Hidden-Units

Die bisher dargestellten Lernregeln funktionieren nur bei neuronalen Netzen ohne Hidden-Units. Auch wenn zahlreiche Probleme ohne die Verwendung einer oder mehrerer Hidden-Schichten gelöst werden können, muss man gelegentlich auf neuronale Netze mit Hidden-Units zurückgreifen. Beispielsweise kann das sogenannte XOR-Problem (= exklusives Oder, z. B. die Entscheidung entweder ins Kino oder aber ins Theater zu gehen, nicht aber beides) nicht ohne weiteres ohne Hidden-Units gelöst werden.

Paul Werbos
Abbildung 9: Paul Werbos

Das Backpropagation Verfahren stellt eine Rechenvorschrift dar, mit der die Gewichte zu den Hidden-Units modifiziert werden können. Entwickelt wurde das Verfahren bereits in den 70er Jahren (u. a. von Paul Werbos, 1974), allerdings geriet es zunächst für über ein Jahrzehnt in Vergessenheit.

David Rumelhart
Abbildung 10: David Rumelhart

Besonders bekannt wurde der Backpropagation Ansatz von Rumelhart, Hinton und Williams (1986), deren Verfahren eine Verallgemeinerung der Delta-Regel darstellt.

Heutige neuronale Netze, die konkrete Anwendungsprobleme lösen sollen, greifen typischerweise auf das Backpropagation-Verfahren zurück. Ein Problem im Zusammenhang mit diesem Ansatz ist die fragwürdige biologische Plausibilität bei der Erklärung der Funktionsweise des menschlichen Gehirns (siehe hierzu Probleme neuronaler Netze).

Delta-RegelDelta-Regel
  AlgorithmusAlgorithmus

Anregungen, Fragen und Fehler an: Mailadresse: 'mail at neuronalesnetz.de'

  • Impressum
  • Druckversion
  • Sachverzeichnis
  • Links