Rekurrente Netze

Simple Recurrent Networks (SRNs)

SRNs zeichnen sich durch ihre Kontext-Einheiten (diese sind in Abbildung 14 in blau dargestellt) aus. Kontext-Einheiten sind Neuronen, die sich quasi auf gleicher Ebene wie die der Input-Schicht befinden und von Units der Hidden-Schicht Informationen erhalten. Diese Informationen werden dann dort "verarbeitet" (= der Input wird wie gewohnt in einen Output umgewandelt) und sodann um einen Schritt verzögert an die Hidden-Units der betreffenden Schicht zurückgesendet.

Die Anzahl der Kontext-Einheiten ist genauso groß wie die Anzahl der Einheiten der Hidden-Schicht, mit welcher die Kontext-Units verbunden sind. Ferner erhält jede Kontext-Einheit nur von genau einer Hidden-Unit Informationen. Deswegen wird in den Kontext-Units auch der Input und nicht der Netzinput einem Aktivitätslevel zugeordnet. Zudem werden sämtliche Gewichte von den Hidden-Units zu den Kontext-Einheiten permanent auf +1 fixiert. Dadurch erhalten die Kontext-Units in jedem Durchlauf eine exakte Kopie des Outputs der Hidden-Schicht, mit der sie verknüpft sind.

Einen Schritt später geben die Kontext-Einheiten diesen Output dann wieder zurück an die Hidden-Units, wobei jede Kontext-Unit mit sämtlichen Neuronen der betreffenden Hidden-Schicht verbunden ist. Die Gewichte dieser Verbindungen werden nicht fixiert, sondern können während der Lernphase wie alle anderen Gewichte des Netzes auch mit Hilfe (für rekurrente Verbindungen modifizierter Varianten) des Backpropagation-Verfahrens angepasst werden.

Durch die Kontext-Einheiten besitzt ein Simple Recurrent Network Teilinformationen aus sämtlichen (!) vorangegangen Zeitpunkten bzw. Durchgängen (t). Dies liegt daran, weil zu einem beliebigen Durchgang die Kontext-Units eine Kopie der Aktivität der Hidden-Units aus dem vorangegangenen Durchgang (t-1) besitzen. Zu diesem vorangegangen Zeitpunkt (t-1) haben die Kontext-Einheiten aber wiederum eine Kopie des vorangegangen Zeitpunktes (t-2) besessen und den Hidden-Units in modifizierter Form zur Verfügung gestellt usw. (t-3, t-4 ... bis zum ersten Durchgang). Dadurch enthalten die Kontext-Units indirekt Teilinformationen über alle vorangegangen Zeitpunkte.

Kontext-Einheiten mit den dazugehörigen modifizierbaren Gewichten kann man auch als dynamisches Gedächtnis des neuronalen Netzes betrachten. Identischer Input im Netz wird durch die Existenz der Kontext-Units kontextabhängig modifiziert (daher der Name).

Im Gegensatz zu anderen Netzlösungen mit Rückkopplungen besitzen SRNs den Vorteil, dass sie sehr flexibel arbiträre (=willkürliche) Sequenzen lernen können.

Stichpunktartig seien zwei andere rekurrente Netze genannt:

• Autoassociator: Der Autoassociator weist sehr große Ähnlichkeiten zum Pattern Associator auf. Im Gegensatz zu diesem besitzt er jedoch modifizierbare, rekurrente Verbindungen von sämtlichen Output-Neuronen zu allen anderen Output-Units, ausgenommen sich selbst (siehe Abbildung 15).

• Jordan-Netze: Diese sind sehr ähnlich aufgebaut wie SRNs mit dem einzigen Unterschied, dass hier die Aktivität des Outputs (und nicht die der Hidden-Schicht) an die Kontext-Einheiten zurückgemeldet wird. Zudem sind für die Kontext-Einheiten direkte Rückkopplungen mit einer zuvor festgelegten, nicht veränderbaren Stärke vorgesehen. In den meisten Anwendungen wird jedoch auf diese weiteren rekurrenten Verbindungen verzichtet.