Rekurrente Netze

Rekurrente Netze sind dadurch gekennzeichnet, dass Rückkopplungen von Neuronen einer Schicht zu anderen Neuronen derselben oder einer vorangegangenen Schicht existieren. Damit sollen zumeist zeitlich codierte Informationen in den Daten entdeckt werden.

Existieren solche Rückkopplungen nicht (wie z. B. beim Pattern Associator oder den noch vorzustellenden Kompetitiven Netzen und Kohonennetzen), spricht man auch von Feedforward-Netzen.

Rekurrente Netze lassen sich unterteilen in neuronale Netze mit:

• direkten Rückkopplungen (direct feedback): Hier existieren Verbindungen vom Output zum Input derselben Unit zurück. Das bedeutet, dass der Aktivitätslevel bzw. der Output der Einheit zu einem Input der gleichen Einheit wird.

• indirekten Rückkopplungen (indirect feedback): In diesem Fall wird die Aktivität an vorangegangene Schichten des neuronalen Netzes zurückgesandt.

• seitlichen Rückkopplungen (lateral feedback): Hier erfolgt die Rückmeldung der Informationen einer Unit an Neuronen, die sich in derselben Schicht befinden. Ein Beispiel für solche seitlichen Rückkopplungen sind die Horizontalzellen im menschlichen Auge.

• vollständigen Verbindungen: Diese Netze besitzen Verbindungen zwischen sämtlichen Neuronen. (In der Abbildung unterhalb sind jedoch keine direkte Rückkopplungen eingezeichnet.)

Im Folgenden werden die so genannten "Simple Recurrent Networks" (SRNs) - rekurrente Netze mit indirekten Rückkopplungen - vorgestellt.