Sufficient Potential for Encoding by Structural Changes

Als allgemeinen Rahmen nehmen wir hier ein künstliches neuronales Netz (KNN) an. Die generellen Möglichkeiten möglicher Strukturänderungen im Bereich neuronaler Netze sind in der Tabelle 2.1 aufgelistet. Diese Liste ist sehr beeindruckend. Im folgenden einfachen Beispiel soll als Typ der Veränderung nur zugelassen werden, daß sich die Gewichte der Verbindungen zwischen Neuronen ändern können. Gemessen an dem allgemeinen Lernkonzept von GBBCLT schöpft dies nur einen Bruchteil des Veränderungspotentials für Lernen aus. Es ist daher nicht auszuschließen, daß diese Form von Veränderungen nur sehr schwache Formen von Lernen ermöglicht. Ferner -wie sich im weiteren Verlauf noch zeigen wird- gibt es sehr unterschiedliche Strategien, wie man die Veränderung der Gewichte vornimmt.

Die älteste bekannte Strategie, die eine Änderung von Gewichten realisiert, ist die sogenannte Hebbsche Lernregel: When an Axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A's efficiency, as one of the cells firing B, is increased(see: Hebb (1949)[44]:p.62 (reprinted in [118]:p.226). Da diese Formulierung nicht sehr präzise ist, hat sie später Umformulierungen erfahren. Eine bis heute gebräuchliche Form lautet wie folgt: Adjust the strength of the connections between units A and B in proportion to the product of their simultaneous activation.(siehe dazu Rumelhart et al. (1986)[101]:p.36). Als Formel:

$$w_{ij} = \epsilon \times a_{i} \times a_{j}$$ (6.6)

mit $\epsilon$ als konstante Veränderungsgröße, $a_{i}$ als Aktivierung des sendenden Neurons und $a_{j}$ als Aktivierung des empfangenden Neurons.

Eine noch weitergehende Formulierung findet sich bei Zell(1994)[133]:S.85:

$$\Delta w_{ij} = \epsilon h(o_{i},w_{ij}) g(a_{j}, t_{j})$$ (6.7)

Hier wird nicht nur die Ausgabeaktivierung $o_{j}$ des sendenden Neurons mit der Aktivierung $a_{j}$ empfangenden Neurons in Beziehung gesetzt, sondern zusätzlich wird auch noch ein Traininswert $t_{j}$ angenommen, der als Sollwert für das empfangende Neuron dienen soll^6.1. Der Wert von $\epsilon$ bedeutet wie vorher eine konstante Veränderungsrate.

Mit diesen Festlegungen wurde schon weitgehend eine bestimmte Strukturveränderungsstrategie festgelegt.