Typisches Modell

Bild 10.7 zeigt ein einfaches Netzwerk mit einer Inputschicht, einer verborgenen Schicht und einer Outputschicht. Der Signalverlauf ist von 'links' nach 'rechts', d.h. die Endstücke der Axone, die aus den Neuronen austreten, enden kurz vor dem Zielneuron. Das Endstück mit dem Zielneuron bilden dann eine sogenannte Synapse. Die biologischen Details dieser Synapsen sind beliebig komplex. Für die Modellierung der tatsächlichen Funktion genügt es meist, ein sehr stark abstrahiertes Modell dieser Synapsen zu konstruieren. Ein solches stark vereinfachtes -aber 'typisches'- Modell zeigt Bild 3.2.

Figure 3.1: Einfaches KNN mit Input Layer, hidden Layer und Output Layer

Figure 3.2: Typisches Neuronmodel mit Netinput, Aktivierung und Outputfunktion

Das Bild 3.2 zeigt ein Neuron als eine Funktion $neuron$, die aus drei verketteten Teilfunktionen $net_{j}, f_{j.act}, o_{j}$ besteht, die hintereinander ausgeführt die Gesamtleistung der Neuronfunktion beschreiben:

$$neuron_{j} = net_{j} \otimes f_{j.act} \otimes o_{j}$$

Die einzelnen Teilfunktionen kann man im einfachen Fall wie folgt charakterisieren: die Funktion $net_{j}$ integriert die Werte, die von sendenden Neuronen $i \in {1,...,k}$ stammen. Zusätzlich werden diese Werte $o_{i}$ mit Gewichten $w_{ij}$ gewichtet. Dabei steht der Index $i$ hier für das sendende Neuron und der Index $j$ für das empfangende Neuron.

$$net_{j} = \sum_{i} o_{i}w_{ij}$$ (3.1)

Die integrierten Inputwerte $net_{j}$ werden dann mittels einer Aktivierungsfunktion $f_{j.act}$ in einen spezifischen Aktivierungswert $a_{j}$ umgerechnet:

$$a_{j} = f_{j.act}(net_{j}, a_{j}, \theta)$$

Die Aktivierungsfunktion $f_{j.act}$ kann dabei sehr unterschiedlich sein. Charakteristisch ist aber, daß der aktuelle integtrierte Wert aller Inputwerte, der letzte Aktivierungswert, sowie ein Schwellwert $\theta$ als Ausgangspunkt genommen werden. Das Ergebnis der Aktivierungsfunktion, nämlich der neue Aktivierungswert $a_{j}$, wird dann mittels der Ausgabefunktion $o_{j}$ weiter umgeformt:

$$o_{j} = f_{j.out}(a_{j})$$

Zu beachten ist hier, daß diese allgemeine Fassung der Aktivierungsfunktion den Fall einbezieht, daß der 'neue' Aktivierungswert $a_{j}$ zum Zeitpunkt t den 'alten' Aktivierungswert zum vorausgehenden Zeitpunkt $t-1$ voraussetzt. Im nachfolgenden Beispiel einer Aktivierungsfunktion (vgl. Bild 10.10) handelt es sich um eine sogenannte binäre Aktivierungsfunktion, die als Ausgangswerte nur '1' oder '0' kennt, bei der der vorausgehende Wert der Aktivierungsfunktion nicht benutzt wird!

$$a_{j.bin} = \left\{ \begin{array}{r@{\quad :\quad}l} 1 & net_{j} \geq \theta 0 & sonst \end{array} \right.$$

Figure 3.3: Binäre Aktivierungsfunktion mit Schwellwert

Nimmt man als Ausgabefunktion dann noch die einfache Identitätsfunktion

$$o_{j.id} = a_{j.bin}$$

Mit den bisherigen Zutaten könnte man dann das künstliche Neuron von der Art $TYPE$ ($AN_{TYPE}$) wie folgt definieren:

$$AN_{TYPE} = \langle INP, OUTP, \{ \alpha \},\{ \theta\}, neuron_{TYPE}\rangle$$

mit

$$neuron_{TYPE}: INP \times \{ \alpha \} \times \{ \theta\} \longmapsto \{ \alpha \} \times OUTP$$

d.h. ein künstliches Neuron von der Art $TYPE$ besteht einmal aus den Mengen der Eingabewerte $INP$, dem aktuellen Aktivierungszustand $\alpha$, dem Schwellwert $\theta$ sowie der Menge der Ausgabewerte $OUTP$, dann aus der Neuronfunktion $neuron_{TYPE}$, die über diesen Mengen operiert. Die Neuronfunktion $neuron_{TYPE}$ bildet die aktuellen Eingabewerte samt dem aktuellen Aktivierungszustand und dem Schwellwert auf den neuen Aktivierungszustand samt dem neuen Ausgabewert ab. Interessant dabei ist, daß der Aktivierungszustand in dieser Struktur quasi ein minimlaes Gedächtnis darstellt, das den letzten Zeitpunkt mit dem aktuellen Zeitpunkt verknüpft.

In dieser theoretischen Rekonstruktion ist ein künstliches Neuron $AN$ ein Input-Output-System, das weitere unterschiedliche Formalisierungen zuläßt. So kann man ein künstliches Neuron z.B. auch verstehen als einen Automaten $\cal{A}$, dessen Band ('tape') die beteiligten Mengen repräsentiert. Man könnte ein künstliches Neuron aber auch als eine formale Grammatik $\cal{G}$ auffassen, bei der die Mengen als Mengen von Ausdrücken über einem Alphabet gedeutet werden, und die Neuronfunktion stellt die Transformationsregeln dar. Zahlreiche weitere Deutungen sind möglich.