Das Signal (bei Sigmoidfunktion ) für Knoten i ist dann
Diese Gleichungen können für ein vorwärtsgerichtetes Netz
unmittelbar gelöst werden, indem, beginnend an der Eingabe,
alle Signale sukzessive berechnet werden.
Für versteckte Knoten kann man als Sigmoidfunktion z.B. den
Tangens hyperbolicus wählen, für Ausgabeknoten die Identität
.
Typische Verbindungsstruktur:
Vollständige Verbindungen von der Eingabeschicht zur versteckten Schicht
und von der versteckten Schicht zur Ausgabeschicht.
Die Genauigkeit, mit der ein vorwärtsgerichtetes Netz mit
geeigneten Sigmoidfunktionen (zum Beispiel Tangens hyperbolicus) eine
stetige Funktion, also eine stetige Zuordnung von Eingabewerten zu
Ausgabewerten, wiedergeben kann, kann durch Erhöhung der Anzahl
versteckter Knoten beliebig gesteigert werden.
Nur eine versteckte Schicht ist ausreichend;
dies muß jedoch nicht zur günstigsten Lösung führen.
Auch ist das Auffinden einer Lösung durch den Lern-Algorithmus in der Regel
nicht garantiert.