Abstracts der COWAN'94
Optimierte Lernverfahren für Feedforward-Netze
Thorsten Kolb/Jörg Wille
Institut für Mathematik der TU Cottbus
Eine wesentliche Klasse von Lernverfahren für Feedforward-Netze basiert auf dem
Backpropagation-Algorithmus. Seit seiner Propagierung wurde eine schon fast
unüberschaubahre Menge von Verbesserungen und Weiterentwicklungen des
Standardverfahrens veröffentlicht.
Dabei wurden zumeist empirisch gefundene Regeln, also im wesentlichen
Heuristiken, angewandt. Erst später wurden erste Versuche unternommen, eine
mathematische Untersetzung von Verfahrenstypen zu entwickeln. Insgesamt muß
jedoch das Fehlen einer einheitlichen mathematischen Theorie konstatiert
werden.
Ausgehend von den Resultaten der nichtlinearen Numerik und der
Approximationstheorie sollte eine solche systematische Begründung möglich
sein. Jedoch, und dies scheint eine zentrale Fragestellung zu sein, dürfen
diese Ergebnisse nicht losgelöst von den Spezifika Neuronaler Netze betrachtet werden, sondern müssen auf diese spezifischen Algorithmen angewandt werden und ihnen Rechnung tragen.
Dieser Vortrag soll Ansätze zu solchen überlegungen vorstellen und eine Reihe von Verbesserungen mathematisch begründen helfen. Außerdem werden ausgehend
von numerischen Verfahren spezielle, in ihrer Art optimierte,
Minimierungsstrategien auf der Basis des Gradientenverfahrens beschrieben.
Dabei liegt der Schwerpunkt der Untersuchungen auf dem Gebiet der
Parametersteuerung sowie Weiterentwicklungen des Momentumansatzes.
Zurück zur Hompage der Cowan!