Abstracts der COWAN'94

Neuronale Steuerung von Laufmaschinen

Stefan Cordes
Forschungszentrum Informatik an der Universität Karlsruhe

Am Beispiel der sechsbeinigen Laufmaschine LAURON (LAUfender ROboter, Neuronal gesteuert) werden Steuerungsansätze für Laufmaschinen vorgestellt. Im Vortrag wird zunächst eine kurze Einführung in die Thematik 'Laufmaschinen' gegeben, wobei auf die besonderen Vorteile und Nachteile von Sechsbeinern eingegangen wird. Nach der Vorstellung der technischen Daten und den Anforderungen an die Steuerungsarchitektur von LAURON wird das Konzept für die Steuerungsarchitektur und seine Umsetzung beschrieben. Für die Steuerung der Laufmaschine werden Neuronale Netze eingesetzt. Die Aufgabenstellungen reichen dabei von der Einzelbeinsteuerung über die Beinsynchronisation bis hin zur reaktiven Verhaltenssteuerung der gesamten Laufmaschine. Die hierzu untersuchten Netzarchitekturen werden erläutert und diskutiert. Einige Informationen zu durchgeführten Tests runden die Vorstellung der Neuronalen Steuerungsansätze ab und geben einen überblick über deren Leistungsfähigkeit. Nach dem Vortrag findet eine Vorführung mit Diskussion statt.

Spracherkennung mit neuronalen Netzen

Raul Rojas
Martin-Luther-Universität Halle-Wittenberg

Es wird in diesem Vortrag gezeigt, wie mit Hilfe neuronaler Netze hybride Spracherkennungssysteme aufgebaut werden können. Klassifikationsnetze sind in der Lage, die a-posteriori Wahrscheinlichkeiten von Klassen in einem Eingaberaum zu lernen. Die Klassen, die bei der Spracherkennung gelernt werden sollen, sind die sprachlichen Phoneme. Mit Hilfe der berechneten Wahrscheinlichkeiten und eines Hidden- Markov-Modells können Hypothesen getestet werden, um die Interpretation mit der maximalen Plausibilität auszuwählen. Das Training der Markov-Modelle kann mit Hilfe des Backpropagation-Algorithmus realisiert werden. Wir werden über offene Probleme und über unsere Erfahrung mit solchen hybriden Spracherkennungssystemen berichten.

Neuronale Netze für die Klassifikation von Defekten in Pipelines

Robert Suna
Forschungszentrum Informatik an der Universität Karlsruhe

Gas-, öl- und andere Pipelines müssen immer wieder auf Korrosion und andere Defekte überprüft werden. Dies geschieht durch mit Ultraschallsensoren bestückte Sonden, die den Zustand der Rohrwand überprüfen. Diese aufgenommenen Meßwerte werden später off-line auf Defekte analysiert. Die Suche und Analyse wurde bei der Firma Pipetronix manuell durchgeführt. Das von uns entwickelte System NEUROPIPE führt nun die Suche, Analyse und Klassifikation der Defekte automatisch mit Hilfe neuronaler Netze durch. Hierzu wird eine extensive Vorverarbeitung der einzelnen Regionen, die einen möglichen Defekt darstellen, durchgeführt. Ein Schwerpunkt dieser Arbeit bestand in der Selektion, Analyse und Skalierung der extrahierten Eingabemuster sowie in der Auffindung der richtigen Netzhierarchie aus Backpropagation-Netzen und einer abgespeckten Version eines RBF-Netzes. Im wesentlichen geht es um die Auswahl der richtigen Features für das neuronale Netz, sowie deren Verarbeitung durch ein hybrides neuronales Netz.

Lernkreisstrukturen zur Ansteuerung eines mehrfingrigen Robotergreifers

Karl Kleinmann, H. Tolle
Technische Universität Darmstadt

Vor dem Hintergrund der Imitation biologischer Problemlösungen auf dem Sektor der Informationsverarbeitung für die Automatisierungstechnik werden lernende Regelungen betrachtet. Das Forschungsprojekt "Lernendes Greifen" am Fachgebiet Regelsystemtheorie und Robotik der Technischen Universität Darmstadt untersucht am Beispiel eines mehrfingrigen Robotergreifers, wie durch den Einsatz neuronal inspirierter, lernfähiger Ansätze komplexe Aufgabenstellungen der Robotik mit im Vergleich zu konventionellen Lösungsmethoden geringem Implementierungsaufwand bewältigen werden können. Der Vortrag beschreibt, wie auf den Ebenen der Gelenkregelung, der Fingerkoordination und der aufgabenspezifischen Planungsebene unterschiedliche Lernstrukturen eingesetzt werden, welche bereits entwickelte konventionelle Verfahren ersetzen oder ergänzen. Außerdem werden die aktuell verfolgten Konzepte zum "Lernen durch Bedienvorgabe" vorgestellt und es wird auf andere z.Zt. näher untersuchte Anwendungen der lernenden Regelung hingewiesen.

Integration Neuronaler Netzwerke mit Symbolischer Wissensverarbeitung

D. Korus
Fachgebiet Informatik der Philipps-Universität Marburg

Unter Künstlichen Neuronalen Netzen (KNN) wird von uns eine biologisch motivierte Architektur für Informationsverarbeitungssysteme, zusammen mit einer entsprechenden Programmiermethode, verstanden. Diese Architektur ist Hauptsächlich durch eine Vielzahl einfacher Prozessoren, Neuronen oder Units genannt, und einem Netzwerk veränderbarer, gewichteter Verbindungen charakterisiert. Der Programmiervorgang wird als Lernen oder Training bezeichnet. Unter einem Expertensystem kann man ein Computerprogramm verstehen, welches eine explizite und formelle Repräsentation von "Wissen" (symbolische Repräsentation von Objekten, Tatsachen und Regeln die mit Hilfe von symbolischen Verarbeitungsmöglichkeiten, z.B. durch einen Menschen, interpretierbar sind) in Form einer Wissensbasis enthält. Ein Expertensystem ist in der Lage aus diesem Wissen Schlüsse zu ziehen und die Schlußfolgerungen zu erklären. Während Expertensysteme sehr effektiv mit symbolischem Wissen (z.B. Regeln) umgehen können, sind sie meist nicht in der Lage subsymbolische Daten zu verarbeiten. Dies jedoch ist ein geeignetes Feld für künstliche Neuronale Netze, was eine Integration beider Ansätze angemessen erscheinen läßt. Vier verschiedene Methoden zur Integration künstlicher neuronaler Netze und Expertensysteme können unterschieden werden. Sie werden "Neuronal Approximierte Beurteilung", "Neuronale Unifikation", "Introspektion" und "Integrierte Wissensaquisition" genannt. Die Einbeziehung von künstlichen Neuronalen Netzen zur integrierten subsymbolischen und symbolischen Wissensaquisition realisiert einen neuen Typus des Lernens aus Beispielen. Unüberwachte Lernverfahren sind in der Lage, Regelmäßigkeiten aus Daten zu extrahieren. Aufgrund der verteilten subsymbolischen Repräsentation sind künstliche Neuronale Netze jedoch nicht fähig, ihre Inferenzen zu erklären. Bei der "Integrierten Wissensaquisition" können die gewonnenen Regeln wie Expertenregeln genutzt werden. Speziell ist es möglich, Erklärungen für die aus dem künstlichen Neuronalen Netze entstandenen Inferenzen zu geben. Unter Ausnutzung der Eigenschaften künstlicher Neuronaler Netze ist das System sogar in der Lage, sehr effektiv verrauschte und unvollständige Daten zu verarbeiten.

Forward-Propagation in RBF-Netzen

Patrick Lang
Arbeitsgruppe Technomathematik der Universität Kaiserslautern

Beim sogenannten "super-vised learning" werden die Netzparameter solange modifiziert, bis der Prognosefehler auf den Lerndaten eine vorgegebene Fehlerschranke unterschreitet. Einer der einfachsten Lernalgorithmen, der dies im Falle von Feedforward-Netzen leistet, ist der Back-Propagation-Algorithmus. Dieser Algorithmus besitzt jedoch die Nachteile , daß er oftmals nur langsam konvergiert oder bereits in "hoch liegenden" lokalen Maxima terminiert. In der Arbeit werden Lernalgorithmen vorgestellt, die sich in diesen Punkten im Regelfall günstiger verhalten. Da die Reihenfolge der Gewichtsmodifikationen konträr zum Back-Propagation-Algorithmus ist, werden diese Algorithmen als Forward-Propagation-Algorithmen bezeichnet. In der präsentierten Arbeit werden diese Lernregeln in Verbindung mit Radialen-Basisfunktions-Netzen untersucht und es werden Performance-Vergleiche mit Sigmoid-Netzen vorgestellt. Die numerischen Untersuchungen wurden in Zusammenarbeit mit der Bayer AG durchgeführt, wo sich die Prognose gewisser Stoffeigenschaften durch Neuronale Netze mittlerweile als kostengünstige Alternative zu den oftmals sehr teuren Experimenten bewährt hat.

Ein allgemeines Konzept des Lernens in Feedforward-Netzwerken

Georg Dorffner
Institut für Medizinische Kybernetik und Artificial Intelligence der Universität Wien und österreichisches Forschungsinstitut für Artificial Intelligence

Dieser Vortrag gibt einen überblick über die gängigen Architekturen von Feedforward-Netzen (wie Mehrebenen-Perceptron oder Radiales Basisfunktions-Netz) und ihre zugeordneten Lernverfahren. Es soll gezeigt werden, daß die meisten dieser Architekturen als Spezialfälle einer allgemeineren Sichtweise der Netze betrachtet werden können. Durch diese Sichtweise - in der im wesentlichen Propagierungsregel, Aktivierungsfunktion und Lernregel als unabhängige Beschreibungsdimensionen aufgefaßt werden - ergeben sich neue Kombinationen, Aspekte, sowie Erweiterungen der Modelle, die für praktische Anwendungen, zusammen mit Werkzeugen der klassischen Statistik, die Einsetzbarkeit neuronaler Netze enorm bereichern können. Besonders diskutiert werden sollen die Themen Initialisierung von Netzen, Gradientenverfahren, Trennung vs. Regression, sowie das Konzept des "Conic Section Function Networks".

Funktionale Aspekte nichtkonvergenter Neuromodule

Frank Pasemann
Forschungszentrum Jülich

Es wird von einem modularen, dynamischen Ansatz zur Beschreibung neuronaler Strukturen mit höheren informationsverarbeitenden Leistungen ausgegangen. Solche "kognitiven Systeme" sind aus einer Vielzahl miteinander wechselwirkender, kleiner rekurrenter neuronaler Netze (Neuromodule) aufgebaut. Die Neuromodule besitzen ein bestimmtes Repertoir an dynamischen Verhaltensmöglichkeiten (operationalen Moden), die durch Parametereingänge variiert werden können. Der Prozeß der Informationsverarbeitung wird als globaler, verteilter Prozeß verstanden, der aus dem komplexen dynamischen Zusammenspiel kooperativ interagierender Module resultiert. Auf diesem Hintergrund wird eine kurze Darstellung der dynamischen Charakteristiken neuronaler Netze und die Klassifikation der "klassischen" (z.B. feedward und Hopfield) Netze als konvergente Netze gegeben. Das Konzept der parametrisierten nichtkonvergenten Moduldynamik wird erläutert. Anhand exemplarischer Beispiele werden die dynamischen Eigenschaften einfacher Neuromodule vorgestellt: Hystereseeffekte, Oszillation, Chaos, koexistierende Attraktoren. Anwendungsaspekte und die Rolle des Lernens in sensomotorischen Schleifen werden diskutiert.

Struktur-restingierte Neuronale Netze

Daniel Christoph Meier
Institut für Informatik der Universität Zürich

Schon Occam, Akeike und Wapnik Tschervonenkis haben Zusammenhänge zwischen Generalisierungsfähigkeit, Anzahl nötiger Beispiele und der Anzahl möglicher Konzepte für Neuronale Netze festgestellt. Auf Grund dieser Erkenntnisse folgt, daß für Echt-Welt-Probleme (zum Beispiel Handschriften und Spracherkennung) keine allgemeinen, universellen Klassifikationen verwendet werden sollen. Wir schlagen im folgenden die Idee der struktur-restringierten Neuronalen Netze vor. Die Idee für die Entwicklung dieser Netze steht im engen Zusammenhang mit der Theorie von Abu-Mostafa über Lernen durch Hinweise. Jedoch soll der Hinweis nicht direkt in die Lernregel eingebaut werden, sondern in die Struktur des Netzes. Die Idee des induktiven Lernens durch Strukturrestriktionen wird am Beispiel von vorwärtsgerichteten Neuronalen Netzen und der gelernten Vektorquantifizierung dargestellt. In einem Ausblick gehen wir dann auf die Anwendung der Strukturrestriktionen auf Assoziativspeicher und Zentralemustergeneratoren ein.

Optimierte Lernverfahren für Feedforward-Netze

Thorsten Kolb/Jörg Wille
Institut für Mathematik der TU Cottbus

Eine wesentliche Klasse von Lernverfahren für Feedforward-Netze basiert auf dem Backpropagation-Algorithmus. Seit seiner Propagierung wurde eine schon fast unüberschaubahre Menge von Verbesserungen und Weiterentwicklungen des Standardverfahrens veröffentlicht. Dabei wurden zumeist empirisch gefundene Regeln, also im wesentlichen Heuristiken, angewandt. Erst später wurden erste Versuche unternommen, eine mathematische Untersetzung von Verfahrenstypen zu entwickeln. Insgesamt muß jedoch das Fehlen einer einheitlichen mathematischen Theorie konstatiert werden. Ausgehend von den Resultaten der nichtlinearen Numerik und der Approximationstheorie sollte eine solche systematische Begründung möglich sein. Jedoch, und dies scheint eine zentrale Fragestellung zu sein, dürfen diese Ergebnisse nicht losgelöst von den Spezifika Neuronaler Netze betrachtet werden, sondern müssen auf diese spezifischen Algorithmen angewandt werden und ihnen Rechnung tragen. Dieser Vortrag soll Ansätze zu solchen überlegungen vorstellen und eine Reihe von Verbesserungen mathematisch begründen helfen. Außerdem werden ausgehend von numerischen Verfahren spezielle, in ihrer Art optimierte, Minimierungsstrategien auf der Basis des Gradientenverfahrens beschrieben. Dabei liegt der Schwerpunkt der Untersuchungen auf dem Gebiet der Parametersteuerung sowie Weiterentwicklungen des Momentumansatzes.

Neuronale Netze in der Ökonomie

Georg Zimmermann
Zentralbereich Forschung und Entwicklung, Siemens AG München

Neuronale Netze stellen ein mächtiges Hilfsmittel dar, um komplexe Dynamik ökonomischer Systeme zu modellieren. Ihre Fähigkeit, sowohl hohe Dimensionen als auch nichtlineare Zusammenhänge darzustellen, stellt einen erheblichen Vorteil gegenüber nichtneuronalen Verfahren dar. Darüberhinaus ermöglichen sie es auch, die Wechselwirkung beobachtbarer Größen (Währungskurse, Zinsen, Aktienkurse) weitaus besser zu untersuchen. Im praktischen Gebrauch kommt es bei neuronalen Verfahren insbesondere darauf an, aus dem zur Verfügung stehenden Datenmaterial die richtigen Impulsgrößen auszuwählen bzw. durch Vorverarbeitung aufzubereiten. Auch die Wahl der richtigen Netztopologie ist von Bedeutung. Dabei ist vorhandenes Experten-Know-How mitzuverwenden. In aktuellen Forschungsprojekten wird versucht, durch Kombination mit Fuzzy-Techniken eine weitere Verbesserung der erziehlten Ergebnisse zu erhalten.

Bestimmung dünner Oxidschichtdicken auf Metallen mittels Kohonen Netzes und topologischer Interpolation

Waltraud Kessler
Institut für Angewandte Forschung Reutlingen

Um die Lackhaftung auf Metallflächen zu verbessern und die Korrosionsneigung von Metallen zu verringern, werden Deckschichten (Oxidschichten) zwischen Metall und Lackschicht aufgebracht. Die Dicke dieser Deckschicht soll während der Produktion sehr schnell und zerstörungsfrei überprüft werden. Hierzu eignen sich optische Verfahren, insbesondere die Reflexionsspektroskopie bzw. die Interferenzspektroskopie. Die zugrunde liegenden physikalischen Grundsätze dieses Verfahrens sind bestens bekannt. Trotzdem ist eine Auswertung der Interferenzspektren mit klassischen Methoden vor allem für sehr dünne Schichten (< 100 nm) sehr aufwendig und oft unmöglich, wenn die zur Berechnung notwendigen optischen Konstanten des Substrats nicht bestimmt werden können. Neuronale Netze bieten die Möglichkeit, auch ohne Kenntnis der benötigten Konstanten, Schichtdicken zu bestimmen. Dazu ist es nötig, dem neuronalen Netz bestimmte Referenzspektren und die zugehörige Schichtdicke anzulernen. Mit diesem Wissen ist es dem Netz möglich, auch unbekannten Spektren die richtige Schichtdicke zuzuweisen. Wir benutzen zum Lernen der Spektren ein Kohonen Netz. In der Ausgabeschicht erfolgt eine Interpolation, deren Interpolationsparameter aber bereits in der Kohonenschicht, also der Eingabeschicht, berechnet werden, wobei die Nachbarschaftsbeziehungen der Neuronen im Kohonen Netz benutzt werden. Mit diesem Verfahren ist es möglich, mit nur 3 Referenzspektren zum Anlernen des Netzes, Schichtdicken im Bereich von 10 bis 100 nm aus den gemessenen Interferenzspektren zu berechnen.

Kohonenkarte und fraktale Dimensionen

Heike Speckmann
Lehrstuhl für Technische Informatik der Universität Tübingen

Trotz seiner weiten Verbreitung in der Anwendung verhält sich Kohonen's selbstorganisierende Karte (SOM) sehr resistent gegenüber einer mathematischen Beschreibung seiner Dynamik. Eine Lösung ist die Abkehr von den lokalen Energiefunktionen für jedes einzelne Neuron und ein globaler Blick auf die Entwicklung der SOM. Mit den verallgemeinerten fraktalen Dimensionen lassen sich die Ausdehnung und die Dichteverteilung von Vektoren im Phasenraum messen. Diese Untersuchungen können zur Charakterisierung inherenter Eigenschaften eines Datensatzes und des Lernzustandes der SOM verwendet werden. Die Topologieerhaltung läßt sich mit Hilfe des Waber Produktes messen. Dieser Bezug zwischen Methoden aus der nichtlinearen Dynamik und dem SOM führt zu einem neuartigen Verständnis des Lernverhaltens der Karte, der Approximation der Mannigfaltigkeit des anzulernenden Datensatzes durch die Mannigfaltigkeit der auf dem SOM gespeicherten Gewichte im Phasenraum.

Neuronale Assoziativspeicher als Module informationsverarbeitender Systeme

F. T. Sommer, F. Schwenker
Abteilung Neuroinformatik der Universität Ulm

Neuronale Assoziativspeicher kommen in informationsverarbeitenden Systemen grundsätzlich für zwei unterschiedliche Aufgaben in Betracht:

Es wird gezeigt, daß die Speicherkapazität von Hetero-Assoziativspeichern zum "pattern mapping" als auch für Auto-Assoziativspeicher zur Mustervervollständigung optimal ist, wenn die gespeicherten binären Muster spärlich kodiert sind - ein binäres Muster heißt spärlich kodiert, wenn es nur wenig Einsen enthält. Iteratives Retrieval kann zur Vervollständigung spärlich kodierter Muster eingesetzt werden. Hierbei kann die Iteration nach wenigen Schritten (<5) abgebrochen werden, wobei die Zahl der Fehler im Antwortmuster im Vergleich zu Ein-Schritt-Retrieval reduziert werden kann. Die zu speichernden Daten sind i.a. nicht binär, sondern stammen aus einer beliebigen Grundmenge auf der ein Distanz- oder ähnlichkeitsmaß definiert ist. Soll nun ein Assoziativspeicher zum fehlertoleranten Retrieval benutzt werden, etwa zur Mustervervollständigung, so muß die Kodierung benachbarte Datenpunkte in benachbarte binäre Vektoren abbilden. Anhand konkreter Beispiele diskutieren wir binäre Kodierungen, insbesondere unter den Aspekten ähnlichkeitserhaltung und Spärlichkeit.

Theorie und Anwendung selbstorganisierender Merkmalskartierungen

Ralf Der
Institut für Informatik der Universität Leipzig

Der Kohonensche Algorithmus zur selbstorganisierten Erzeugung einer topografischen Merkmalskartierung abstrakter Datenräume ist nicht nur als Modell für die kortikale Repräsentation der Welt von biologischem Interesse, sondern spielt auch eine zentrale Rolle in vielen Anwendungen neuronaler Netze. Aus theoretischer Sicht generiert der Algorithmus eine nichtlineare stochastische Dynamik. Der Vortrag gibt zunächst einen überblick über neuere theoretische Erkenntnisse zu den nichttrivialen Eigenschaften (Phasenübergänge) dieser Dynamik und geht insbesondere auf spontane Strukturbildungseffekte und bisher unbekannte Umordnungsphänomene ein. Für den Anwender sind die Kohonenschen Merkmalskarten auch für die Realisierungen adaptiver Kontrollsysteme von Interesse, wo sie der Kategorisierung der Zustände des zu kontrollierenden Systems dienen. Die relative Steifheit der Abbildung läßt sich dabei zur Entrauschung, die reizdichteabhängige Auflösung zur optimalen Partitionierung des Datrenraumes nutzen. Auf dieser diskretisierten Darstellung des Zustandsraumes "lebt" dann ein Lernalgorithmus für die Policy-Funktion des Controllers, für den wir insbesondere einen Q-Lerner als spezielle Form des reinforcement Lernens einsetzten. Erfolgreiche Anwendungen dieses Konzeptes auf die Lagestabilisierung geostationärer Satelliten und die Kontrolle chaotischer Systeme werden vorgestellt. Die naive Anwendung dieses Konzeptes führt aber bei der Realisierung von on-line lernenden Controllern besonders in dynamischer Umgebung wegen der gegenseitigen Beeinflussung der Lernalgorithmen für die Policy und die Partitionierung zu Instabilitäten und drastischen Verlängerungen der Lernzeiten. Abschließend werden für diese Problematik geeignete Lösungsansätze vorgestellt.