Effiziente Lernverfahren in dezimierbaren Boltzmann-Maschinen

Stefan Rüger

Technische Universität Berlin


In Boltzmann-Maschinen gehorchen die Aktivationen der Knoten einer bestimmten, aus dem kanonischen Formalismus der Thermodynamik bekannten Verteilung, der sog. Boltzmann-Gibbs-Verteilung. Will man Boltzmann-Maschinen anwenden, um statistisches Wissen zu speichern oder abzurufen, dann sind beide Prozesse NP-hart. Die daraus gezogene Lehre ist, daß die Suche nach allgemeinen, traktablen Lernregel wenig erfolgversprechend ist. Die Forschung sollte eher in Richtung spezieller, eingeschränkter Netze gehen. Mittels der aus der statistischen Mechanik bekannten Technik der Dezimierung lassen sich bestimmte Boltzmann-Maschinen leicht behandeln [Saul und Jordan 1994]. Diese stellen eine Verallgemeinerung der Hidden-Markow-Modelle dar [MacKay 1996], was ihre Relevanz zeigt. Es wird eine neue Dezimierungsregel vorgestellt und nachgewiesen, dass es keine weiteren mehr gibt. Durch die Fourier-Stieltjes-Transformation der Boltzmann-Gibbs-Verteilung wird Lernen und Schließen in Boltzmann-Maschinen auf leicht zu implementierende Algorithmen mit effizienter Ausführungszeit zurueckgeführt.


Zurück zur Hompage der Cowan!