Motivation
Klassische Bildverarbeitungssysteme weisen bei vielfältigen Anwendungsszenarien eine relativ geringe Robustheit auf. Das Projekt VisionIC, das seit Mai 2002 in Kooperation mit der Infineon Technologies AG, durchgeführt wird, hat daher zum Ziel, ein neues Informationsverarbeitungssystem im Anwendungsfeld Bildverarbeitung und Erkennung mit Hilfe pulskodierter neuronaler Netze zu entwickeln. Um eine deutlich verbesserte Robustheit im Vergleich zu bekannten Standardverfahren zu erzielen, wird für die Repräsentation von Information ein neuer Datentyp vorgeschlagen. In diesem Datentyp wird Information durch sogenannte Pulsmuster dargestellt. Schwerpunkt im Fachgebiet Schaltungstechnik ist die Entwicklung eines neuronalen Assoziativspeichers, der mit pulsenden Neuronen realisiert wird.
CMOS-Kamera mit Merkmalskaskade und Assoziativspeicher
Implementierung
Das untersuchte Bildverarbeitungssystem besitzt eine hierarchische Systemarchitektur. Die Bildaufnahme erfolgt mit einem CMOS-Bildsensor, der analoge Pixelgrauwerte erzeugt, wobei auch eine Erweiterung auf Farbbilder vorgenommen werden kann. Das System bietet in seiner momentanen Ausbaustufe eine Auflösung des Bildsensorfeldes von 128 x 128 Pixel. Die Pixelgrauwerte werden an die sogenannte Merkmalskaskade weitergeleitet.
Die Merkmalskaskade besteht aus unterschiedlichen Merkmalsdetektoren, die mit speziellen Signalgeneratornetzen aufgebaut sind. Jeder Merkmalsdetektor hat dabei die Eigenschaft, für gewisse Bildstrukturelemente sensitiv zu sein, wobei Strukturelemente wie Flecken, Linien, Krümmungen und Kanten zur Anwendung kommen. Aufgabe der Merkmalsdetektoren ist es, die vorgegebenen Merkmale den Bildregionen zuzuweisen, gleichzeitig eine Informationsreduktion durchzuführen und die reduzierte Information an den nachgeschalteten Assoziativspeicher weiterzuleiten. Da Information über die Verteilungsfunktion der Pulsmuster definiert ist, besteht die Informationsreduktion in der gezielten Beeinflussung der Verteilungsfunktion der Pulsmuster, d.h. in der Synchronisation einzelner Signalgeneratoren, die örtlich in einer Bildregion das gleiche Merkmal markieren. Die Synchronisation wird hierbei durch Adaption der Kopplungsgewichte herbeigeführt.
Assoziativspeicher mit pulscodierten neuronalen Netzen
Die aus der Merkmalskaskade extrahierten Merkmale werden von einem Assoziativspeicher weiterverarbeitet. Der Assoziativspeicher kann dabei einerseits zur Mustervervollständigung (Autoassoziation) und andererseits zur Musterzuordnung (Heteroassoziation) eingesetzt werden. Für die gestellte Bildverarbeitungsaufgabe übernimmt der Assoziativspeicher die Aufgabe einer Musterzuordnung, in dem die Eingangsmuster auf abstrakte Symbole abgebildet werden sollen. Der Assoziativspeicher ist aus einer Matrix von pulsenden Neuronen aufgebaut, die jeweils vollvernetzt über Koppelelemente verbunden sind. Neben einer Betrachtung der Speichereigenschaften im Rahmen von Simulationen, erfolgt die Realisierung des Speichers als anwendungsspezifischer mikroelektronischer Schaltkreis (ASIC) in einer gemischt analog-digitalen Schaltungstechnik in einem 130 nm Prozess von Infineon Technologies AG.
Download
Projektbeschreibung (96 kB)
