TREND Neuromorphic Computing: Brain-like Hardware

| |
1 Star2 Stars3 Stars4 Stars5 Stars

Deep Learning hat der KI zum Durchbruch verholfen. Für einen weiteren Leistungssprung könnten jetzt in Hardware gegossene und dem Gehirn sehr viel ähnlichere Simulationen sorgen.

Autonome Fahrzeuge, Gesichtserkennung oder Alexa sind ohne tiefe neuronale Netze undenkbar. Das Prinzip dahinter orientiert sich dabei grob an biologischen Nervensystemen. Und die Ergebnisse verblüffen. Trotzdem sind die Probleme  unübersehbar: Zum einen ist der Energieverbrauch enorm gross und bis ein Netz auch nur eine Zahl sicher identifiziert, muss man es mit einer Unmenge an passenden Daten füttern. Dagegen erkennen bereits Dreijährige Katzen nach nur wenigen „Samples“. Und das in nahezu jeder Umgebung mit dem Energieverbrauch einer schwachen Glühbirne. Davon kann KI-Hardware bislang nur träumen.

Um also unserer hocheffektiven „Denkweise“ näher zu kommen und dabei die größten Deep-Learning-Probleme zu lösen, entwickeln weltweit Forscher sogenannte „neuromorphe“ Hardware.

„Taktlose“ Prozessor-Architektur

Neuromorphic Computing
Kommerziell erhältlicher neuromorpher Chip des Start-ups BrainChip für schnelle Mustererkennung. (Bild: Brainchip).

Einer der ersten Ansätze entstand in den Laboren von IBM Research im Rahmen des SyNAPSE-Projekts der Defense Advanced Research Projects Agency (DARPA). Die Truenorth-Prozessoren setzen dabei sogenannte gepulste neuronale Netze (Spiking Neural Networks, SNN) in Silizium um. Biologisch gesehen simulieren die 4096 „neurosynaptischen“ Rechnerkerne etwa eine Million Neuronen und 256 Millionen Synapsen des multisensorischen und motorischen Teiles der Großhirnrinde von Säugetieren (Neocortex). Die Kerne arbeiten dabei „eventbasiert“, werden also wie im Gehirn nur aktiv, wenn ein kurzer Spannungspuls (Spike) anliegt. Die Kommunikation in diesem Netz läuft vollständig asynchron ab. Jeder Kern folgt seinem eigenen Takt und verarbeitet eingehende Spikes, sobald er sie registriert. Das macht TrueNorth extrem energieeffizient. Verglichen mit einem NVIDIA Tegra K1 (auf einem Jetson TX-1 Entwicklerboard) soll er bei gleichwertiger Erkennung von Fahrzeugen nur ein zwanzigstel bis ein dreißigstel der Energie verbrauchen.

Neuromorphic Computing „made in Germany“

Drei weitere neuromorphe Chip stellten Anfang des Jahres die Universität Heidelberg, die TU Dresden und die Intel Corporation auf der NICE („Neuro Inspired Computational Elements“) –Konferenz  in den USA vor.

Die beiden europäischen Chips wurden dabei im Rahmen des Human-Brain-Projektes der Europäischen Union in enger Zusammenarbeit mit Neurowissenschaftlern entwickelt. Dabei beruht der Prototyp des BrainScaleS-Chips vom Kirchhoff-Institut für Physik der Universität Heidelberg auf einem gemischten Analog-Digital-Design: Die Neuronen sind als Kondensatoren mit parallel geschalteten Widerständen realisiert und analoge Schaltungen simulieren auch die Synapsen. Die Schalttechnik für die Kommunikation mit den Aktionspotentialen leistet dagegen schnelle Digitalelektronik.

Der ganze Aufbau besteht aus 20 Siliziumwafern mit insgesamt vier Millionen Neuronen und einer Milliarde synaptischer Verbindungen. Damit werden Lern- und Entwicklungsprozesse mit einem tausendfachen Beschleunigungsfaktor nachgeahmt. Neben der Grundlagenforschung im Bereich der Selbstorganisation neuronaler Netzwerke liegen potentielle Anwendungen auf dem derzeit schnell wachsenden Gebiet des kognitiven Computings und speziell auf einer energie- und zeiteffizienten Umsetzung des Deep Learnings. In der zweiten Generation verfügt der Chip nun erstmals über frei programmierbare On-Chip-Lernfunktionen sowie ein analoges Hardwaremodell komplexer Neuronen mit aktiven Dendritenbäumen, die – nach dem Vorbild von Nervenzellen – insbesondere für die Nachbildung kontinuierlicher Lernprozesse von Bedeutung sind.

Ein ähnliches System kommt mit SpiNNaker von der TU Dresden. Die zweite Generation basiert auf einer Multicore-Architektur, die an der Universität Manchester entwickelt wurde. Ein einziger Chip enthält 144 „ARM Cortex M4“-Kerne mit eine Rechenleistung von 36 Milliarden Anweisungen pro Sekunde und Watt, die vor allem auf die Simulation mehrskaliger Hirnmodelle in Echtzeit angewendet werden sollen.

Intel mit Mäusegehirn

Als Dritter im Bunde präsentierte Intel bei der Veranstaltung die technischen Details von Loihi. Der neuromorphe Chip enthält einen hochentwickelten Befehlssatz für neuronale Netzwerke aus „feuernden“ Neuronen sowie programmierbare Mikrocodes für Supervised, Unsupervised und Reinforcement Learning. Loihi kombiniert dabei Training und Anwendung auf einem Chip und ermöglicht so Lernen in Echtzeit direkt aus der Umgebung ganz ohne Cloud. Dafür simuliert er auf nur 60 mm² etwa 130.000 Neuronen und 130 Millionen Synapsen. Für 2019 plant Intel ein System mit 100 Milliarden Synapsen, was dann etwa dem Gehirn einer Maus entsprechen würde.

Bereits gelernte Objekte erkennt Intel’s Loihi in Echtzeit aus allen Winkeln und neue Objekte werden extrem schnell trainiert.

„Natürliche“ Transistoren

Wenn es darum geht die Funktion des Gehirns „nachzuspielen“, taucht immer wieder auch der geheimnisvolle Memristor auf. Memristor ist ein Kunstwort aus „memory“ für Speicher und „resistor“ für den elektrischen Widerstand. Es handelt sich gewissermaßen um einen Widerstand mit Gedächtnis, denn er ist nicht konstant, sondern hängt davon ab, wie viele Ladungen in welcher Richtung vorher geflossen sind. Neben seiner Bestimmung als Flash-Speicher-Substitut bescheinigt man dem Memristor großes Potential beim Neuromorphic Computing.

Erstmals realisiert wurde das „passive“ Bauelement 2007 von Hewlett Packard Enterprise (HPE). Memristoren in relevanten Stückzahlen herzustellen, scheint aber auch nach zehn Jahren immer noch ein Problem zu sein. Vor drei Jahren überraschte allerdings das US-Startup Knowm mit dem ersten kommerziellen Memristor, der für 220 US-Dollar im Known-Online-Shop erworben werden kann.

Vor kurzem brachte Hewlett Packard Enterprise (HPE) auf der Konferenz „Discover“ in Las Vegas seine Memristoren als Edge-Intelligenz wieder ins Spiel. Schließlich entstehen Dreiviertel aller Daten an den „Rändern“ und müssen dort meist auch analysiert werden. Denn für autonome Fahrzeuge, Roboter oder Industrie-4.0-Anwendungen dauert der Weg zur und von der Cloud viel zu lange.

Andererseits steht für umfangreiche Berechnungen wie etwa KI-typische Matrix-Vektor-Multiplikationen am Ort des Geschehens nicht viel Energie zur Verfügung. Edgeline-Systeme von HPE sollen dieses Problem zukünftig lösen. Und Memristoren spielen dabei die Rolle neuromorpher Akzeleratoren. Bis dahin könnten allerdings noch einige Jahre vergehen, da Memristoren ihre wundersame Wirkungen immer noch hauptsächlich in Labors vollbringen.

Knowledge Base

 NICE 2018 Agenda und Präsentationen
http://niceworkshop.org/nice-2018-agenda/

 


Erfahrend Sie mehr über die neuesten Embedded-Prozessoren für Machine Learning und adaptive Systeme auf der Embedded Platforms Conference.

 

 

 

 

Neuromorph (Bild pixabay Gerd Altmann)

Neuromorphe Chips ahmen wichtige Eigenschaften unserer Gehirne wie Energieeffizienz, Robustheit und insbesondere Lernfähigkeit nach. (Bild: pixabay/Gerd Altmann).