TREND Edge Computing: Die Intelligenz an den Rändern

| |
1 Star2 Stars3 Stars4 Stars5 Stars

Ohne die ferne Cloud wäre „künstlich intelligentes“ Business für viele Unternehmen unerreichbar. Wenn es aber auf die Millisekunde ankommt, müssen die Entscheidungen schnell und latenzfrei vor Ort – an der Edge – getroffen werden.

Riesige Datenmengen und ebensolche Rechnerleistungen haben das, was man schon seit Jahrzehnten als künstliche Intelligenz (KI) bezeichnet, in kürzester Zeit von einem „universitären“ Randgebiet in ein Mainstream-Thema verwandelt. Kein Wunder, hängen doch beinahe alle aktuellen Megatrends wie autonomes Fahren, Industrie 4.0, IoT und überhaupt alles was mit „smart“ beginnt, am KI-Tropf.

Dabei sorgte besonders Deep Learning – die wohl spannendste Methode im Rahmen des maschinellen Lernens – für eine ganze Reihe von Durchbrüchen in der Bild- und Spracherkennung. Wegen der massiven Datenmengen und der dafür benötigten Rechenpower entsteht ein Großteil dieser „Maschinenintelligenz“ in weit entfernten Datencentern. Auch die Assistenten von Google, Apple und Co. stecken nicht in Smartphones oder Lautsprechern, sondern in den Servern irgendeiner Cloud irgendwo auf der Welt.

Auf der anderen Seite zeigen Apples neue iPhones auch wohin die KI-Reise dieser Tage geht. Nämlich aus der Cloud direkt in die Geräte. Der neue Apple A11 Bionic Chip in den iPhones 8, 8 Plus und X etwa ist ein Ein-Chip-System (SoC), das neben den üblichen CPU- und GPU (Grafikeinheit)-Kernen auch eine spezielle „Neural-Engine“ für Machine Learning hat. Dadurch muss das iPhone zur Gesichtserkennung keine Cloud mehr „belästigen“.

Die Gründe für diesen Trend – oftmals auch als Cognitive Edge Computing / Edge Analytics bezeichnet – liegen auf der Hand. Wenn zwanzig Milliarden IoT-Endpunkte bis 2020 – geht es nach Gartner – alle ihre Daten in die Cloud kippen und auf Entscheidungen warten, wird das nicht nur kostspielig sein und zu Latenzen führen sondern auch eine Gefahr für die Netzwerk-Infrastruktur darstellen. Es muss also einiges schon „vor Ort“ passieren. Natürlich bleibt die Cloud als große „Lern- und Trainingsanstalt“ wichtig. Gefühlt, „inferiert“ und gehandelt aber wird am Rändern.

Daten mit Verfallsdatum

Das IoT ist die mit Abstand größte Datenschleuder. (Bild: IDC´s Data Age 2025 study, sponsored by Seagate).

Das Beispiel eines Airbus A350 liefert einen weiteren Grund für Edge Analytics. Die knapp 6,000 Sensoren des Flugzeugs erzeugen täglich eine Datenlawine von 2.5 Terabyte. Und davon verlieren eine Menge Daten in kürzester Zeit an Wert oder erfordern unter Umständen eine Echtzeitreaktion. Wer hätte da gerne eine Cloud dazwischen. Notbremsungen von autonomen Fahrzeugen, das schnelle Abschalten einer Maschine bei einem Defekt, die Abwehr eines Cyberangriffes oder eines Finanzbetruges in Millisekundengeschäften gehören ebenso zu dieser Kategorie.

Machine-Learning-Modelle wie etwa Anomalie-Erkennung mit Kalman-Filtern oder Bayesian Prognosemodelle können direkt an dem Ort, an dem die Daten erhoben werden, Katastrophen rechtzeitig heraufkommen sehen und sie verhindern. Fortgeschrittene Fahrerassistenzsysteme werden in selbstfahrenden Autos mit Image Processing, Anomalie-Erkennung oder Reinforcment Learning dafür sorgen dass der Wagen angemessen und ausreichend schnell auf seine Umgebung reagiert.

Mini-Supercomputer für Edge Computing

Machine Learning an den Rändern hat aber seine eigenen Einschränkungen was Prozessorleistung, Stromverbrauch, Kosten oder Speicher anbelangt. Selbst wenn Unternehmen wie Nvidia in „Schuhschachteln“ Prozessorleistungen unterbringen, die vor nicht allzu langer Zeit unter dem Begriff Superrechner gesegelt wären. Das vor kurzem angekündigte SoC (System on a Chip) Xavier mit neun Milliarden Transistoren auf 350 mm² verarbeitet Daten aus Lidar (Light Detection and Ranging), Radar, Ultraschall und Kameras für Level-5-Autonomie. Nvidia kündigt 30 Billionen FLOPS (Floating Point Operations Per Second) bei einer Leistungsaufnahme von 30 Watt an. Noch zum Jahresende 2018 soll die Serienproduktion hoch gefahren werden. Wenn auch die meisten traditionellen Autobauer und „quereinsteigenden“ Fahrzeughersteller hinter Nvidia her sind, diese leistungseffizienten Supercomputer im Miniformat verrichten ihre Jobs genauso gut in intelligenten Edge-Geräten wie Roboter, Drohnen, smarten Kameras oder tragbaren Medizinequipement.

Xavier zeigt aber auch, dass es für diese Anwendungen nicht den optimalen KI-Prozessor gibt. In Nvidias nächstem „autonomen“ Flagschiff stecken CPUs, GPUs und spezielle Deep-Learning-Beschleuniger. Andere Lösungen arbeiten aber auch mit DSPs oder FPGAs. Im Trend liegt allerdings ein Mix aus Beschleuniger mit CPUs, GPUs oder DSPs (Digitale Signalprozessoren). Was Formfaktor und Leistungsaufnahme angeht, scheint diese Kombi im Augenblick die Nase vorn zu haben.

Auch, weil die Beschleuniger mit immer größeren sogenannten Multiplier–Akkumulatoren (MAC) kommen. Sie sind optimiert auf Rechenschritte, bei denen zwei Faktoren multipliziert und das Produkt zu einem fortlaufenden Summanden (Akkumulator) addiert wird. Auf dieser Operation basieren zum Großteil die Verarbeitung digitaler Signale und die Berechnungen neuronaler Netze. Herkömmliche Prozessoren stellen sich dabei nicht wirklich geschickt an.

Ausblick

Edge Computing mit Machine Learning wird in IoT-Architekturen eine Schlüsselrolle spielen. Die schiere Menge an Datensammlern im IoT lässt kaum eine andere Lösung zu. Das haben auch die Cloud-Giganten Amazon, Microsoft und Google erkannt. Sie bieten Machine Learning-as-a-Service mittlerweile nicht nur auf ihren Cloud-Plattformen an, sondern auch in eigenen „Edge-Varianten“.

Knowledge Base

Breaking New Frontiers in Robotics and Edge Computing with AI
https://www.youtube.com/watch?v=QisCRGmidJ4

Brandon Rohrer, Data Scientist/Facebook: How Deep Neural Networks Work
A gentle introduction to the principles behind neural networks, including backpropagation.
https://www.youtube.com/watch?v=ILsA4nyG7I0

The End of Cloud Computing – Peter Levine
https://www.youtube.com/watch?v=l9tOd6fHR-U

 


 

Besuchen Sie die Embedded Platforms Conference

14.–15. November 201
ICM – Internationales Congress Center München

 

 

 

Chip für KI (Bild: MIT)

"Eyeriss" vom MIT beschleunigt Deep Learning in Smartphones und IoT-Geräten. (Bild: MIT).