Energiesparender photonischer Prozessor für Betrieb von KI

„In dem Artikel wird ein überaus relevantes Thema der neuartigen Signalverarbeitung von Daten mittels optischer Prozessoren adressiert – als Anwendung in generativer Künstlicher Intelligenz (genKI). Insbesondere das sehr fokussierte Vorgehen ist beeindruckend: von der Entwicklung der Hardware – also dem innovativen Teil der photonischen Chipsätze und dem eher konventionellen elektronischen Kontroller – bis hin zur Prozessierung der Eingangsdaten sowie der Gewichtung für das hier gezeigte Standardbeispiel zur Bilderkennung. Es ist nicht selten, dass in einem Nature-Artikel Ansatz, Hypothese, Methoden und Experimente zusammengelegt werden, denn schließlich handelt es sich um ein renommiertes Journal. Doch dieser Beitrag übertrifft diesen Anspruch, denn es werden Vergleiche mit Standardmethoden angeführt und die Ergebnisse in einer Tabelle zusammengestellt. Man befindet sich zwar immer noch in der Forschung, doch die Umsetzung ist weitestgehend erfolgt und die Schwachstellen sowie die Herausforderung der Skalierung dieses Ansatzes klar benannt.“

„Übergeordnetes Ziel des hier vorgestellten Ansatzes ist es, die Rechenperformanz, insbesondere der Vektor-Matrix-Multiplikation zwischen unterschiedlichen Datenspeichern (Rechenaufgabe, die unter anderem für große Sprachmodelle benötigt wird; Anm. d. Red.) für Applikationen in der genKI zu steigern – bei gleichzeitiger Senkung des Energieaufwandes für diesen Rechenschritt und den Transfer der Daten. Diese Rechenoperationen werden als Transformer-Modelle (Transformer: möglicher Aufbau eines KI-Modells; Anm. d. Red.) subsumiert und betreffen die Kodierung von Daten in einem großen Sprachmodell, auf Englisch Large Language Model (LLM).“

„Was hier besonders ist: Die Verschmelzung aus klassischer Digitaltechnik in einem integrierten Schaltkreis (aus verschiedenen Bauelementen bestehender Schaltkreis; Anm. d. Red.), dem neuronalen Multiplexer in der fortschrittlichen 12-nm-CMOS-Technologie (elektronisches Bauteil, das mehrere Eingangssignale für einen Ausgangskanal koordiniert; Anm. d. Red.), dem Photonischen Prozessor zur energieeffizienten Signalverarbeitung der eher konventionellen Klasse 90nm, sowie der schnellen Analog-Digital- und Digital-Analog-Wandler, aber auch der neuen Maschinensprache RISC-V, mit einem effizienten eingeschränkten Befehlssatz (die Befehlssatzarchitektur RISC-V definiert, welche Anweisungen ein Prozessor versteht; Anm. d. Red.). Eine ausschlaggebende Innovation ist die analoge Signalverarbeitung auf dem vorgestellten photonischen Prozessor: Hier wird die Prozessierung der Daten im optischen Spektralbereich (in etwa der Bereich des sichtbaren Lichts; Anm. d. Red.) vorgenommen und damit eine Leistungssteigerung der Datenverarbeitung erzielt – bei gleichzeitiger Steigerung der Energieeffizienz. Die Digitaltechnik wird in diesem integrierten System dadurch ergänzt, aber eben nicht ersetzt. Dafür benötigt es weitere Anstrengungen in der Forschung.“

„Hier wurde der gewagte Versuch in die Praxis umgesetzt, die schnellen und energieeffizienten analogen Signalverarbeitungsmethoden im optischen Bereich mit der elektronischen Digitaltechnik zu verknüpfen. Nur wenige Forschungsgruppen weltweit bringen diese interdisziplinäre Expertise zusammen und können solche Experimente, die in die Massenanwendung übertragbar sind, umsetzten. Das ist ‚High-Tech‘ der aktuellsten Art, bei der man sich den fast neusten Fertigungsmethoden des Entwurfes von integrierten Halbleiterschaltungen bedient und neue Wege hinsichtlich einer größeren Energieeffizienz geht. Dabei bleibt man aber nicht nur auf der Ebene eines Versuches und der Demonstration von einigen wenigen Ergebnissen, sondern präsentiert ein integriertes System und etablierte Validierungsmethoden in der Bildverarbeitung wie ‚ResNet18‘ (neuronales Netzwerk zur Objektklassifizierung; Anm. d. Red.). Besonders beeindruckend ist das Benchmarking mit diesen Methoden, das zuversichtlich stimmt, dass dieser Ansatz vielversprechend für die weitere Skalierung erscheint.“

„Neben dieser doch sehr positiven Einschätzung bleiben größere sowie kleinere Schwierigkeiten und Herausforderungen des Ansatzes stehen. Dazu gehören beispielsweise die geringe Flexibilität der optischen Modulatoren und die umständliche Wandlung von analogen Signalen in den Digitalbereich und vice versa.“

„Diese Technik kann sich nur dann durchsetzen, wenn die Skalierung der Systeme im größeren Maßstab gelingt und wenn die ‚photonische Plattform‘ als Chip effizient genutzt werden kann. Bisher stößt man mit den hier verwendeten siliziumbasierten Bauelementen an physikalische Grenzen. Es sind neue Konzepte aus der Materialforschung notwendig, die gezielt in integrierbare und reproduzierbare photonische Bauelemente für diese Schaltungen verbaut werden können.“

„Da die Dynamik in diesem Forschungs- aber auch Entwicklungsgebiet hoch ist, kann wahrscheinlich bald mit weiteren Fortschritten gerechnet werden, um eine effizientere Generation von Rechenknoten für den Einbau in künftigen Rechenzentren in Betrieb zu nehmen. Das Thema haben mein Kollege Matthias Wirth und ich bereits in dem Artikel ‚Rechenzentren: Herausforderung KI – Lösungen der Photonik‘ beleuchtet [1].“

„Daher mein dringender Appell, die heutige Forschungsförderung in Bereichen wie Chip-Entwurf eng zwischen Industrie – die überhaupt in der Lage ist, solche Schaltungen zu fertigen – und Forschungsinstitutionen oder Universitäten in Deutschland und Europa zusammenzubringen. Das gelingt bisher nur ganz selten im Bereich der Mikroelektronik, trotz größerer Anstrengungen der Regierung dies zu befördern. Eine gezielte technische Bewertung von Forschungsergebnissen und die Validierung dieser für die jeweiligen Anwendungsfelder – wie hier in diesem Fall der geschickten Symbiose aus Elektronik und Photonik in einem integrierten System – sind notwendig, um der großen Dynamik in diesem Forschungsbereich weltweit führend gerecht zu werden. Bisher spielt Deutschland hier eine untergeordnete Rolle, da die Forschungsergebnisse nur selten mit wirtschaftlichem Nutzen verbunden sind. Gegen freie Forschung ist zwar nichts einzuwenden, doch die stark ergebnisorientierte und wirtschaftlich relevante Forschungsförderung hat nicht nur in den letzten drei Jahrzehnten an Bedeutung verloren, sondern auch deren Stellenwert in der Gesellschaft. Der Inhalt dieses Artikels zeigt, wie es gelingen kann, erstklassige Forschung mit sehr hoher Relevanz für den Markt zu entwickeln und zur Reife eines denkbaren Produktes zu treiben.“

„Es ist zu bedenken, dass es sich bei dem Autorenteam fast ausschließlich um Mitarbeiter des US-amerikanischen Start-ups Lightmatter handelt, deren Grundinteresse nicht in wissenschaftlicher Kommunikation und der vollständigen Offenlegung ihres Systems, sondern in der Bewerbung und Vermarktung ihres Produktes besteht. Es ist voranzustellen, dass diese Publikation nicht die notwendige Informationstiefe umfasst, die zur Beurteilung der photonischen Technologie im Inneren notwendig ist.“

„Die vorgestellte Rechenarchitektur ist dennoch die erste ihrer Art, die in diesem Umfang und dieser Integrationsreife vorgestellt wird. Die Menge an elektronischen und optischen Komponenten, die auf einer einzelnen – direkt in eine konventionelle Computerarchitektur einsteckbaren Rechenkarte funktional zusammenwirkt – ist einzigartig und markiert einen signifikanten technologischen Schritt für das Feld des photonischen Computings.“

„Bemerkenswerterweise ermöglicht es dieser photonisch-elektronische Hybridprozessor, tiefe neuronale Netzwerke mit Millionen Modellparametern abzubilden – eine bisher unüberwundene Herausforderung für Demonstrationen optischer Prozessoren. Das schließt auch ein kleineres Transformer-Modell (BERT-tiny) mit ein. Transformer-Modelle bilden die Grundlage für Sprachmodelle, wie Sprachbots. Der Hybridprozessor kann bei geringerer notwendiger Wertegenauigkeit (32-Bit auf digital gegen 16-Bit auf Analog-Photonik) einen guten Teil dieser Modelle mit vergleichbarer Genauigkeit rechnen wie handelsübliche digitale Prozessoren (bei 32-Bit-Wertegenauigkeit werden Zahlen mit 32 Bits dargestellt. Je mehr Bits für die Darstellung verwendet werden, desto genauer; Anm. d. Red.). Die Arbeit gibt den Gesamtleistungsbedarf mit 78 Watt und eine demonstrierte Rechenleistung von 65,5 Tera Floating-Point-Operationen pro Sekunde (TFLOPS; theoretisch bis 262 TFLOPS möglich) an.“

„Die Beschreibung der Methodik weist jedoch Lücken auf. Unter anderem fehlt die Berechnungsgrundlage für die Rechenleistung in dem Hauptartikel. Unter der Annahme, dass dieser Wert von den Reviewern der Fachkollegien geprüft und bestätigt wurde, hat der photonische Prozessor damit eine Energieeffizienz von circa 1,22 Picojoule pro 16-Bit-Operation und ist damit um einen Faktor drei schneller und einen Faktor zehn energieeffizienter als ein A100 Prozessor der Firma NVIDIA (zweitaktuellste Architektur auf dem Markt) bei 32-Bit-Wertegenauigkeit und vergleichbarer Lösungsgenauigkeit der neuronalen Modelle in einzelnen Aufgaben. Die Performance des optischen Prozessors ist damit vergleichbar mit dem aktuellsten Modell der Firma NVIDIA (H100 mit 5,8 Picojoule pro 32-Bit-Operation und 60 bis 67 TFLOPS). Im Hinblick des jahrzehntelangen technologischen Rückstands von photonischen Prozessoren gegenüber elektronischen Transistortechnologien (CPU/GPUs) ist diese aufschließende Demonstration ein technologischer Meilenstein.“

„Photonische Rechenarchitekturen sind im Allgemeinen sehr gut für die hochgradig parallelen Rechenprozesse von KI-Anwendungen geeignet – insbesondere sogenannte Vektor-Matrix- oder Tensor-Produkte. Herausforderungen bestehen in der Integration mit langsamerer Elektronik, der Realisierung optischer Speichermedien, der Nutzung der intrinsischen Parallelität optischer Signale und der Integration von nichtlinearen Aktivierungen. Letzteres wurde in dieser Arbeit nur über einen elektronischen Co-Prozessor gelöst.“

„Die photonische Rechenarchitektur kann nicht vollumfänglich bewertet werden, da nicht alle Informationen vorliegen. Aus der Arbeit wird klar, dass die Vorteile in der Recheneffizienz darin liegen, dass elektronisch energieaufwendige Vektor-Matrix-Produkte optisch auf einem hybriden photonischen Rechenchip umgesetzt werden. Dieser ist noch sehr verlustreich, was die Rechengenauigkeit und Energieeffizienz beschränkt. Die Architektur ist auch nicht in der Lage, die inhärenten Vorteile von Licht in Rechengeschwindigkeit und Informationsparallelität zu nutzen, da sie immer noch auf vergleichsweise langsame Umwandlungselektronik angewiesen ist – eine aktuell typische Beschränkung. Diese Probleme sind wahrscheinlich technologisch lösbar, was eine Skalierbarkeit andeutet.“

„Ein fundamentaleres Problem besteht jedoch in der Genauigkeit. Es ist kritisch zu bemerken, dass Näherungsaufgaben – die in der Regel auf 32-Bit-Wertgenauigkeit angewiesen sind – mit derart hybriden Prozessortechnologien nicht gut lösbar sind, wie auch in der Arbeit bemerkt wurde.“

„Es besteht eine grundsätzliche Diskrepanz in der Verwendung von analoger Hardware inmitten digitaler Infrastruktur. Rechengeschwindigkeiten und Energieeffizienz werden signifikant durch die Notwendigkeit von Digital-zu-Analog und Analog-zu-Digital-Wandlern limitiert. Diese werden dafür gebraucht, um gespeicherte Daten aus dem binären Zahlenformat (0 und 1, also Bits) von der Festplatte in Gleitzahlwerte (Kommazahlen aus dem realwertigen Raum) für die analoge Rechenarchitektur umzuwandeln – wie die des hier vorgestellte photonischen Tensor-Kern. In dieser Studie werden 35,6 Prozent des gesamten Energiebedarfs (78 Watt) allein für diese Werteumwandlung aufgewandt.“

„Analoge Rechenarchitekturen können jedoch skalieren. Photonische Technologien können konventionelle Prozessoren in bestimmten Anwendungen innerhalb von fünf bis zehn Jahren ablösen. Es benötigt jedoch neue Formen der analogen Datenkodierung und -speicherung. Insbesondere photonische Rechenarchitekturen sind dafür ideal geeignet. Fertigungsprozesse und ultraschnelle Schreib- und Leseelektroniken müssen jedoch besser und energieeffizienter werden.“