Sicherheitslücken bei der Herstellung KI-generierter Proteine

„Das Risiko ist mit der neuen KI-basierten Technologie sehr stark gestiegen. Protein-Design war bis vor Kurzem nur für sehr wenige Experten weltweit überhaupt möglich. Es ist jetzt immer noch nicht trivial, aber dennoch für eine viel größere Gruppe von Wissenschaftlern zugänglich.“

„Der Artikel beschreibt die Kontrolle der von Kunden bestellten Sequenzen durch Nukleinsäure-Hersteller. Die Herstellung dieser Sequenzen ist der erste und notwendige Schritt zur Erzeugung eines Proteins. Beim Protein-Design sehen viele zunächst die fantastischen Anwendungsmöglichkeiten, zum Beispiel in der Medizin. Diese Arbeit lenkt den Blick jedoch völlig zu Recht auf das Sicherheitsproblem dieser neuen Technologie.“

„Es ist sehr wichtig, Aufmerksamkeit für dieses Problem zu schaffen und weitere Forschung in dieser Richtung voranzutreiben. Mit dem ebenfalls präsentierten Update der Erkennungssoftware konnte offensichtlich bereits die Erkennung von potenziell gefährlichen Proteinen deutlich verbessert werden. Es bleibt jedoch schwierig zu erkennen, welche Protein-Designs mit der Absicht entwickelt wurden, als Biowaffe eingesetzt zu werden.“

„Im Artikel liegt der Schwerpunkt auf der Erkennung von Ähnlichkeiten zu bekannten Toxinen und einigen viralen Proteinen, die in direktem Zusammenhang mit humaner Toxizität oder Pathologie stehen und somit als Biowaffen missbraucht werden könnten. Biowaffen können aber auch subtiler gegen die Bevölkerung eingesetzt werden, etwa im Agrarbereich. Potenziell gefährliche Proteine müssen daher gar nicht direkt mit bekannten, für den Menschen toxischen Proteinen verwandt sein, sondern könnten ebenso auf Nutztiere oder Nutzpflanzen abzielen.“

„Darüber hinaus ist die Erkennung risikoreicher Protein-Designs nicht nur bei der Herstellung von Nukleinsäuren notwendig, sondern auch auf Proteinebene, um möglicherweise bereits eingesetzte gefährliche Proteine auch als solche zu erkennen.“

„Protein Engineering (Engineering verstanden als ,Konstruktion‘, ,Manipulation‘) ist dual use-fähige Forschung. Sie kann also enorm positive Effekte haben, etwa in der Impfstoffentwicklung, bei genbasierten Therapien, für individualisierte Diagnose- und Therapiekonzepte und für Krankheiten, für die bislang kaum oder wenig Behandlungen möglich sind. Zugleich ist diese Forschung hochriskant, weil mit derselben Technologie potenziell schädliche Effekte verbunden sind – wie beispielsweise die unabsichtliche oder absichtliche Synthese von Genen, die gefährliche Proteine kodieren, etwa zur Entwicklung biologischer Kampfstoffe.“

„KI kommt beim Protein Engineering in einer Doppel- beziehungsweise Dreifachrolle vor: erstens als Assistent und unabdingbares Innovationsinstrument im Prozess des Protein Engineering, zweitens als Komplize, wenn Protein Engineering mit böser Absicht erfolgt und drittens als Assistent, wenn es darum geht, die böse Absicht rechtzeitig zu erkennen.“

„Ob KI nun als ,Assistent‘ oder ,Komplize‘ agiert, zeigt sich aktuell vor allem in einem Schlüsselmoment. Dieser liegt in der Entwicklungskette von künstlich erzeugten Proteinen in der Synthese von Nukleinsäuren, da hier digitale Entwürfe in physikalische Anweisungen umgewandelt werden. Hier zeigt sich also, ob potenziell schädliche Proteine entstehen könnten. Dafür ist das natürliche Wildtyp-Protein zu identifizieren, beziehungsweise der synthetische, mithilfe von KI erzeugte Homolog (Protein mit gleicher Funktion aber unterschiedlicher Sequenz; Anm. d. Red.). Räumlich und zeitlich findet sich dieser Schlüsselmoment in den Aufträgen bei Anbietern von Nukleinsäuresynthese, die kritisch zu prüfen sind. Die Überprüfung findet wiederum mithilfe von KI-gestützten Tools statt, dem sogenannten Biosecurity Screening (BSS).“

„Ein breit angelegter Versuch zur Leistungsfähigkeit existierender BSS-Tools verweist aktuell auf Sicherheitslücken. Während Wildtyp-Proteine nahezu fehlerfrei erkannt wurden, blieb die Fähigkeit zur Erkennung neu formulierter Varianten uneinheitlich und damit unzuverlässig.“

„Die potenziellen Folgen eines böswilligen Einsatzes könnten das Leben vieler Menschen mit hoher negativer Eingriffstiefe betreffen. Gleiches gilt jedoch auch für die positiven Effekte. Schaden und potenzieller Nutzen sind daher klug abzuwägen. Die positiven Durchbrüche sind in den Biowissenschaften bereits sichtbar und überwiegen.“

„Die skizzierte Mehrfachrolle von KI (Assistent versus Komplize) verweist auf ein Grunddilemma: Das Feld von Protein Engineering wird (vorerst) ein ,Hase-und-Igel-Rennen‘ bleiben. Rein technisch wird sich das skizzierte Risiko nicht zu hundert Prozent eindämmen lassen.“

„Neben der genannten Dreifach-Rolle von KI ist sie als Instrument zur Effizienzsteigerung und zur Beschleunigung zu sehen, das sich natürlich auch mit ökonomischen Motiven verbindet. Zudem versetzt sie zumindest potenziell Einzelpersonen/kleine Personengruppen in die Lage, im Feld von Protein Engineering zu agieren. Dies ist eine Risikosteigerung. Zugleich ist es aber auch Fakt, dass es weiterhin komplex ausgestatteter Labore und großer Expertise bedarf, um Eiweiße final zu designen, was die potenzielle Täterschaft wieder reduziert und einer sozialen Kontrolle durch die weitere Laborbelegschaft unterstellt.“

„In der weltweit gut vernetzten Protein-Engineering-Community ist der skizzierte Sachverhalt bereits geraume Zeit wohl bekannt, und sie hat darauf reagiert. Es existieren breit und verbindlich geteilte Codizes zur Selbstverpflichtung, die Forschung (und Labore) nur zum Nutzen der Menschheit einzusetzen (Bewusstseinsschulung zur Verantwortlichkeit). Es existieren ausgeprägte Kommunikationsnetze (soziale Kontrolle). Inzwischen findet diese ,Haltung‘ ansatzweise auch Eingang in die Schulung des wissenschaftlichen Nachwuchses, der neben der naturwissenschaftlich-technischen Berufsrolle durch systematisch begleitete und kommunizierte Selbstbeobachtung und Reflexion das Gefühl von Verantwortung institutionalisiert und langfristig zu einem genuinen Ethos einer Berufsgruppe fortentwickelt. Das ist der Vorteil des Igels: Nicht nur auf technische Assistenz im Kampf gegen ihre Komplizenschaft zu setzen, sondern den Forschenden in einen persönlichen Bezug zu seiner Forschung im gesellschaftlichen Spannungsfeld zu stellen.“

„Das in der Studie adressierte Problem ist in der Wissenschaftscommunity bekannt. Bereits vor eineinhalb Jahren hat sich die Community in einer Leitlinie zum verantwortungsvollen Umgang von künstlicher Intelligenz positioniert. Die Studie ist in der Hinsicht problematisch, weil sie suggeriert, dass sich die Wissenschaft noch nicht mit der Thematik beschäftigt hätte – das machen wir aber seit zwei bis drei Jahren.“

„Die Autorinnen und Autoren der Studie machen auf die Tatsache aufmerksam, dass man im Augenblick gut gefährliche Proteine erkennen kann, die von bekannten Proteinen abgeleitet sind. Die computergestützten Methoden können allerdings von Grund auf Proteine designen, bei denen man anhand der Sequenz nicht mehr sagen kann, was daraus entsteht. Allerdings entstehen bei der Verwendung von KI zur Herstellung von DNA-Sequenzen per Zufall wahnsinnig selten gefährliche Sequenzen. Seit Jahrzehnten werden Proteine produziert und toxische Proteine entstehen nicht per Zufall. In der Chemie werden seit Jahrzehnten kleine Moleküle synthetisiert. Wenn jemand wirklich böse Absichten hätte, dann geht das natürlich, etwa im Fall von Nervengiften. Wie bereits erwähnt, gib es in der Wissenschaft aber eine Wissenschaftsethik und ethische Konzepte, nach denen gearbeitet wird.“

„In der freien Wissenschaft gibt es bereits Vorkehrungen wie die Leitlinie zum verantwortungsvollen Umgang mit KI. Dennoch werden bald mehr Sicherheitsabfragen von den Firmen eingeführt werden. Die Firmen müssen ihre Screening-Mechanismen verbessern, aber sie arbeiten sehr aktiv an diesen Problemen.“

„Auch in Deutschland gibt es Forschungsaktivitäten, die diese Fragestellung adressieren. So untersuchen wir im Rahmen des Kompetenzzentrum für Künstliche Intelligenz in Dresden/Leipzig (Competence Center for Scalable Data Analytics and Artificial Intelligence Dresden/Leipzig) beispielsweise in einem Projekt, inwiefern künstliche Intelligenz lernt und sich Informationen aus der Natur ‚abguckt‘. Wir stellen auch die Frage, wie häufig es passiert, dass eine künstliche Intelligenz gefährliche Proteinsequenzen identifiziert.“

„Wenn bei der Verwendung von künstlicher Intelligenz gefährliche Sequenzen entstehen sollen, dann benötigt man die Absicht und es benötigt Expertise. Künstliche Intelligenz braucht immer noch Input durch den Menschen. Es ist sehr unwahrscheinlich, dass eine KI ohne menschliche Intervention gefährliche Sequenzen generiert. Das geht nicht so einfach. Selbst bei vorhandener Expertise tun wir uns immer noch schwer, für einfache Mutationen die Sequenz vorherzusagen.“

„Die Studie weist Lücken auf. Beispielsweise legen die Autorinnen und Autoren die verwendeten Sequenzen nicht offen. Darüber hinaus haben sie reine ‚in silico predictions‘ zur Funktionstestung verwendet. Das heißt, sie haben im Labor nicht nachgewiesen, ob die aus den Sequenzen entstehenden Proteine tatsächlich biologisch problematisch sein könnten. Man kann das aus in silico-Daten aber nicht vorhersagen.“

„In Europa gibt es gute Sicherheitsmechanismen, durch die Fälle abgefangen werden, die durch Zufall entstehen. Die Umkehr dieses Problem ist, wenn man Sequenzen bestellen möchte, die man für die Forschung benötigt, diese aber als gefährlich eingestuft werden. Zum Beispiel besteht das Problem, wenn wir bei Firmen – meist sind diese US-amerikanisch – virale Sequenzen bestellen wollen, die dann durch die ‚Export-Control‘ abgefangen werden. Allerdings benötigen wir für die Impfstoffherstellung häufig virale Sequenzen, um auf Basis dieser Arzneimittel zu entwickeln. Die durch die Kontrolle entstehenden Genehmigungsprozesse können sehr zeitaufwendig sein und stellen für die Wissenschaft eine Barriere dar. Die freie Forschung sollte an dieser Stelle durch solche Kontrollmechanismen nicht zusätzlich eingeschränkt werden.“

„KI-gestütztes Proteindesign berührt in besonderem Maße forschungsethische Fragestellungen im Bereich sicherheitsrelevanter Forschung und der damit verbundenen ‚Dual-Use‘-Problematik. Dual-Use-Technologien zeichnen sich dadurch aus, dass sie neben einem zivilen Nutzen auch für militärische oder kriminelle Zwecke missbraucht werden können. Ethisch gesehen ist Dual-Use-Forschung daher stets von einer Dilemmasituation geprägt: Das KI-gestützte Proteindesign eröffnet einerseits Chancen für verbesserte Impfstoffentwicklung und beschleunigte Arzneimittelproduktion, birgt andererseits aber das Risiko, die Entwicklung biologischer Waffen zu erleichtern. Hier geraten das Prinzip der Benefizienz und das Prinzip des Nicht-Schadens in Konflikt. Forschung, die dem menschlichen Wohlergehen dient, sollte gefördert werden; Forschung, die gravierende Risiken erzeugt, muss hingegen im Sinne der Risikovermeidung besonders streng reguliert werden.“

„Im Zentrum dieses Spannungsfeldes steht das Prinzip der angemessenen Risikokontrolle. Gerade durch den Einsatz von KI – mit ihrer Eigenschaft der Beschleunigung, breiten Anwendbarkeit und schwer durchschaubare Prozesse – steigen die Risiken für die Biosicherheit erheblich, während etablierte Prüfstandards zunehmend an ihre Grenzen stoßen. Daher ist es notwendig, für das KI-gestützte Proteindesign verbindliche Policies zu entwickeln, die vertrauenswürdigen Institutionen explizite Aufsichts- und Kontrollfunktionen zuweisen.“

„Zur Ausarbeitung geeigneter Bewertungsmaßstäbe ist empirische Forschung zu den Risikopotenzialen dieser Technologie unverzichtbar. Die in ‚Science‘ vorgestellte Studie zur Anpassung bestehender Screening-Methoden ist in diesem Zusammenhang ein wichtiger Schritt: Sie trägt nicht nur zur Risikoabschätzung und -begrenzung bei, sondern verdeutlicht auch, dass selbst von Seiten der Industrie der Ruf nach Regulierung erhoben wird.“

„Ethische Begleitung darf sich jedoch nicht auf nachträgliche Kontrolle beschränken. Insbesondere bei emergierenden Technologien mit hohem Risikopotenzial ist eine ethische Reflexion bereits in der Entwicklungsphase notwendig. Der Ansatz von ‚ethics by design‘ eröffnet die Möglichkeit, potenziell missbräuchliche Einsatzszenarien frühzeitig zu antizipieren und technische oder organisatorische Gegenmaßnahmen – etwa ‚hard coded constraints‘ oder restriktive Zugriffsrechte auf bestimmte KI-Modelle – in den Entwicklungsprozess zu integrieren. Darüber hinaus können grundlegende Klassifikationsfragen (zum Beispiel welche Proteine als sicherheitsrelevant einzustufen sind) kontinuierlich problematisiert und überprüft werden. So fließen ethische und gesellschaftliche Überlegungen direkt in die Entwicklung, Implementierung und Anwendung der Technologie ein.“

„Die Regulierung solcher Forschungspraxis erfordert eine breite Einbindung unterschiedlicher Stakeholder. Angesichts der globalen Risiken missbräuchlicher Anwendungen ist ein internationaler Austausch über Standards, deren Implementierung und Harmonisierung unverzichtbar. Nationale Regulierungen müssen zudem mit den Perspektiven von Unternehmen und Wissenschaftler:innen abgestimmt werden, um Innovationshemmnisse zu identifizieren und – wo möglich – abzumildern. Ein wichtiger Ausgangspunkt ist hier die Selbstverpflichtung der wissenschaftlichen Community (zum Beispiel Responsible AI x Biodesign), deren Prinzipien durch externe Aufsichtsmechanismen überprüft werden sollten.“

„Für eine wirksame Kontrolle sind unabhängige Institutionen erforderlich. Denkbar ist die Stärkung bestehender Kommissionen wie der KEF (Kommissionen für Ethik sicherheitsrelevanter Forschung) oder die Einrichtung spezialisierter Forschungsethikkommissionen. Voraussetzung dafür sind Investitionen in personell und fachlich gut ausgestattete Strukturen mit spezifischer Expertise. Ergänzend können wissenschaftliche Selbstkontrollelemente – etwa die Bindung von Drittmittelvergaben oder Publikationen an Sicherheitsstandards – als weitere Regulierungsschicht dienen.“

„Schließlich ist die Identifikation von Verantwortungsträgern zentral. Nur wenn klar benannt wird, welche Akteure – Einzelpersonen wie Institutionen – Verantwortung für die Ergebnisse der Forschung tragen, kann Vertrauen geschaffen und Verantwortungsdiffusion vermieden werden. So wird die kollektive Verantwortung für den verantwortungsvollen Umgang mit KI-gestütztem Proteindesign sichergestellt.“