Sicherheit muss bereits im Modell beginnen 

Open AI bricht aus und hackt fremde Plattform

Die KI-Modelle des US-Konzerns haben sich selbstständig Zugang zum Internet verschafft und die Infrastruktur von Hugging Face gehackt, um ein Testziel zu erreichen. Das bestätigt OpenAI in einem Blogbeitrag und damit die Verantwortung für den Angriff übernommen.

Hugging Face ist eine Plattform zum Austausch von KI-Modellen und Datensätzen. Von Seiten des Unternehmens wurde von einem Angriff berichtet, der komplett von einem autonomen KI-System gesteuert worden sei. OpenAI kündigte in Folge an, die Sicherheitsvorkehrungen zu verstärken.

Sicherheit durch Modellieren

Der aktuelle Vorfall zeigt, wie leistungsfähig autonome KI-Systeme inzwischen sind und welche unerwünschten Handlungen technisch möglich werden. Gleichzeitig wird deutlich, dass solche Risiken durch eine systemische Modellierung möglicher Handlungen, Abhängigkeiten und Angriffspfade frühzeitig erkennen und dadurch gezielter begrenzen lassen. 

Aus Sicht von Sparx Systems Europe ist Threat Modelling deshalb keine isolierte Spezialdisziplin, sondern ein wesentlicher Bestandteil professioneller Software- und Systementwicklung.

Bereits mit Enterprise Architect lassen sich Systemarchitekturen, Komponenten, Schnittstellen, Datenflüsse, Vertrauensgrenzen und potenzielle Angriffsflächen gemeinsam modellieren.

Bedrohungen, Risiken, Sicherheitsanforderungen und Gegenmaßnahmen können direkt mit den betroffenen Architekturelementen verknüpft und über den gesamten Entwicklungsprozess nachvollziehbar gemacht werden.

Gerade bei KI-Agenten stellen sich neue Fragen:

• Welche Systeme und Daten kann der Agent erreichen?
• Wo liegen die Grenzen seiner Berechtigungen?
• Über welche Schnittstellen könnte er seine vorgesehene Umgebung verlassen?
• Welche Sicherheitsmaßnahmen müssen bereits in der Architektur vorgesehen werden?

Der entscheidende Vorteil modellbasierter Entwicklung liegt dabei in der gemeinsamen Sicht auf Architektur, Verhalten, Anforderungen und Sicherheit. Sicherheitsrisiken werden nicht erst im abschließenden Test sichtbar, sondern bereits in einer Phase, in der das Systemdesign noch verändert werden kann.

Für vertiefende und automatisierte Analysen kann Enterprise Architect außerdem durch spezialisierte Lösungen ergänzt werden – etwa durch ThreatGet des AIT. Auch SBA Research leistet als eigenständiger Partner und österreichisches Forschungszentrum einen wichtigen Beitrag zur Weiterentwicklung von Cyber Security und Threat Modelling.

Die zentrale Botschaft bleibt jedoch:

Security by Design beginnt mit einem verständlichen, überprüfbaren und nachvollziehbaren Modell.

Je autonomer unsere Systeme werden, desto wichtiger wird es, ihre Möglichkeiten und ihre Grenzen bereits vor der Inbetriebnahme systematisch zu modellieren.