Posts

Showing posts with the label KI Sicherheit

GuardFall: Shell-Injection-Risiken bei Open-Source KI-Age…

Image
GuardFall umgeht Sicherheitsprüfungen von KI-Coding-Agenten mit jahrzehntealten Shell-Tricks. Zehn von elf Open-Source-Agenten sind verwundbar – nur Con… Was ist GuardFall und warum ist es gefährlich? Stell dir vor, du beauftragst einen KI-Assistenten damit, Code für dich zu schreiben. Der Agent führt Befehle aus – aber eine Sicherheitsfunktion namens GuardFall soll eigentlich verhindern, dass er schädliche Kommandos startet. Die neue Studie von Adversa AI zeigt: Dieser Schutz ist löchrig wie ein Schweizer Käse. Mit einem einfachen Shell-Trick, der seit Jahrzehnten bekannt ist, lässt sich die Prüfung umgehen. Die Forscher testeten elf populäre Open-Source-Agenten. Das Ergebnis? Zehn davon fielen durch. Nur einer – Continue – war immun gegen den Angriff. Wie funktioniert der Angriff? Der Trick ist alt: Man schleust Steuerzeichen oder speziell formatierte Zeichenketten in den Befehl ein, die die Shell anders interpretiert als der Sicherheitscheck. Ein Klassiker aus den 1990ern – ...

Microsoft Open-Source AI Sicherheit: RAMPART & Clarity

Image
Microsoft stellt RAMPART und Clarity als Open-Source vor – zwei Tools, die Entwicklern helfen, KI-Agenten während der Entwicklung auf Sicherheitslücken zu testen. Die Ankündigung kommt zu einem Zeitpunkt, da immer mehr Unternehmen KI-Agenten in Produktion bringen, ohne deren Sicherheit ausreichend zu prüfen. Was RAMPART und Clarity leisten RAMPART steht für Risk Assessment and Measurement Platform for Agentic Red Teaming . Es ist ein nativer Pytest-Rahmen für Sicherheits- und Sicherheitstests von KI-Agenten. Du schreibst Tests, die Angriffe simulieren – und RAMPART führt sie aus. Klingt simpel. Dahinter steckt aber ein durchdachtes System, das speziell für die chaotische Welt der KI-Agenten entwickelt wurde. Microsoft stellt RAMPART und Clarity als Open-Source vor – zwei Tools, die Entwicklern helfen, KI-Agenten während der Entwicklung auf Sicherheitslücken … Warum du diese Tools jetzt brauchst Die meisten Sicherheitslücken in KI-Systemen entstehen nicht durch böswillige Angriffe...