KI-Sicherheit & Guardrails

Threat Modeling für LLM- und Agent-Anwendungen

Traditionelle Threat-Modelle decken die Angriffsfläche von LLM-gestützten Systemen nicht ab. Wir liefern threat models, die speziell auf KI-Anwendungen zugeschnitten sind und Risiken wie Prompt Injection, Datenexfiltration über Modellausgaben, Tool-Missbrauch durch kompromittierte Agenten sowie Jailbreak-Techniken, die Content-Policies umgehen, abbilden.

Jede Bedrohung wird in Ihrem spezifischen Deployment-Kontext hinsichtlich Eintrittswahrscheinlichkeit und Auswirkung bewertet. Ein kundenorientierter Chatbot hat ein anderes Risikoprofil als ein internes Tool zur Codegenerierung. Das Threat Model spiegelt diese Unterschiede wider, statt eine generische Checkliste anzuwenden.

Fry Express erstellt Threat Models als Arbeitsdokumente, die sich mit Ihrer Anwendung weiterentwickeln. Neue Features, neue Tool-Integrationen und neue Modellfähigkeiten lösen Updates aus – keine vollständige Neubewertung.

Policy-Durchsetzung, sichere Tool-Nutzung und Output-Constraints

Guardrails sind nur dann wirksam, wenn sie sich nicht durch geschicktes Prompting umgehen lassen. Wir implementieren Policy-Enforcement-Layer, die Eingaben validieren, bevor sie das Modell erreichen, und Ausgaben einschränken, bevor sie den Nutzer oder ein nachgelagertes System erreichen. Diese Layer arbeiten unabhängig vom Modell selbst und bleiben daher wirksam – unabhängig davon, welcher Provider oder welche Version verwendet wird.

Kontrollen für sichere Tool-Nutzung stellen sicher, dass Agenten Tools nur innerhalb ihres definierten Berechtigungsumfangs aufrufen können und dass Tool-Inputs gegen erwartete Schemas validiert werden. Ein Agent, der angewiesen ist, eine Datenbank abzufragen, kann nicht dazu manipuliert werden, beliebige Befehle auszuführen.

Output-Constraints erzwingen Regeln für Format, Länge, Content-Policy und Datenklassifizierung. Antworten, die Constraints verletzen, werden blockiert, protokolliert und optional zur menschlichen Prüfung umgeleitet.

RAG-Sicherheit: Zugriffskontrolle, Source-Allowlisting und Redaction

Retrieval-Augmented Generation führt eine Datenzugriffsschicht ein, die unabhängig vom Modell abgesichert werden muss. Wir implementieren Zugriffskontrollen in der Retrieval-Pipeline, sodass das Modell nur Dokumente ausgeben kann, die der anfragende Nutzer sehen darf. Source-Allowlisting schränkt ein, welche Dokumentkollektionen, Datenbanken oder APIs die Retrieval-Schicht abfragen darf.

Redaction sensibler Daten arbeitet als Filter nach dem Retrieval. Bevor abgerufene Inhalte in den Prompt eingefügt werden, werden personenbezogene Daten, klassifizierte Daten oder als eingeschränkt markierte Inhalte erkannt und entfernt. Dadurch wird verhindert, dass das Modell sensibles Material in seine Antwort einarbeitet – selbst wenn der Retrieval-Index es enthält.

Fry Express testet RAG-Sicherheitskontrollen mit adversarial Queries, die darauf ausgelegt sind, Zugriffsschranken zu umgehen. Die Kontrollen werden validiert, nicht vorausgesetzt.

Data Governance: Retention, PII-Handling und Umgebungs-Trennung

KI-Systeme, die echte Daten verarbeiten, müssen dieselben Data-Governance-Standards erfüllen wie jeder andere Produktionsservice. Wir etablieren Retention-Regeln, die definieren, wie lange Prompts, Antworten und Zwischendaten gespeichert werden, und stellen sicher, dass Löschrichtlinien automatisch durchgesetzt werden.

PII-Handling umfasst Erkennung, Klassifizierung und eine angemessene Behandlung entlang der gesamten Pipeline. Daten, die ins System gelangen, werden beim Ingest klassifiziert; Daten, die das System verlassen, werden vor der Auslieferung gegen Klassifizierungsregeln geprüft. Die Regeln sind in der gesamten Anwendung konsistent, nicht ad hoc in einzelnen Komponenten umgesetzt.

Die Trennung von Umgebungen stellt sicher, dass Produktionsdaten nicht in Entwicklungs- oder Staging-Umgebungen abfließen. Modelle, die in der Entwicklung trainiert oder feinjustiert werden, verwenden synthetische oder anonymisierte Datensätze. Fry Express setzt diese Trennung auf Infrastrukturebene durch – nicht nur über Policy-Dokumente.

Red Teaming, adversariales Testing und operative Kontrollen

Sicherheitskontrollen müssen unter adversarial Bedingungen getestet werden – nicht nur in Dokumentation überprüft. Wir führen Red-Teaming-Übungen durch, die realistische Angriffsszenarien gegen Ihre LLM- und Agent-Anwendungen simulieren: Prompt-Injection-Kampagnen, mehrstufiges Social Engineering über Agent-Interfaces, Versuche der Datenextraktion sowie Privilegieneskalation über Tool-Ketten.

Erkenntnisse aus dem Red Teaming fließen direkt in Verbesserungen der Guardrails, Policy-Updates und Monitoring-Regeln ein. Jeder Befund enthält einen Reproduktionspfad, eine Schweregradbewertung und eine Empfehlung zur Behebung.

Operative Kontrollen schließen den Kreislauf: Monitoring und Audit-Logs erkennen anomales Verhalten in Produktion, und Incident-Playbooks definieren die Reaktion, wenn ein Security-Event identifiziert wird. Alerts werden auf das Threat Model abgestimmt, damit sicherheitsrelevante Signale nicht im operativen Rauschen untergehen.

Diese Deliverables etablieren eine Sicherheitslage für KI-Systeme, die getestet, geregelt und operativ betrieben wird. Bedrohungen werden modelliert, bevor sie eintreten, Guardrails werden auf jeder Ebene durchgesetzt, und Ihr Team verfügt über die Tools und Prozesse, um Incidents zu erkennen und zu bearbeiten, wenn sie auftreten.