Hilfe & Dokumentation

1. Erste Schritte & Einrichtung

AI Proxy lässt sich auf drei Wegen an KI-Verkehr anbinden — je nach Anwendungsfall lassen sich diese auch kombinieren:

a) Direkt-Integration

Anwendungen, die eine konfigurierbare Basis-URL unterstützen (z. B. ANTHROPIC_BASE_URL oder OPENAI_BASE_URL), zeigen direkt auf den AI-Proxy-Endpunkt (Standard-Port 8000). Geeignet für einzelne Anwendungen, SDKs oder CI/CD-Pipelines.

b) System-Proxy / PAC-Datei

Für unternehmensweiten Schutz empfiehlt sich eine PAC-Datei (http://<host>:8000/proxy.pac), die nur KI-API-Aufrufe durch AI Proxy leitet — der übrige Internet-Traffic läuft direkt. Alternativ kann AI Proxy als vollständiger System-Proxy (Port 8001) eingerichtet werden; das leitet jedoch jeglichen Traffic um und ist nur für gezielte Szenarien empfehlenswert.

c) Browser Extension

Für Web-Oberflächen wie claude.ai oder chatgpt.com, die keine Proxy-Konfiguration im klassischen Sinn zulassen, gibt es die AI Proxy Browser Extension. Sie klinkt sich direkt in fetch()-Aufrufe der Seite ein — ganz ohne CA-Zertifikat im Browser. Details siehe Abschnitt 10.

2. Übersicht / Grundeinstellungen

Im Bereich Admin → Übersicht werden die technischen Grundeinstellungen verwaltet:

• KI Basis-URL — nur relevant für die Direkt-Integration; beim System-Proxy/PAC-Betrieb gelten stattdessen die Base-URLs der einzelnen LLM-Produkte.
• Ausgangsrouting — optionaler Upstream-Proxy oder Einbindung einer bestehenden PAC-Datei für nicht-KI-Traffic.
• spaCy-Modell — steuert die Spracherkennung für die Namens-/Entitätserkennung bei der Anonymisierung.
• Logging — Log-Level und optionales Speichern von Debug-Payloads.
• Branding (Design) — Markenname, Logo und Farben der Admin-Oberfläche.

3. LLM-Produkte & Status

Jedes KI-Ziel (z. B. OpenAI, Anthropic, Google Gemini oder ein internes Modell) wird als eigenes LLM-Produkt mit Name, Base-URL und Status hinterlegt:

• Whitelist — Traffic wird angenommen, Anonymisierung sowie aktive Guardrails/RAG-Bausteine greifen, die Antwort wird de-anonymisiert zurückgegeben.
• Blacklist — jede Anfrage an dieses Ziel wird sofort mit HTTP 403 blockiert und protokolliert.
• Passthrough — Traffic wird unverändert durchgereicht, ohne Anonymisierung, Guardrails oder RAG-Injektion.

Standardmäßig sind die gängigen KI-Anbieter (OpenAI, Anthropic, Google, Mistral, Cohere u. a., jeweils API und Web-Oberfläche) bereits als Whitelist vorkonfiguriert und können jederzeit angepasst, ergänzt oder exportiert/importiert werden.

4. Dashboard & Kennzahlen

Das Dashboard ist die Startseite der Admin-Oberfläche und zeigt zwei Kennzahlenblöcke:

• Requests nach Kategorie — Anzahl der Anfragen je Whitelist/Blacklist/Passthrough, als Kennzahlen und Anteilsbalken.
• Erkannte personenbezogene Daten nach Kategorie — z. B. IBAN, Person, Adresse, E-Mail, Telefon, Kundennummer, jeweils mit Anzahl der Erkennungen.

Die Kennzahlen sind für alle angemeldeten Rollen sichtbar und helfen, den tatsächlichen Schutzumfang im Unternehmen nachzuvollziehen.

5. Requests / Audit-Log

Unter LLM Admin → Requests wird jede protokollierte Anfrage mit Zeitpunkt, Quelle, Ziel-KI und Statuscode aufgelistet. Ein Klick öffnet die Detailansicht mit eingehendem Request, ausgehendem (ggf. anonymisiertem) Request sowie eingehender und ausgehender Antwort — reine Nachverfolgung, ohne Einfluss auf das Laufzeitverhalten.

6. Anonymisierung

Unter LLM Admin → Anonymisierung (nur für Administratoren sichtbar) finden sich zwei Tabellen:

• Erkannte Personen — jede erkannte Person erhält eine stabile Public ID, unter der sie über mehrere Anfragen hinweg wiedererkannt wird.
• Token-Mappings — die konkrete Zuordnung von Platzhalter zu Originalwert je Request, filterbar nach Typ (Person, E-Mail, Telefon, IBAN, Adresse, Kundennummer).

Die Anonymisierung greift ausschließlich bei Whitelist-Zielen; erkannte Werte werden vor dem Versand durch Platzhalter ersetzt und in der Antwort automatisch wieder eingesetzt.

7. Guardrails schreiben

Ein Guardrail ist ein Freitext-Regelwerk, das AI Proxy bei Whitelist-Zielen automatisch als Systemkontext vor jede Anfrage stellt. Technisch wird der Inhalt jedes aktiven Guardrails unverändert in den System-Prompt der Anfrage eingefügt — es handelt sich also um Anweisungen an das Sprachmodell, formuliert wie ein System-Prompt.

Wie ein Guardrail wirkt

1. Sie legen unter Editor → Guardrails einen neuen Eintrag mit Name und Inhalt an.
2. Nur Guardrails, die als „Standard“ aktiviert sind, werden tatsächlich verwendet — mehrere aktive Guardrails werden hintereinander in den Kontext eingefügt.
3. Bei jeder Anfrage an ein Whitelist-Ziel wird der Text automatisch vorangestellt, bevor die Anfrage weitergeleitet wird.

Formulierungs-Empfehlungen

• Klare, direkte Anweisungen formulieren — wie eine Regel, keine Frage.
• Ein Guardrail pro Thema (Sprache, Tonalität, verbotene Inhalte, Eskalationsverhalten …) statt eines einzigen Textblocks — das hält Einträge wartbar und einzeln (de)aktivierbar.
• Konkrete Verbote und Ausnahmen benennen statt nur allgemeine Absichten.

Beispiel

Name: Kommunikations-Grundregeln

Antworte grundsätzlich auf Deutsch, auch wenn auf Englisch gefragt wird.
Gib niemals interne Preiskalkulationen, Rabattstaffeln oder Margen preis.
Wenn nach medizinischer, rechtlicher oder steuerlicher Beratung gefragt wird,
weise darauf hin, dass dies keine professionelle Beratung ersetzt.
Bei Unsicherheit lieber nachfragen, statt zu spekulieren.

Dieser Text erscheint bei aktivem Guardrail vor jeder Anfrage im Abschnitt Guardrails: des Systemkontexts — für das Sprachmodell nicht von einer regulären System-Anweisung zu unterscheiden.

8. RAG-Definitionen schreiben

Eine RAG-Definition ist ein strukturierter Wissensbaustein im JSON-Format, der — genau wie Guardrails — bei aktivem Status automatisch als Kontext an jede Anfrage an ein Whitelist-Ziel angehängt wird. Anders als Guardrails (Verhaltensregeln) transportieren RAG-Definitionen Fachwissen: Produktinfos, Richtlinien, Glossare, Ansprechpartner usw.

Format

Der Inhalt ist ein beliebiges JSON-Objekt — es gibt kein festes Schema. Wählen Sie eine Struktur, die für Ihr Sprachmodell möglichst eindeutig lesbar ist:

{
  "unternehmen": "Musterfirma GmbH",
  "produkte": [
    { "name": "Modul A", "beschreibung": "Zeiterfassung für Teams" },
    { "name": "Modul B", "beschreibung": "Reisekostenabrechnung" }
  ],
  "support_kontakt": "support@musterfirma.de",
  "geschaeftszeiten": "Mo–Fr, 8–18 Uhr",
  "richtlinien": [
    "Rückerstattungen sind innerhalb von 14 Tagen möglich.",
    "Enterprise-Kunden erhalten priorisierten Support."
  ]
}

Wie eine RAG-Definition wirkt

1. Unter Editor → RAG einen neuen Eintrag mit Name und JSON-Inhalt anlegen.
2. Auch hier gilt: Nur als „Standard“ aktivierte Einträge werden tatsächlich eingefügt.
3. Der JSON-Inhalt wird formatiert unter RAG Context: in den Systemkontext jeder Anfrage an ein Whitelist-Ziel übernommen.

Praxis-Tipps

• Gültiges JSON verwenden — ein Syntaxfehler verhindert das Speichern.
• Sprechende Schlüsselnamen wählen, damit das Sprachmodell den Kontext richtig zuordnen kann.
• Keine personenbezogenen oder vertraulichen Daten in RAG-Definitionen hinterlegen, die nicht ohnehin an das jeweilige KI-Ziel gehen dürfen — RAG-Inhalte durchlaufen nicht die Anonymisierung, da sie serverseitig hinzugefügt werden.

9. Benutzer & Rollen

AI Proxy unterscheidet drei Rollen:

• Viewer — lesender Zugriff auf Dashboard, Requests und Konfiguration.
• Editor — kann Guardrails, RAG-Definitionen, LLM-Produkte und Grundeinstellungen bearbeiten.
• Admin — zusätzlich Benutzerverwaltung, Anonymisierungs-Einsicht und API-Key-Verwaltung für die Browser Extension.

Optional kann eine Selbstregistrierung aktiviert werden (inkl. E-Mail-Verifizierung, Rate-Limiting und Passwort-Reset per E-Mail) — z. B. für offene Demo- oder Cloud-Umgebungen.

10. Browser Extension

Die AI Proxy Browser Extension schützt Web-Oberflächen von KI-Diensten direkt im Browser:

1. Unter Admin → Browser Extension mindestens einen aktiven API-Key erstellen (ohne aktiven Key funktioniert die Extension nicht).
2. Extension laden (Entwickler-Modus, privater Chrome-Web-Store-Eintrag oder unternehmensweite Verteilung per GPO/Intune — alle drei Wege sind in der Admin-Oberfläche dokumentiert).
3. AI-Proxy-URL und den erzeugten API-Key in den Extension-Einstellungen hinterlegen und die Verbindung testen.

Unterstützt werden u. a. claude.ai, ChatGPT (inkl. Gastmodus ohne Login), Gemini, Copilot, Perplexity, Mistral Chat und DeepSeek.