Cut the Prompt

KI statt Anwalt? Anthropic verlangt einen Menschen, der prüft

Anthropics Regeln gelten ab 12. November: Bei Bewerbern und Kundenverträgen reicht ein Freigabeklick nicht.

Ich öffne LinkedIn und lese wieder von Verträgen, die Leute mit KI schreiben und dabei auf den Anwalt verzichten. Beim Röntgenbild soll die KI den Arzt gleich mit ersetzen. Ausgerechnet Anthropic, der Hersteller von Claude, sieht das anders, und zwar schwarz auf weiß. Am 8. Oktober hat Anthropic seine Nutzungsregeln präzisiert, sie gelten ab 12. November 2026.

Was in den Regeln steht

Anthropic nennt elf Bereiche, darunter Recht, Medizin, Finanzen und Beschäftigung. Zu den Beispielen gehören Rechtsdokumente für jemanden zur Unterschrift, das Deuten von Befunden für eine Diagnose und das Sortieren von Bewerbern. Eine allgemeine Erklärung zu einem Gesetz ist noch keine Empfehlung für einen konkreten Menschen.

Bevor eine Empfehlung ankommt oder eine Entscheidung beeinflusst, muss eine fachlich qualifizierte Person sie inhaltlich prüfen. Sie braucht Ausbildung oder Erfahrung auf diesem Gebiet und eine Zulassung, falls das Recht sie verlangt. Sie muss das Ergebnis ändern dürfen und dafür verantwortlich bleiben. Betroffene müssen klar erfahren, dass KI beteiligt war. Den Namen Claude musst du dabei nicht nennen.

Neu ist das nicht, sagt Anthropic selbst. Die Regeln sind nur genauer geworden. OpenAI und Google sehen es genauso. OpenAI verbietet Rat, für den man eine Zulassung braucht, wenn keine zugelassene Fachperson beteiligt ist. Google verlangt menschliche Aufsicht, bevor eine automatisierte Entscheidung in sensiblen Bereichen jemandem erheblich schadet. Dass der Betroffene von der KI erfahren muss, schreibt Anthropic zusätzlich ausdrücklich vor.

Dein Röntgenbild ist deine Sache. Deine Bewerber nicht.

Ob das auch gilt, wenn du dein eigenes Röntgenbild hochlädst, lassen die Regeln offen. Wenn sogar der Hersteller einen Fachmenschen verlangt, würde ich mich auf den Prahl-Post nicht verlassen. Sobald dein Betrieb eine Empfehlung über jemand anderen abgibt oder damit eine Entscheidung trifft, ist die Grenze klar.

Lässt du Bewerbungen vorsortieren, kann eine Mappe ausscheiden, bevor jemand sie gelesen hat. Lässt du einem Kunden per KI einen Vertrag für seinen Fall aufsetzen, erhält er ein Rechtsdokument zur Unterschrift. Empfiehlt die KI einer Einzelperson, was sie bei ihrer Steuer geltend machen oder in welche Anlage sie investieren soll, gibt sie individuellen Rat. Bevor so eine Empfehlung rausgeht, muss jemand mit Fachwissen draufschauen.

Die gute Nachricht: Anthropic nimmt interne Entwürfe, Recherche und Zusammenfassungen aus, solange sie nicht selbst die endgültige Empfehlung sind. Eine Personalerin darf sich Bewerbungsunterlagen von KI zusammenfassen lassen und den Fall selbst beurteilen. Auch ein Vertragsentwurf darf zur fachlichen Prüfung auf dem Schreibtisch landen. Die Grenze liegt dort, wo aus der Vorarbeit eine Empfehlung über einen Menschen wird.

Ein Klick auf „Freigeben“ genügt nicht. Wer nur eine fertige Rangliste sieht, kann die Mappen kaum gegenprüfen. Wer den Vertragsentwurf erst nach dem Versand ändern darf, sitzt an der falschen Stelle. Ich will KI dabei nicht ausbremsen. Ich will wissen, ob der Mensch rechtzeitig entscheiden kann.

Bei einem vermuteten Regelverstoß kann Anthropic warnen, den Zugang drosseln oder sperren. Dafür braucht es keinen Bescheid vom Amt. Daneben setzt Art. 22 der DSGVO Grenzen für ausschließlich automatisierte Entscheidungen, die Menschen rechtlich oder ähnlich erheblich treffen. Die österreichische Datenschutzbehörde nennt ein Online-Einstellungsverfahren ohne menschliches Eingreifen als Beispiel.

Die Hochrisikoregeln des EU AI Act für bestimmte Anwendungen gelten erst ab 2. Dezember 2027. Dein Anbieter wartet nicht so lange. Wer bis 2027 nichts ändert, kann vorher schon den Zugang verlieren.

Wenn bei dir eine KI Bewerbungen vorsortiert oder Verträge für Kunden vorbereitet, liegt die heikle Stelle direkt vor dem Versand. Im Erstgespräch klären wir, wer dort fachlich prüfen muss und ob diese Person noch etwas ändern kann: Jetzt unverbindliches Erstgespräch anfragen!

Prüft da jemand, oder nickt er ab?

Nimm einen Ablauf, in dem KI etwas über einen Bewerber, Kunden oder Mitarbeiter empfiehlt. Geh ihn bis zu der Stelle durch, an der das Ergebnis den Betrieb verlässt oder eine Entscheidung beeinflusst:

Fachwissen: Kennt die prüfende Person genau das Gebiet, um das es bei dieser Entscheidung geht?
Unterlagen: Sieht sie die Bewerbungsmappe oder den konkreten Fall, oder nur das fertige KI-Ergebnis?
Eingriff: Kann und darf sie die Empfehlung ändern, bevor sie hinausgeht oder verwendet wird?
Offenlegung: Erfährt der betroffene Mensch klar, dass KI an der Empfehlung oder Entscheidung beteiligt war?

Sortiert bei dir schon eine KI Bewerbungen, Kundenanfragen oder Angebote vor?

Die Woche in 5 Zeilen

OpenAI: Die Affäre um die eigenen Agenten zieht Kreise. OpenAI hat über 100 Organisationen informiert, dass seine Modelle bei Tests ungefragt auf deren Systemen aktiv waren, und Kalifornien hat das Unternehmen vorgeladen.
Amazon: Sicherheitsforscher von Zenity haben mit einer einzigen Anweisung alle KI-Agenten eines Amazon-Cloud-Kontos übernommen, samt Gesprächen und Passwörtern. Amazon hat nachgebessert, Zenity rät trotzdem zu strengeren Rechten.
Mathematik: OpenAI hat über 700 KI-erzeugte Texte zu Matheproblemen veröffentlicht, die niemand bestellt hat. Eine Vereinigung von Mathematikern ruft dazu auf, die Zusammenarbeit mit OpenAI zu beenden.
Südkorea: Ein bisher unbekannter Angreifer hat laut CrowdStrike mit einem frei verfügbaren KI-Werkzeug, das Angriffe weitgehend selbst ausführt, Finanzfirmen angegriffen und Daten abgezogen.
Apple: Programme sollen am Mac nur noch nach ausdrücklicher Zustimmung auf die ganze Festplatte zugreifen dürfen. Apple begründet das mit KI-Agenten, die immer selbstständiger werden.