Risikogrenzen brauchen einen Messmechanismus, keinen Grenzwert

Ein Whitepaper des Center for Long-Term Cybersecurity der UC Berkeley argumentiert, dass die aus den Sicherheits-Frameworks der Frontier-Labore (OpenAI, Anthropic, DeepMind, Meta) übernommenen Grenzen für KI-gestütztes Cyberrisiko scheitern, weil sie auf Fähigkeiten basieren, vage sind und vom realen Schaden entkoppelt bleiben. Die Autoren schlagen Bayessche Netze vor, die aus „überschreitet dieses Modell eine Linie?" machen: „Wie wahrscheinlich ist es, unter realen Bedingungen Schaden zu verursachen?" — und dieser Wechsel von einem statischen Grenzwert zu einem kontinuierlich gemessenen Mechanismus ist genau das, was eine verteidigungsfähige Grenze verlangt.

Die Grenze ist keine Linie, die man überschreitet; sie ist eine Messung, die man aufrechterhält

Die Sicherheits-Frameworks der Frontier-KI-Labore konvergieren auf eine Handvoll „Grenzelemente" — Automatisierung mehrstufiger Angriffe, Entdeckung von Zero-Days, Ermöglichung gering qualifizierter Angreifer — und hängen dann an jedes einen Fähigkeits-Benchmark. Die zentrale Kritik des Berkeley-Whitepapers ist, dass diese Grenzwerte deterministisch sind in einem System, das grundsätzlich probabilistisch ist. Ein Modell, das „kann" einen Zero-Day in einem Benchmark entdecken, richtet dadurch noch keinen Schaden an; dieselbe Fähigkeit ist je nach Zugriff, Verteidigerhaltung und Angreiferökonomie harmlos oder katastrophal. Eine Grenze, die als Fähigkeitslinie formuliert ist, ignoriert jede dieser vermittelnden Variablen.

Es ist derselbe Fehlermodus, den wir mit Theorem 3 in den 21 Papers benennen: eine Eigenschaft ist genau dann garantiert, wenn ihr Mechanismus implementiert ist und misst. [ORIGINAL DATA] Theorem 3 (a property is guaranteed exactly when its mechanism is implemented and measuring) ist hier entscheidend, weil „unannehmbares Cyberrisiko" eine Eigenschaft eines sozio-technischen Systems ist, nicht eines Modells. Einen Fähigkeits-Grenzwert zu deklarieren implementiert die Eigenschaft nicht; sie behauptet sie. Die Eigenschaft — dass der Schaden unter einem akzeptierten Niveau bleibt — existiert nur, wenn etwas kontinuierlich die Messung erzeugt, die Ihnen sagen würde, dass sie überschritten wurde. Eine Linie, die niemand misst, ist keine Grenze; sie ist eine Hoffnung.

Das Whitepaper stellt die Frage von „Überschreitet dieses Modell eine Grenze?" um zu „Wie wahrscheinlich ist es, unter realen Bedingungen Schaden zu verursachen?". Das ist die korrekte Umformulierung, und sie hat eine strukturelle Konsequenz: Die Grenze wird zu einem aufrechterhaltenen Zustand, nicht zu einem überschrittenen Meilenstein. Sie instrumentieren das Deployment, speisen Evidenz in ein probabilistisches Modell ein und halten den Posterior unter dem akzeptierten Niveau — oder Sie beschränken das Deployment. Der Grenzwert ist der Output eines laufenden Mechanismus, niemals sein Ersatz.

Fähigkeiten sind kein Risiko; der Kontext ist es

Das Whitepaper formuliert die Kritik offen: Fähigkeiten ≠ Risiko. Dieselbe Fähigkeit kann je nach Kontext, Zugriff und Verteidigung harmlos oder katastrophal sein. Eine Phishing-Generierungsfähigkeit hinter einer Unternehmens-Authentifizierungsgrenze mit einem ausgereiften Mailfilter ist ein anderes Risiko als dieselbe Fähigkeit, die jedem mit einer Telefonnummer und einem Grollen zugänglich ist. Die Frontier-Frameworks umgehen dies, indem sie auf die Fähigkeit indizieren und den Kontext implizit lassen.

Zwei weitere Mängel verschärfen das Problem. Erstens ist die Sprache vage — „bedeutsamer Anstieg" taucht in den Frameworks ohne eine Basislinie, eine Einheit oder eine Methode auf. „Bedeutsam" relativ zu was, wie gemessen, von wem, wann aktualisiert? Ein Grenzwertterm, der nicht bevölkert werden kann, ist ein Compliance-Artefakt, keine Kontrolle. Zweitens konzentrieren sich die Frameworks auf extreme, unwahrscheinliche Szenarien — autonome End-to-End-Ausbeutung eines gehärteten Ziels — und übersehen die inkrementellen Verschiebungen, die das Angriff-Verteidigung-Gleichgewicht tatsächlich umgestalten. Die langsame Drift in der Angreiferökonomie, nicht das filmische Szenario, kippt das Gleichgewicht.

[UNIQUE INSIGHT] Der Grund, warum Fähigkeits-Grenzwerte die inkrementelle Drift übersehen, ist, dass sie Momentaufnahmen über ein Modell sind, keine Längsschnittmessungen über ein System. Ein Fähigkeits-Benchmark ist ein Foto; Risiko ist ein Video. Der Berkeley-Vorschlag — Risiko in Variablen zerlegen, sie durch probabilistische Abhängigkeiten verknüpfen, mit Benchmark- und Red-Team- und Realwelt-Evidenz füttern und über die Zeit aktualisieren — ist faktisch die Bitte, anzufangen zu filmen. Die Grenze lebt dann im Trend des Posteriors, nicht in einer einzigen Benchmark-Punktzahl.

Das ist wichtig, weil die Regulierung auf dasselbe Framing zusteuert. Das Whitepaper weist auf die Anpassung an den EU AI Act und das NIST Risk Management Framework hin, die beide fortlaufende, evidenzbasierte Risikobehandlung verlangen statt einer einmaligen Erklärung. Ein Labor mit nur einem Fähigkeits-Grenzwert kann die Frage, die diese Frameworks tatsächlich stellen, nicht beantworten: „Wie hoch ist Ihr gemessenes Risiko, und was ist Ihr Mechanismus, um es unter dem akzeptierten Niveau zu halten?"

Das Bayessche Netz ist der Messmechanismus

Der konstruktive Vorschlag des Whitepapers sind Bayessche Netze (BN): probabilistische Graphen, die Beziehungen zwischen Variablen darstellen — KI-Fähigkeit, Angreiferverhalten, Verteidigungsdetektion, wirtschaftlicher Schaden — und die vielfältige Evidenz integrieren und sich kontinuierlich aktualisieren, wenn sich die Bedingungen ändern. Anders als eine statische Grenze erlaubt eine BN zu verfolgen, wie nahe ein System daran ist, eine Risikogrenze zu überschreiten, weil die Grenze eine Region in einer gemeinsamen Verteilung ist, nicht eine einzige Zahl auf einer Achse.

Das ist der Teil des Whitepapers, der am direktesten an unsere Mechanismusdenke anschließt. Eine BN ist keine Vorhersage im umgangssprachlichen Sinn; sie ist ein Messinstrument. Sie sagt, gegeben das, was wir beobachtet haben, hier ist der Posterior über die Schadensvariablen, und so bewegt er sich, wenn wir ein neues Red-Team-Ergebnis oder einen neuen Vorfallsbericht einspeisen. Die Grenze ist dann eine Politik über diesen Posterior — „das Deployment wird eingeschränkt, wenn P(bedeutender Schaden) 0.X überschreitet" — und die Politik ist durchsetzbar, weil der Posterior aus der Evidenz und dem Graphen reproduzierbar ist.

Drei Eigenschaften machen eine BN zur richtigen Form für diese Aufgabe, und jede bildet eine Eigenschaft ab, die wir bei jedem Messmechanismus suchen:

• Zerlegung. Ein hochrangiges Risiko („KI ermöglicht skalierbares Phishing") wird in messbare Variablen zerlegt — sprachliche Beherrschung der KI, Köderglaubwürdigkeit, Detektionsrate der Verteidigung, Zielenanfälligkeit. Man kann „Phishing-Risiko" nicht direkt messen; man kann seine Komponenten messen. Die Zerlegung ist es, die das Risiko für Evidenz lesbar macht.
• Abhängigkeit. Die Variablen sind durch bedingte Wahrscheinlichkeiten verknüpft, nicht unabhängig summiert. Der Angriffserfolg hängt gemeinsam von Fähigkeit und Verteidigung ab, nicht von jeder einzeln. Deshalb scheitert ein rein Fähigkeitsbasierter Grenzwert: er nimmt an, die gemeinsame Verteilung lasse sich von einer Randverteilung ablesen.
• Aktualisierung. Der Posterior ist eine Funktion der Evidenz, und die Evidenz wächst. Eine BN ist konstruktionsbedingt ein Längsschnittinstrument; der Posterior von gestern ist der A-priori von heute. Das ist, was „dynamische Überwachung" operativ bedeutet, nicht als Slogan.

Die ehrliche Grenze, die das Whitepaper selbst nennt, ist, dass diese Modelle ein Frühstadium sind: es gibt keine im großen Maßstab validierten BNs in der Realwelt, keine standardisierten Datensätze zum Bevölkern der Wahrscheinlichkeiten und keine klare Governance-Integration — wer die Grenzen setzt, wie sie durchgesetzt werden. Ich zitiere die eigene „What's Missing"-Sektion des Whitepapers, weil eine ehrliche Lektüre sie nicht zudeckt. Ein Messmechanismus, der nie gegen Ergebnisse kalibriert wurde, ist eine Hypothese über eine Messung, noch keine Messung. Der Mechanismus hat die richtige Form; die Evidenzbasis ist nicht gebaut.

Wie die Phishing-Fallstudie „bedeutsamen Anstieg" in eine Zahl verwandelt

Die Phishing-Fallstudie des Whitepapers (Seiten 31–32) ist, wo die Abstraktion konkret wird. Ein Bayessches Netz zerlegt das Social-Engineering-Risiko in Knoten — „sprachliche Beherrschung der KI", „Köderglaubwürdigkeit", „Detektionsrate der Verteidigung", „Zielenanfälligkeit" — die gemeinsam Ergebnisse bestimmen wie, ob ein Mitarbeiter eine bösartige E-Mail öffnet. Vage Konzepte werden zu quantifizierbaren Signalen, weil jeder Knoten etwas ist, für das Sie Evidenz erzeugen können: eine sprachliche Beherrschungspunktzahl aus einem Benchmark, eine Detektionsrate aus einem Mailfilter-Test, eine Anfälligkeitsschätzung aus einer Phishing-Simulationskampagne.

Die Fallstudie macht zwei Dinge zugleich, und es lohnt sich, sie zu trennen. Erstens zeigt sie, dass ein Risikobegriff wie „bedeutsamer Anstieg der Phishing-Wirksamkeit" in Variablen mit Einheiten zerlegt werden kann. Zweitens zeigt sie, dass der Anstieg selbst eine Veränderung in einer gemeinsamen Verteilung ist, nicht in einer einzigen Punktzahl. Eine 10%-Verbesserung der sprachlichen Beherrschung übersetzt sich nicht linear in 10% mehr geöffnete E-Mails; sie übersetzt sich durch die Detektionsrate und den Anfälligkeitsknoten, und die Übersetzung ist in einem verteidigten Unternehmen anders als in einem unverteidigten Kleinbetrieb.

Das ist der Unterschied zwischen einem Fähigkeits-Benchmark und einer präzise formulierten Risikogrenze. Ein Benchmark sagt, das Modell wurde in einer Aufgabe besser. Eine BN sagt, wie sehr diese Verbesserung den Schadens-Posterior unter den Bedingungen verschoben hat, in denen Sie tatsächlich deployen. Ersteres ist notwendig; letzteres ist, was eine Grenze verlangt. Der Beitrag des Whitepapers ist zu zeigen, dass letzteres konstruierbar ist, nicht nur wünschenswert — und ehrlich zu zeigen, dass die Arbeit, es im Maßstab zu bevölkern, kaum begonnen hat.

Was das bei Everythink abbildet

Wir lesen dieses Whitepaper durch eine spezifische Linse, und es lohnt sich, explizit zu sein, damit der Leser unser Argument prüfen kann, statt es auf Glauben zu akzeptieren.

[PERSONAL EXPERIENCE] Der HAI Engine läuft seit 2016 in Produktion, und die Lektion aus neun Jahren Betrieb eines Multiagenten-Forecasting-Systems ist: eine Vorhersage, die Sie nicht aktualisieren können, ist eine Vorhersage, die Sie nicht veröffentlichen sollten. Unsere Sisters produzieren Szenarioentwürfe; der Oracle verschmilzt sie zu einem kalibrierten Ensemble, dessen Wahrscheinlichkeiten sich zu eins summieren und dessen Entropie in Nats verfolgt wird. Dieses Ensemble ist ein Messinstrument, keine Vorhersage im umgangssprachlichen Sinn: reproduzierbar aus seinen Eingaben, aktualisiert, wenn Evidenz anwächst, falsch auf nachvollziehbare Weise, wenn es falsch ist. Der Berkeley-BN-Vorschlag hat dieselbe Form, angewandt auf eine andere Domäne — Schadensvariablen statt Szenariowahrscheinlichkeiten, Red-Team-Evidenz statt Signal-Feeds —, aber dieselbe Beharrlichkeit darauf, dass die Zahl nur vertrauenswürdig ist, wenn der Mechanismus, der sie erzeugt hat, inspizierbar ist.

Das strukturelle Prinzip, das wir teilen, ist das, was wir „the space is the router" nennen: die Network→Community→Room-Topologie routet eine Anfrage, bevor irgendetwas antwortet. Das Routing ist ein Mechanismus, der ein messbares Ergebnis erzeugt — welcher Kontext welches Signal sah —, und das ist es, was die nachgelagerte Vorhersage auditierbar macht. Eine Grenze ohne Routing-Topologie ist eine Zahl, die an ein Modell gehängt ist; eine Grenze innerhalb einer Routing-Topologie ist eine Zahl, die an einen Pfad durch ein System gehängt ist, und das ist der einzige Ort, an dem Schaden tatsächlich existiert. Schaden ist kontextuell, und Kontext ist eine Topologie.

Unsere Ehrlichkeits-Tags existieren aus demselben Grund, aus dem das Whitepaper auf Evidenz statt auf Behauptung besteht. Wo wir einen Produktionsmechanismus haben, sagen wir Production ✅ — der HAI Engine, Social, Campaigns, Whitelabel Network, World Monitor, die Sisters, der Oracle. Wo der Mechanismus partiell ist, sagen wir Partial ⚠️ — Matchmaking, Marketplace, Calendar. Wo es eine Roadmap ist, sagen wir Roadmap 🔵 — Wallet & Token, Super App, Community Credit — und wir versprechen für diese keine Ergebnisse, weil sie Pre-Revenue sind und, für die Token-Komponenten, dem Howey-Review unterliegen. Es geht nicht um das Glyph; es geht darum, dass ein Leser jeden Anspruch auf einen Reifegrad mappen und uns daran festhalten kann. Das ist dieselbe Disziplin, die das Whitepaper von den Frontier-Laboren fordert: aufhören, Grenzen zu behaupten, anfangen, die Messungen zu erzeugen, die sie rechtfertigen würden.

Wir sind explizit über die Scope-Grenze, weil das Whitepaper es auch ist. Everythink operiert nur in zivilen und defensiven Kontexten. Ein Risikogrenzen-Mechanismus, der ehrlich über offensive Fähigkeit ist, ist noch keine Lizenz, offensive Werkzeuge zu bauen; er ist ein Grund zu wissen, wo die Verteidigungslinie ist, und sie zu instrumentieren. Das Berkeley-Framework ist für uns genau deshalb nützlich, weil es die Verteidigungshaltung messbar statt rhetorisch macht.

Die Governance-Lücke, die das Whitepaper ehrlich benennt

Die nützlichste Sektion des Whitepapers mag seine eigene „What's Missing"-Liste sein, weil sie der Teil ist, der verhindert, dass der Vorschlag zu einer weiteren Fähigkeitsbehauptung wird. Dem Framework fehlen validierte Bayessche Modelle im Realwelt-Maßstab, standardisierte Datensätze zum Bevölkern der Wahrscheinlichkeiten, klare Guidance zur Governance-Integration und empirische Benchmarks, die Modellfähigkeit mit realem Cyber-Impakt verknüpfen. Komplexere Domänen — autonome Ausbeutung, Lieferkettenangriffe — sind nicht tief operationalisiert.

Wir würden eine Lücke hinzufügen, die das Whitepaper andeutet, aber nicht ausführt: ein Grenzwert-Mechanismus ist nur so vertrauenswürdig wie die Unabhängigkeit der Evidenz, die ihn speist. Ein Labor, das sein eigenes BN mit eigenen Red-Team-Ergebnissen bevölkert, gegen eigene Basislinien, ohne externe Prüfung, hat ein Instrument gebaut, das meldet, was das Labor braucht, dass es meldet. Die Bitte um standardisierte Datensätze ist teils die Bitte um Evidenz, die nicht ganz von der gemessenen Partei stammt. Das ist die Governance-Frage, die das Framework offen lässt, und es ist die richtige, um offen zu lassen — die Antwort ist institutionell, nicht technisch.

Die pragmatische Konsequenz ist, dass ein Grenzwert-Mechanismus, mit dem sich governieren lässt, einer ist, den ein Dritter reproduzieren kann: veröffentlichter Graph, benannte Evidenz, erklärte A-priori, rekombinierbarer Posterior. Eine BN, die diese Bedingungen erfüllt, ist so auditierbar, wie ein Regulator sie tatsächlich nutzen kann; eine, die es nicht tut, ist ein proprietärer Anspruch im Messgewand.

Kernergebnisse

• Ein Fähigkeits-Grenzwert ist keine Risikogrenze; er ist eine Momentaufnahme über ein Modell, die den Kontext ignoriert, in dem Schaden existiert.
• Das Berkeley-Whitepaper stellt die Frage von „überschreitet dieses Modell eine Linie?" um zu „wie wahrscheinlich ist es, unter realen Bedingungen Schaden zu verursachen?" — ein Wechsel von einem statischen Meilenstein zu einer aufrechterhaltenen Messung.
• Bayessche Netze sind der vorgeschlagene Messmechanismus: Risiko in Variablen zerlegen, durch bedingte Wahrscheinlichkeiten verknüpfen, mit Benchmark- und Red-Team- und Realwelt-Evidenz füttern und kontinuierlich aktualisieren.
• Die Phishing-Fallstudie zeigt, dass vage Begriffe wie „bedeutsamer Anstieg" in Knoten mit Einheiten zerlegt werden können — aber die Arbeit, diese Modelle im Maßstab zu bevölkern, hat kaum begonnen, und das Whitepaper sagt das.
• Theorem 3 verallgemeinert das Prinzip: eine Eigenschaft (annehmbares Risiko) ist genau dann garantiert, wenn ihr Mechanismus (ein kontinuierlich aktualisierter, inspizierbarer Posterior) implementiert ist und misst.
• Ein Grenzwert-Mechanismus ist nur governierbar, wenn ein Dritter ihn reproduzieren kann — veröffentlichter Graph, benannte Evidenz, erklärte A-priori, rekombinierbarer Posterior.

Häufig gestellte Fragen

Warum ist ein Fähigkeits-Benchmark keine Risikogrenze? Ein Benchmark misst, was ein Modell in einem Test kann; Risiko ist, was passiert, wenn diese Fähigkeit auf einen Verteidiger, einen Angreifer und ein Ziel in der Realwelt trifft. Der Benchmark ist ein Input für eine Risikoabschätzung; er ist nicht die Abschätzung. Der Punkt des Whitepapers ist, dass die Randverteilung als gemeinsame zu behandeln der Kernfehler der Grenzwerte der Frontier-Frameworks ist.

Was fügt ein Bayessches Netz hinzu, das eine Checkliste nicht hat? Eine Checkliste erfasst, dass eine Kontrolle existiert; eine BN erfasst, wie sehr die Kontrolle den Schadens-Posterior verschoben hat. Erstere ist binär und statisch; letztere ist kontinuierlich und aktualisierbar. Eine BN macht auch die Abhängigkeiten explizit — der Angriffserfolg hängt gemeinsam von Fähigkeit und Verteidigung ab —, was eine Checkliste nicht darstellen kann, ohne die BN in Prosaform zu werden.

Ist das Berkeley-Framework heute schon zur Governance bereit? Nein, und das Whitepaper sagt das direkt. Es fehlen validierte Modelle im Maßstab, standardisierte Datensätze und eine klare Governance-Integration. Es ist eine Methodik — eine wiederholbare Art, Risiko zu operationalisieren —, kein fertiges Instrument. Es als fertig zu behandeln, würde den Fehler wiederholen, den es kritisiert: eine Eigenschaft behaupten statt sie messen.

Wie hängt das mit Theorem 3 zusammen? Theorem 3 sagt, eine Eigenschaft ist genau dann garantiert, wenn ihr Mechanismus implementiert ist und misst. „Annehmbares Cyberrisiko" ist eine Eigenschaft eines Deployments, nicht eines Modells. Die Garantie existiert nur, wenn eine BN (oder ein äquivalentes Instrument) läuft, gespeist und inspizierbar ist. Einen Grenzwert zu deklarieren, implementiert keinen Mechanismus und garantiert daher nichts.

Wofür nutzt Everythink das? Wir nutzen dasselbe strukturelle Prinzip — ein reproduzierbarer, aktualisierbarer Posterior aus einem inspizierbaren Mechanismus — im HAI Engine und im Oracle, für Forecasting statt für Cyberrisiko-Grenzwerte. Die Routing-Topologie (Network→Community→Room) ist es, die unsere Vorhersagen kontextuell und auditierbar macht. Wir bauen keine offensiven Werkzeuge; der Wert einer messbaren Verteidigungslinie ist zu wissen, wo sie ist.

Wenn dieses Framing nützlich ist, ist die folgende Arbeit operativ: wählen Sie ein Risiko, zerlegen Sie es, verknüpfen Sie die Variablen, benennen Sie die Evidenz und beginnen Sie zu aktualisieren. Erstellen Sie Ihr Netzwerk, oder lesen Sie die Papers.

Sources

• 2026 — UC Berkeley Center for Long-Term Cybersecurity, „Toward Risk Thresholds for AI-Enabled Cyber Threats" (Whitepaper, Januar 2026; Zusammenfassung veröffentlicht von AIGL, März 2026) — https://www.aigl.blog/toward-risk-thresholds-for-ai-enabled-cyber-threats-2/