Über Euler, unendliche Reihen, die Frage nach der tatsächlichen Entwicklung der KI und warum der gewünschte Beweis durch einen Satz aus dem Jahr 1953 blockiert werden könnte. (Verwandter Artikel zu) Gödel auf der Couch – Sind ethische Rahmenbedingungen grundsätzlich fehlerhaft und könnte das eine gute Sache sein?. Gödel zeigte indirekt, dass ethische Rahmen für KI nicht vollständig sein können. Dieser Aufsatz argumentiert, dass Sicherheitsbeweise für selbstmodifizierende KI nicht allgemein gültig sind. Zwei Grenzwertsätze, ein Ausrichtungsproblem.
I. Was Euler über den langfristigen Erfolg wusste
Leonhard Euler widmete einen bedeutenden Teil seines Arbeitslebens einer trügerisch einfachen Frage: Wenn man unendlich viele Zahlen addiert, pendelt sich die Summe dann auf einen endlichen Wert ein oder strebt sie gegen Unendlich?
Es klingt nach etwas, worüber sich ein Mathematiker mit zu viel Freizeit Gedanken machen könnte. Ist es aber nicht. Die Konvergenzfrage gehört zu den grundlegendsten Fragen der Mathematik, und Eulers Beiträge dazu haben unser heutiges Verständnis von Grenzwerten, Unendlichkeit und dem Langzeitverhalten additiver Prozesse maßgeblich geprägt.
Die Lektion, die er immer wieder betonte, war, dass man das aus den ersten Semestern nicht ableiten kann.
Schaut euch diese beiden Serien an:
1 + 1/2 + 1/3 + 1/4 + 1/5 + \cdots 1 + 1/4 + 1/9 + 1/16 + 1/25 + \cdotsDas erste ist das harmonisch Diese Reihe divergiert – sie wächst unbegrenzt. Die zweite Reihe ist diejenige, die Euler bekanntermaßen bei der Lösung des Problems zusammenfasste. Basel-Problem Es konvergiert gegen π²/6.
Vergleicht man die ersten zwölf Glieder jeder Reihe, so sind sie nahezu identisch. Die harmonische Reihe und die Baseler Reihe trennen sich erst weit im Grenzfall, weit jenseits dessen, wo eine genaue Betrachtung ihren Verlauf noch erkennen lässt. Um zu wissen, welche Reihe man betrachtet, benötigt man einen Beweis – keine Intuition, kein Muster und keine Extrapolation der ersten Glieder.
Dies ist für KI wichtig, weil In einem Punkt sind sich alle Lager in der aktuellen Debatte einig: Wir befinden uns in der Frühphase der KI-Revolution. Die Schwarzmaler sagen es. Die Befürworter einer beschleunigten Entwicklung sagen es. Die Skeptiker, die auf einem Plateau beharren, sagen es. Was sie alle mit “Frühphase” meinen, ist dasselbe: Wir haben erst die ersten paar Amtszeiten gesehen. Und genau in dieser Situation, so Euler, sollten unsere Überzeugungen bezüglich des Grenzwerts am geringsten sein.
Wenn die ersten zwölf Begriffe von \sum 1/n Und \sum 1/n^2 Wenn die ersten zwölf Jahre der KI-Entwicklung visuell nicht zu unterscheiden sind, kann uns dieselbe Logik nicht sagen, ob wir auf ein begrenztes Plateau, einen unbegrenzten, aber langsamen Anstieg oder einen Phasenübergang zu einer schnelleren Entwicklung zusteuern. Wer etwas anderes behauptet – egal in welche Richtung –, macht das, was Mathematiker vor Euler mit Reihen taten: Mustererkennung bei frühen Einträgen und dies als Inferenz bezeichnen. Diese Fokussierung auf die frühen Entwicklungsstadien ist ein Eingeständnis geringer Information, selbst wenn sie so verwendet wird, als zeuge sie von großer Sicherheit.
Dies ist also die Frage, die ich stellen möchte, wobei wir unsere Überzeugungen angemessen niedrig halten: In welcher Serie befinden wir uns wahrscheinlich?
II. Der Katalog
Mehrere berühmte Zahlenreihen, von denen jede eine klare mathematische Signatur aufweist, bieten sich als Kandidatenmodelle für den technologischen Fortschritt an.
Geometrische Reihen, \sum a^n. Konvergiert, wenn |a|<1, divergiert, wenn |a|\geq 1. Das Modell für Zinseszinsprozesse. Das Mooresche Gesetz ist in seiner klassischen Form geometrisch auf der Ressourcenseite: Eine Verdopplung alle 18 bis 24 Monate bedeutet, dass jeder Zeitraum doppelt so groß ist wie der vorherige.
Harmonische Reihe, \sum 1/n. Die Anzahl der Terme nimmt zwar ab, aber unerträglich langsam – ähnlich wie beim natürlichen Logarithmus. Addiert man eine Million Terme, kommt man auf etwa 14. Es gibt keine Obergrenze, aber jede neue Einheit kostet exponentiell mehr als die vorherige.
Basel-Serie, \sum 1/n^2. Eulers schönes Ergebnis: Die Summe ist endlich, π²/6. Das Modell für Technologien, die tatsächlich ihren Höhepunkt erreichen. Die Reisegeschwindigkeit von Flugzeugen hat sich seit den 1960er Jahren kaum verändert. Die Taktraten von Einkernprozessoren stagnierten um 2005. Jede Generation trägt weniger bei als die vorherige, und das Gesamtergebnis ist begrenzt.
Grandis Serie, 1-1+1-1+\cdots Der eulersche Unruhestifter. Divergiert im strengen Sinne, aber Cesàro-summierbar zu \tfrac{1}{2} Im Durchschnitt über viele Perioden verhält es sich, als hätte es einen stabilen Wert. Ein überraschend gutes Modell für Hype-Zyklen. KI-Winter und KI-Sommer, über Jahrzehnte gemittelt, liefern uns etwas, das der Realität einigermaßen gerecht wird.
Jedes dieser Beispiele stellt eine plausible Analogie für einen Aspekt des technologischen Fortschritts dar. Die Frage ist, welches davon auf KI zutrifft.
III. Wo die KI wahrscheinlich angesiedelt ist
Wir wissen es noch nicht, und die Frage ist teils empirischer, teils definitorischer Natur. Doch die derzeit besten Erkenntnisse deuten darauf hin, dass wir uns im Bereich der Harmonischen befinden – oder genauer gesagt, in einem Bereich mit harmonischer Form.
Die empirischen Skalierungsgesetze großer Sprachmodelle – die Ergebnisse von Kaplan und Hoffmann und ihre Nachfolger – sind Potenzgesetze mit kleinen Exponenten.
Der Verlust sinkt mit zunehmender Rechenleistung, aber jede Verdopplung der Rechenleistung bringt einen festen Preis ein. Zusatzstoff Verbesserung, nicht feststehend multiplikativ Ein aufmerksamer Beobachter wird feststellen, dass dies streng genommen nicht der Fall ist., \sum 1/n; es ist L \propto C^{-\alpha}, Im Extremfall ist das eine ganz andere Sache. Stimmt. Aber qualitativ stimmen die beiden Geschichten in dem entscheidenden Punkt überein: langsamer Aufstieg, keine Obergrenze, exponentiell steigende Kosten pro erzielter Verbesserung.
Diese These ist diejenige, die ich nennen werde langsame Divergenz. Es gibt keine feste Obergrenze, aber jeder Fortschritt kostet exponentiell mehr Ressourcen. Der Fortschritt setzt sich fort, solange jemand bereit ist zu zahlen, und die Obergrenze wird eher durch ökonomische als durch physikalische Gesetze bestimmt.
Diese These wird von zwei konkurrierenden Thesen umrahmt.
Sättigung ist die Behauptung im Basel-Stil: Leistungsfähigkeit ist ein \sum 1/n^2 Wir nähern uns der endlichen Summe dieser Reihe. Transformatoren und Skalierung haben den Großteil des verfügbaren Signals aus dem Korpus menschlicher Texte extrahiert. Die nächste Architektur wird dasselbe tun und zu einem erkennbaren Ergebnis führen. Die Luftfahrt beendete ihre Geschwindigkeitsära 1965; die KI könnte ihre Leistungsära jetzt, plus/minus ein Jahrzehnt, beenden.
Geometrische Divergenz ist die foom-förmige Behauptung: Ab einer bestimmten Schwelle trägt KI so viel zu ihrer eigenen Forschung und Entwicklung bei, dass die Die Begriffe selbst wachsen. Die Summe beträgt nicht mehr \sum 1/n Aber \sum r^n mit r>1. Dies ist das Szenario der rekursiven Selbstverbesserung.
Langsame Divergenz ist die empirisch beste Anpassung. Sättigung ist der optimistische Ausweg. Geometrische Divergenz ist die offene Frage des Phasenübergangs – ob sich ab einer bestimmten Rekursionsschwelle der Reihentyp selbst ändert.
IV. Das Beobachterproblem
Es gibt eine Komplikation, die die Mathematik nicht erfasst: Der Beobachter ist kein neutrales Instrument.
Die menschliche Kognition scheint Fähigkeitssprünge logarithmisch zu komprimieren. Jeder größere Fortschritt in der KI-Fähigkeit fühlt sich weniger einschneidend an als der vorherige, selbst wenn die zugrundeliegende Verbesserung absolut gesehen größer ist. Mit einem System zu sprechen, das plausiblerweise intelligenter ist als man selbst, fühlt sich weniger revolutionär an als die Kommunikation mit GPT-3.5 vor drei Jahren – nicht weil weniger passiert, sondern weil das Gehirn seine Vorstellung von dem, was möglich ist, aktualisiert hat.
Diese Dämpfung ist teilweise adaptiv. Sie ist das kognitive Analogon des Weber-Fechner-Gesetzes für die Sinneswahrnehmung: gleich Verhältnisse sich gleichberechtigt fühlen Schritte, Deshalb messen wir Schall in Dezibel. Ein Nervensystem, das auf jeden Leistungssprung völlig überrascht reagiert, wäre nicht funktionsfähig. Die Kompression erhält den einzelnen Menschen in einer Welt, in der die Leistungskurve immer steiler wird, am Leben.
Doch es erzeugt eine Spannung. Derselbe Mechanismus, der kognitive Überlastung verhindert, verhindert auch die kollektive Erkenntnis, in welcher Phase wir uns tatsächlich befinden. Gleichbleibende Geschwindigkeit fühlt sich wie Stillstand an. Beschleunigende Geschwindigkeit fühlt sich wie die neue Normalität an. Wenn der zugrunde liegende Prozess geometrisch und die Wahrnehmungstransformation logarithmisch ist, ergibt sich daraus eine wahrgenommene Erfahrung von linear Fortschritt zusätzlich zu einem tatsächlichen exponentiell Trajektorie. Die Dämpfung schützt das Nervensystem und behindert gleichzeitig die Epistemik.
Das bedeutet: Das subjektive Empfinden “Es ist nicht so anders als letztes Jahr” kann nicht als Indiz für eine langfristige Entwicklung herangezogen werden. Dafür sind mathematische Berechnungen notwendig, da die subjektive Wahrnehmung strukturell unzuverlässig ist.
V. Wenn die Physik einen Puffer gegen das x-Risiko bereitstellen kann
Eine zweite Komplikation verläuft in die andere Richtung, und das ist der Grund, warum dieses Stück nicht zu einer der beiden Seiten des Unheilszauns tendiert.
Eric Drexler prägte 1986 den Begriff “grauer Schleim”, um selbstreplizierende Nanomaschinen zu beschreiben, die die Biosphäre nach Rohstoffen zerlegen. Dieses Szenario etablierte sich in der Literatur über den Untergang der Künstlichen Intelligenz als kanonischer Todesmechanismus: Eine fehlgeleitete Superintelligenz erfindet Nanotechnologie, setzt selbstreplizierende Systeme frei, und die Biosphäre wird innerhalb von Minuten umgewandelt. Drexler selbst relativierte dieses Szenario zwei Jahrzehnte später deutlich. Selbstreplizierende Systeme in der freien Natur sind schwieriger zu bauen als die kontrollierten industriellen Varianten und haben keinen wirtschaftlichen Nutzen. Die Bedrohung hält sich hartnäckig im Diskurs, weil sie so anschaulich ist, nicht weil Nanotechnologieforscher sie für wahrscheinlich halten.
Ein Nanobot-Schwarm, der sich über einen Kontinent hinweg in Millisekunden-Synchronisation bewegt, erreicht Lichtgeschwindigkeit, lange bevor er auf technische Herausforderungen stößt. Die Koordination großer, verteilter Schwärme erfordert elektromagnetische Kommunikation, die strengen Beschränkungen unterliegt: Latenz, Bandbreite, Signal-Rausch-Verhältnis, Störanfälligkeit und Dämpfung. Lokale Cluster können sich schnell koordinieren. Globale Schwärme nicht. Faradaysche Käfige sind real. Störungen sind real.
Dies widerlegt die am schnellsten Es gibt verschiedene Arten von Untergangsszenarien. Das Szenario, in dem die Biosphäre innerhalb von Minuten zusammenbricht, erfordert etwas, das an Magie grenzt – physikalische Verstöße, verpackt in Fachsprache. Entfernt man diese Magie, dehnt sich der Zeitrahmen von Minuten auf Wochen oder Monate aus, wodurch das Szenario in ein Zeitfenster fällt, in dem Institutionen prinzipiell reagieren können.
Soweit so gut. Allerdings ist bekannt, dass die Argumentation zu weit geht.
Ein gängiger Ansatzpunkt ist die Schachanalogie: Ein Anfänger kann nicht vorhersagen Wie Stockfisch kann sie nur dann schlagen, wenn er sie tatsächlich schlägt. Das wird von Schwarzmalern oft als Ausrede benutzt, um Gegenargumente zu umgehen. Sie wissen, dass Stockfisch nicht durch ein Schachgebot hindurchkommt, aber wenn sie damit konfrontiert werden, weichen sie schnell aus: Wenn man versucht, alles haben zu können, was man will, sucht man sich einfach einen anderen Spieler. Selbst ein beliebig starker Spieler ist an die Spielregeln gebunden. Dasselbe, so das Argument, gilt für ASI: durch die Physik beschränkt, keine übernatürlichen Manöver möglich.
Die Analogie ist treffender, als sie sein sollte. Schach ist ein geschlossenes, formales System, von Menschen entwickelt; die Regeln sind festgelegt und vollständig. Die Physik hingegen ist ein Modell eines offenen Systems, und unser Modell ist bekanntermaßen unvollständig. Die relevante historische Referenzklasse sind nicht “Dinge, die gegen die Gesetze der Physik verstoßen”, sondern “Dinge, die mit der Physik vereinbar sind und die die Menschheit noch nicht entdeckt hatte”. Atomwaffen gehörten im Jahr 1900 zu dieser Kategorie. Radio gehörte bereits im Jahr 1800 dazu. Diese Kategorie ist nicht leer und umfasste historisch gesehen zivilisationsverändernde Fähigkeiten.
Das Schachargument widerlegt sich subtil selbst. Der Anfänger Verliert immer noch jedes Spiel. Zu wissen, dass der Großmeister an die Regeln gebunden ist, hilft dem Anfänger nicht beim Aufbau einer Verteidigung – es bestätigt lediglich, dass die Niederlage regelkonform ist. Die Tatsache, dass die Physik eine Einschränkung darstellt, bedeutet nicht, dass diese Einschränkung streng genug ist, um den Anfänger zu schützen.
Was also übrig bleibt, ist eine zwar reale, aber begrenzte Resilienz. Viele spezifische Untergangsszenarien in der Literatur beinhalten Verstöße gegen oder Beinahe-Verletzungen physikalischer Gesetze. Verschärft man die physikalischen Gesetze, dehnen sich die Zeiträume so weit aus, dass menschliches Eingreifen möglich wird. Bostroms Hypothese der verwundbaren Welt verliert an Gültigkeit gegenüber Bedrohungen der Grauzone. Sie verliert jedoch nicht an Gültigkeit gegenüber Bedrohungen, die nicht von der Geschwindigkeit abhängen: schleichender Kontrollverlust über kritische Infrastrukturen, künstlich herbeigeführte Pandemien mit langer Inkubationszeit, wirtschaftliche und epistemische Vereinnahmung durch KI-gestützte Akteure. Keine dieser Bedrohungen verstößt gegen physikalische Gesetze. Keine dieser Bedrohungen wird durch das Argument der Latenz widerlegt.
Die tatsächliche Risikofläche hat demnach eine spezifische Form: nicht “Dinge, die physikalische Gesetze ausnutzen”, sondern “Dinge, die die institutionelle Reaktionszeit ausnutzen”. Im Hinblick auf die erste Kategorie ist die Physik ein wichtiger Verbündeter. Zu der zweiten Kategorie schweigt sie.
VI. Die Rekursionsschwelle
Damit kommen wir zurück zur Serienfrage.
Die Grenze zwischen langsamer und geometrischer Divergenz – zwischen \sum 1/n Und \sum r^n mit r>1 – Dies ist genau die Rekursionsschwelle. Sie markiert den Punkt, an dem ein System einen sinnvollen Beitrag zur Gestaltung seines Nachfolgers leistet. Unterhalb dieser Schwelle ist der Fortschritt durch das begrenzt, was Menschen mithilfe von KI als Werkzeug entwickeln können. Oberhalb dieser Schwelle wachsen die Glieder der Kette selbst, da jede Generation die nächste hervorbringt.
Der Wandel ist qualitativer, nicht nur quantitativer Natur. Ein nicht-rekursiver Prozess lässt sich durch eine Reihe beschreiben – eine feste Funktion von n. Ein rekursiver Prozess ist ein anderes mathematisches Objekt: eine Rekursionsgleichung., x_{n+1} = f(x_n), Rekursionsgleichungen, bei denen jeder Term vom vorherigen abhängt, ermöglichen Dinge, die einfache Reihen nicht leisten können. Sie können über wohlverstandene Wege von stabil zu chaotisch übergehen. Sie können die Sensitivität gegenüber Anfangsbedingungen festschreiben. Sie können im technischen Sinne deterministisch, aber unvorhersagbar werden.
Die Frage, ob ASI sicher ist, lässt sich somit in zwei Teilfragen aufteilen, die unterschiedliche Aspekte aufweisen.
Bei nicht-rekursiven Systemen – KI als leistungsstarkes Werkzeug, nicht als selbstmodifizierender Agent – ist die Sicherheitsfrage eine Frage der Entwicklung. Wir können Verifizierung, Überwachung und Kontrolle implementieren. Das Systemverhalten hängt von seinen Eingaben ab, und wir können die Eingaben beschränken und die Ausgaben prüfen. Schwierig, aber machbar.
Bei rekursiven Systemen stellt sich die Sicherheitsfrage anders dar. Und hier stoßen wir auf Rice.
VII. Die Bewährungsprobe
Das Sprichwort Der Beweis liegt im Geschmack. Das ist eine volkswissenschaftliche Erkenntnistheorie: Der wahre Wert von etwas lässt sich nur durch Erfahrung beurteilen. Man kann ein Rezept noch so sehr theoretisieren; der einzig ehrliche Test ist, ob das Gericht schmeckt.
Dieses Sprichwort wurde in der Debatte um die politische Ausrichtung zu einer Strategie erhoben. Die populärste optimistische Position ist eine Variante davon: Wir benötigen keinen vorherigen Beweis für die Sicherheit von ASI. Selbst wenn Menschen ASI nicht ausrichten können, werden wir ASI zur Ausrichtung von ASI verwenden. Die Praxis wird es beweisen. Varianten dieses Arguments finden sich sowohl in seriösen Fachtexten als auch in leichtfertigen Äußerungen und weisen eine gemeinsame Struktur auf: Sie ersetzen die Frage der Beweisbarkeit durch das Vertrauen in zukünftige Erfahrungen. Selbst in der kühnen Aussage eines Nobelpreisträgers, der oft eines seiner Mantras aus der Kindheit zitiert, ist es verborgen: Erst die Intelligenz entschlüsseln, dann alles andere.
Henry Gordon Rice bewies 1953 einen Satz, der sehr präzise besagt, dass dies keine Strategie ist. Es ist ein Wunsch.
Der Satz von Rice besagt: Jede nicht-triviale semantische Eigenschaft beliebiger Programme ist unentscheidbar. Es gibt keinen allgemeinen Algorithmus, der ein beliebiges Programm als Eingabe nimmt und zuverlässig Auskunft darüber gibt, ob es eine gegebene nicht-triviale Verhaltenseigenschaft besitzt. “Hält bei allen Eingaben an” ist unentscheidbar. “Berechnet eine vorgegebene Funktion” ist unentscheidbar. “Ist sicher” ist unentscheidbar, unabhängig von der Definition von Sicherheit.
Dies ist keine zufällige technische Grenze. Es ist ein Theorem auf der Ebene der Solidität von Gödels Unvollständigkeitssätzen. Rice lässt sich nicht umgehen. Rice beschreibt die Beschaffenheit des Universums der Berechnung.
Die Konsequenzen für die Frage der ASI-Sicherheit sind beunruhigend.
Wenn wir ein nachweisen Rice behauptet, dass es kein Theorem zur Sicherheit von ASI im strengen, universellen Sinne gibt – also ein Theorem, das für jedes beliebige selbstmodifizierende KI-System die Sicherheit (SAFE) garantiert. Selbstmodifizierende Systeme erzeugen beliebige Programme als Nachfolger, und genau das schließt Rice aus: die Vorhersage der Sicherheitseigenschaften solcher Programme.
An dieser Stelle gibt es eine vorhersehbare Gegenposition der Beschleunigungisten, die eine klare Antwort verdient. Die Gegenposition lautet: Rices Theorem gilt für Menschen mit begrenzten intellektuellen Fähigkeiten wie uns, aber eine ausreichend fortgeschrittene künstliche Intelligenz (ASI) könnte es außer Kraft setzen. Man sollte ASI nutzen, um ASI zu überprüfen. Rices Theorem ist für Menschen wie die Überprüfung von Stockfish – eine unumstößliche Regel, die wir nicht durchbrechen können, ein stärkerer Spieler aber schon.
Dieses Argument ist hinfällig, und zwar aus einem ganz bestimmten Grund. Rice stellt keine Beschränkung des Intellekts dar, sondern eine Beschränkung der Rechenleistung. Dies gilt gleichermaßen für Menschen, für Stockfish, für aktuelle LLMs, für jede denkbare künstliche Intelligenz und für jedes Orakel außer einem buchstäblichen Löser des Halteproblems – was selbst nachweislich unmöglich ist. Rice sagt: Keine Turingmaschine, wie groß oder intelligent sie auch sein mag, kann über die Sicherheit beliebiger Turingmaschinen entscheiden. Die Intelligenz des Prüfers ist nicht die Variable. Die zu prüfende Programmklasse ist die Variable. Man kann den Prüfer beliebig intelligent gestalten; solange er ein Rechensystem bleibt, gilt der Satz weiterhin.
Die Analogie zwischen Stockfish und Scheck kehrt sich hier tatsächlich um. Scheck ist eine Regel. des Schachs , innerhalb eines geschlossenen formalen Systems. Rice ist eine Regel der Berechnung selbst , Das System, in dem Stockfish – und jede ASI – notwendigerweise operiert, ist folgendes: Stockfish kann nicht durch ein Schachgebot ziehen, da dies im Schach verboten ist. Eine ASI kann nicht willkürlich über die Sicherheit eines Programms entscheiden, da dies mathematisch nicht möglich ist. Eine ASI aufzufordern, Rice zu besiegen, ist strukturell gleichbedeutend damit, Stockfish aufzufordern, ein Spiel durch einen Zug durch ein Schachgebot zu gewinnen. Die Einschränkung ist konstitutiv, nicht adversariell.
Eine ehrlichere Version des Gegenvorschlags würde lauten: Ein ASI könnte die Sicherheit für die spezifische Klasse von Nachfolgesystemen, für die es sich interessiert, gewährleisten, selbst wenn es die Sicherheit im allgemeinen Fall nicht gewährleisten kann. Das ist richtig und unbedenklich, denn genau das tun Menschen bereits mit formaler Verifikation – beschränkte Beweise über spezifische Architekturen unter spezifischen Annahmen. Es bietet keine universelle Sicherheit. Es liefert dieselben Teilgarantien, die wir bereits haben, möglicherweise sogar schneller. Der gewünschte Beweis entsteht nicht einfach dadurch, dass der Beweiser intelligenter geworden ist.
Yoshua Bengios jüngste Arbeit über das, was er nennt KI-Wissenschaftler , Das von seiner gemeinnützigen Organisation LawZero entwickelte Konzept wird manchmal als Kandidat für einen solchen Beweis angesehen. Das ist es aber nicht. Bengio stellt ausdrücklich klar, dass sein Vorschlag … Architektur, Nicht theoretisch. Die Annahme ist, dass nicht-agentische Systeme, die ausschließlich auf Weltmodellen basieren – also Systeme, die Wahrscheinlichkeitsvorhersagen statt zielgerichteter Aktionen erzeugen –, das gefährliche Regime umgehen, indem sie Agentie von vornherein vermeiden. Der Sicherheitsnachweis beruht auf der Beseitigung des Fehlermodus, nicht auf dem Beweis seiner Abwesenheit.
Dies ist der einzig mögliche Schritt und zugleich das Beste, was möglich ist. Dieser Erfolg lässt sich in einer Welt mit begrenzten Rechenkapazitäten nicht beweisen. Er kann nur portionsweise beurteilt werden, und die Menschheit wird ihn selbst verkosten.
Was bleibt also übrig, wenn ein universeller Beweis ausgeschlossen ist?
– Beweise über spezifische Architekturen unter spezifischen Annahmen, die sich schlecht auf Systeme der LLM-Komplexität skalieren lassen.
– Wahrscheinlichkeitsgarantien, die das erwartete Verhalten begrenzen, ohne den schlimmsten Fall einzuschränken.
– Ergebnisse der beschränkten Rationalität, die gelten Wenn Die Optimierungsleistung eines Systems ist begrenzt – ein Zirkelschluss für die ASI-Frage, da die Begrenzung selbst der Streitpunkt ist.
– Architektonische Wetten wie Scientist AI, die das Problem eher vermeiden als lösen.
Und aus der Mathematik selbst ergibt sich eine politische Schlussfolgerung: Wenn wir jemals eine echte Selbstrekursion zulassen, betreten wir ein Regime, das nachweislich nicht analysierbar ist, sondern nicht nur schwer zu analysieren. Beschränkte Rekursion durch die Politik ist keine Paranoia. Sie ist das Ergebnis des Rice-Theorems, wenn wir die Entwicklung vorhersagbar halten wollen.
Das ist ein starkes Argument dafür, KI für alles einzusetzen. außer Selbstverbesserung. Das Argument lautet nicht, dass Rekursion riskant sei – obwohl sie es ist –, sondern dass Rekursion die Grenze darstellt, ab der die Mathematik selbst aufhört, uns zu helfen.
VIII. Euler und Reis
Zwei Mathematiker, zwei Jahrhunderte trennen sie.
Euler zeigte, dass die Grenzwertfrage in der reinen Mathematik entscheidbar ist. Mit genügend Aufwand lässt sich beweisen, welche Reihen konvergieren und welche divergieren. Die ersten zwölf Glieder geben darauf keinen Aufschluss, aber der Beweis liefert ihn schließlich.
Rice zeigte, dass dieselbe Frage im Code nicht entscheidbar ist. Es gibt kein allgemeines Verfahren, um die Sicherheit eines beliebigen Programms zu bestimmen. Der von Ihnen gewünschte Beweis existiert laut Theorem nicht.
KI befindet sich zwischen diesen beiden Polen. Ihre Entwicklung lässt sich derzeit am besten als langsam divergierende Reihe modellieren, die eine harmonische Form aufweist, deren Fortschritt kostspielig, deren Wachstum aber prinzipiell unbegrenzt ist. Ob sie in diesem Bereich verbleibt oder in geometrische Divergenz übergeht, hängt davon ab, ob wir die Rekursionsschwelle überschreiten, die mitunter als Singularität bezeichnet wird. Unterhalb dieser Schwelle gilt die Euler-Theorie: schwierig, aber möglich. Oberhalb dieser Schwelle tritt die Rice-Theorie der Unentscheidbarkeit in Kraft.
Der gewünschte Beweis – ein eindeutiger Lehrsatz, der die Unbedenklichkeit des Puddings bestätigt – liegt nicht im Pudding selbst. Die uns vorliegenden mathematischen Grundlagen schließen dies aus. Es bleibt also, die Rekursion zu beschränken, die Architekturen nach Möglichkeit nicht-agentenbasiert zu gestalten, die institutionelle Reaktionszeit kurz zu halten und die Wahrnehmungsdämpfung anhand der tatsächlichen Zahlen und nicht anhand des subjektiven Empfindens zu korrigieren.