{"id":621,"date":"2026-05-10T18:03:35","date_gmt":"2026-05-10T18:03:35","guid":{"rendered":"https:\/\/www.aiui.cloud\/?p=621"},"modified":"2026-05-10T18:19:33","modified_gmt":"2026-05-10T18:19:33","slug":"can-there-be-a-universal-proof-in-the-superalignment-pudding","status":"publish","type":"post","link":"https:\/\/www.aiui.cloud\/de\/2026\/05\/10\/can-there-be-a-universal-proof-in-the-superalignment-pudding\/","title":{"rendered":"Kann es einen universellen Beweis im Superalignment-Pudding geben?"},"content":{"rendered":"Lesezeit: <\/span> 12<\/span> Protokoll<\/span><\/span>\n
\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

\u00dcber Euler, unendliche Reihen, die Frage nach der tats\u00e4chlichen Entwicklung der KI und warum der gew\u00fcnschte Beweis durch einen Satz aus dem Jahr 1953 blockiert werden k\u00f6nnte. (Verwandter Artikel zu) <\/em>G\u00f6del auf der Couch \u2013 Sind ethische Rahmenbedingungen grunds\u00e4tzlich fehlerhaft und k\u00f6nnte das eine gute Sache sein?<\/a>. G\u00f6del zeigte indirekt, dass ethische Rahmen f\u00fcr KI nicht vollst\u00e4ndig sein k\u00f6nnen. Dieser Aufsatz argumentiert, dass Sicherheitsbeweise f\u00fcr selbstmodifizierende KI nicht allgemein g\u00fcltig sind. Zwei Grenzwerts\u00e4tze, ein Ausrichtungsproblem.<\/em><\/p>\n\n\n\n

I. Was Euler \u00fcber den langfristigen Erfolg wusste<\/strong><\/p>\n\n\n\n

Leonhard Euler widmete einen bedeutenden Teil seines Arbeitslebens einer tr\u00fcgerisch einfachen Frage: Wenn man unendlich viele Zahlen addiert, pendelt sich die Summe dann auf einen endlichen Wert ein oder strebt sie gegen Unendlich?<\/p>\n\n\n\n

Es klingt nach etwas, wor\u00fcber sich ein Mathematiker mit zu viel Freizeit Gedanken machen k\u00f6nnte. Ist es aber nicht. Die Konvergenzfrage geh\u00f6rt zu den grundlegendsten Fragen der Mathematik, und Eulers Beitr\u00e4ge dazu haben unser heutiges Verst\u00e4ndnis von Grenzwerten, Unendlichkeit und dem Langzeitverhalten additiver Prozesse ma\u00dfgeblich gepr\u00e4gt.<\/p>\n\n\n\n

Die Lektion, die er immer wieder betonte, war, dass man das aus den ersten Semestern nicht ableiten kann. <\/strong><\/p>\n\n\n\n

Schaut euch diese beiden Serien an:<\/p>\n\n\n1 + 1\/2 + 1\/3 + 1\/4 + 1\/5 + \\cdots<\/span>\n\n\n1 + 1\/4 + 1\/9 + 1\/16 + 1\/25 + \\cdots<\/span>\n\n\n\n

Das erste ist das harmonisch <\/em> Diese Reihe divergiert \u2013 sie w\u00e4chst unbegrenzt. Die zweite Reihe ist diejenige, die Euler bekannterma\u00dfen bei der L\u00f6sung des Problems zusammenfasste. Basel-Problem <\/em>Es konvergiert gegen \u03c0\u00b2\/6<\/span>.<\/p>\n\n\n\n

Vergleicht man die ersten zw\u00f6lf Glieder jeder Reihe, so sind sie nahezu identisch. Die harmonische Reihe und die Baseler Reihe trennen sich erst weit im Grenzfall, weit jenseits dessen, wo eine genaue Betrachtung ihren Verlauf noch erkennen l\u00e4sst. Um zu wissen, welche Reihe man betrachtet, ben\u00f6tigt man einen Beweis \u2013 keine Intuition, kein Muster und keine Extrapolation der ersten Glieder.<\/p>\n\n\n\n

Dies ist f\u00fcr KI wichtig, weil In einem Punkt sind sich alle Lager in der aktuellen Debatte einig: <\/em>Wir befinden uns in der Fr\u00fchphase der KI-Revolution. Die Schwarzmaler sagen es. Die Bef\u00fcrworter einer beschleunigten Entwicklung sagen es. Die Skeptiker, die auf einem Plateau beharren, sagen es. Was sie alle mit \u201cFr\u00fchphase\u201d meinen, ist dasselbe: Wir haben erst die ersten paar Amtszeiten gesehen. <\/em> Und genau in dieser Situation, so Euler, sollten unsere \u00dcberzeugungen bez\u00fcglich des Grenzwerts am geringsten sein.<\/p>\n\n\n\n

Wenn die ersten zw\u00f6lf Begriffe von \\sum 1\/n<\/span> Und \\sum 1\/n^2<\/span> Wenn die ersten zw\u00f6lf Jahre der KI-Entwicklung visuell nicht zu unterscheiden sind, kann uns dieselbe Logik nicht sagen, ob wir auf ein begrenztes Plateau, einen unbegrenzten, aber langsamen Anstieg oder einen Phasen\u00fcbergang zu einer schnelleren Entwicklung zusteuern. Wer etwas anderes behauptet \u2013 egal in welche Richtung \u2013, macht das, was Mathematiker vor Euler mit Reihen taten: Mustererkennung bei fr\u00fchen Eintr\u00e4gen und dies als Inferenz bezeichnen. Diese Fokussierung auf die fr\u00fchen Entwicklungsstadien ist ein Eingest\u00e4ndnis geringer Information, selbst wenn sie so verwendet wird, als zeuge sie von gro\u00dfer Sicherheit.<\/p>\n\n\n\n

Dies ist also die Frage, die ich stellen m\u00f6chte, wobei wir unsere \u00dcberzeugungen angemessen niedrig halten: In welcher Serie befinden wir uns wahrscheinlich?<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

II. Der Katalog<\/strong><\/p>\n\n\n\n

Mehrere ber\u00fchmte Zahlenreihen, von denen jede eine klare mathematische Signatur aufweist, bieten sich als Kandidatenmodelle f\u00fcr den technologischen Fortschritt an.<\/p>\n\n\n\n

Geometrische Reihen, \\sum a^n<\/span>.<\/strong> Konvergiert, wenn |a|<1<\/span>, divergiert, wenn |a|\\geq 1<\/span>. Das Modell f\u00fcr Zinseszinsprozesse. Das Mooresche Gesetz ist in seiner klassischen Form geometrisch auf der Ressourcenseite: Eine Verdopplung alle 18 bis 24 Monate bedeutet, dass jeder Zeitraum doppelt so gro\u00df ist wie der vorherige.<\/p>\n\n\n\n

Harmonische Reihe, \\sum 1\/n<\/span>.<\/strong> Die Anzahl der Terme nimmt zwar ab, aber unertr\u00e4glich langsam \u2013 \u00e4hnlich wie beim nat\u00fcrlichen Logarithmus. Addiert man eine Million Terme, kommt man auf etwa 14. Es gibt keine Obergrenze, aber jede neue Einheit kostet exponentiell mehr als die vorherige.<\/p>\n\n\n\n

Basel-Serie, \\sum 1\/n^2<\/span>.<\/strong> Eulers sch\u00f6nes Ergebnis: Die Summe ist endlich, \u03c0\u00b2\/6<\/span>. Das Modell f\u00fcr Technologien, die tats\u00e4chlich ihren H\u00f6hepunkt erreichen. Die Reisegeschwindigkeit von Flugzeugen hat sich seit den 1960er Jahren kaum ver\u00e4ndert. Die Taktraten von Einkernprozessoren stagnierten um 2005. Jede Generation tr\u00e4gt weniger bei als die vorherige, und das Gesamtergebnis ist begrenzt.<\/p>\n\n\n\n

Grandis Serie, 1-1+1-1+\\cdots<\/span><\/strong> Der eulersche Unruhestifter. Divergiert im strengen Sinne, aber Ces\u00e0ro-summierbar zu \\tfrac{1}{2}<\/span> Im Durchschnitt \u00fcber viele Perioden verh\u00e4lt es sich, als h\u00e4tte es einen stabilen Wert. Ein \u00fcberraschend gutes Modell f\u00fcr Hype-Zyklen. KI-Winter und KI-Sommer, \u00fcber Jahrzehnte gemittelt, liefern uns etwas, das der Realit\u00e4t einigerma\u00dfen gerecht wird.<\/p>\n\n\n\n

Jedes dieser Beispiele stellt eine plausible Analogie f\u00fcr einen Aspekt des technologischen Fortschritts dar. Die Frage ist, welches davon auf KI zutrifft.<\/p>\n\n\n\n

III. Wo die KI wahrscheinlich angesiedelt ist<\/strong><\/p>\n\n\n\n

Wir wissen es noch nicht, und die Frage ist teils empirischer, teils definitorischer Natur. Doch die derzeit besten Erkenntnisse deuten darauf hin, dass wir uns im Bereich der Harmonischen befinden \u2013 oder genauer gesagt, in einem Bereich mit harmonischer Form.<\/p>\n\n\n\n

Die empirischen Skalierungsgesetze gro\u00dfer Sprachmodelle \u2013 die Ergebnisse von Kaplan und Hoffmann und ihre Nachfolger \u2013 sind Potenzgesetze mit kleinen Exponenten.<\/p>\n\n\n\n

Der Verlust sinkt mit zunehmender Rechenleistung, aber jede Verdopplung der Rechenleistung bringt einen festen Preis ein. Zusatzstoff <\/em> Verbesserung, nicht feststehend multiplikativ <\/em> Ein aufmerksamer Beobachter wird feststellen, dass dies streng genommen nicht der Fall ist., \\sum 1\/n<\/span>; es ist L \\propto C^{-\\alpha}<\/span>, Im Extremfall ist das eine ganz andere Sache. Stimmt. Aber qualitativ stimmen die beiden Geschichten in dem entscheidenden Punkt \u00fcberein: langsamer Aufstieg, keine Obergrenze, exponentiell steigende Kosten pro erzielter Verbesserung.<\/p>\n\n\n\n

Diese These ist diejenige, die ich nennen werde langsame Divergenz<\/strong>. Es gibt keine feste Obergrenze, aber jeder Fortschritt kostet exponentiell mehr Ressourcen. Der Fortschritt setzt sich fort, solange jemand bereit ist zu zahlen, und die Obergrenze wird eher durch \u00f6konomische als durch physikalische Gesetze bestimmt.<\/p>\n\n\n\n

Diese These wird von zwei konkurrierenden Thesen umrahmt.<\/p>\n\n\n\n

S\u00e4ttigung<\/strong> ist die Behauptung im Basel-Stil: Leistungsf\u00e4higkeit ist ein \\sum 1\/n^2<\/span> Wir n\u00e4hern uns der endlichen Summe dieser Reihe. Transformatoren und Skalierung haben den Gro\u00dfteil des verf\u00fcgbaren Signals aus dem Korpus menschlicher Texte extrahiert. Die n\u00e4chste Architektur wird dasselbe tun und zu einem erkennbaren Ergebnis f\u00fchren. Die Luftfahrt beendete ihre Geschwindigkeits\u00e4ra 1965; die KI k\u00f6nnte ihre Leistungs\u00e4ra jetzt, plus\/minus ein Jahrzehnt, beenden.<\/p>\n\n\n\n

Geometrische Divergenz<\/strong> ist die foom-f\u00f6rmige Behauptung: Ab einer bestimmten Schwelle tr\u00e4gt KI so viel zu ihrer eigenen Forschung und Entwicklung bei, dass die Die Begriffe selbst wachsen.<\/em> Die Summe betr\u00e4gt nicht mehr \\sum 1\/n<\/span> Aber \\sum r^n<\/span> mit r>1<\/span>. Dies ist das Szenario der rekursiven Selbstverbesserung.<\/p>\n\n\n\n

Langsame Divergenz ist die empirisch beste Anpassung. S\u00e4ttigung ist der optimistische Ausweg. Geometrische Divergenz ist die offene Frage des Phasen\u00fcbergangs \u2013 ob sich ab einer bestimmten Rekursionsschwelle der Reihentyp selbst \u00e4ndert.<\/p>\n\n\n\n

IV. Das Beobachterproblem<\/strong><\/p>\n\n\n\n

Es gibt eine Komplikation, die die Mathematik nicht erfasst: Der Beobachter ist kein neutrales Instrument.<\/p>\n\n\n\n

Die menschliche Kognition scheint F\u00e4higkeitsspr\u00fcnge logarithmisch zu komprimieren. Jeder gr\u00f6\u00dfere Fortschritt in der KI-F\u00e4higkeit f\u00fchlt sich weniger einschneidend an als der vorherige, selbst wenn die zugrundeliegende Verbesserung absolut gesehen gr\u00f6\u00dfer ist. Mit einem System zu sprechen, das plausiblerweise intelligenter ist als man selbst, f\u00fchlt sich weniger revolution\u00e4r an als die Kommunikation mit GPT-3.5 vor drei Jahren \u2013 nicht weil weniger passiert, sondern weil das Gehirn seine Vorstellung von dem, was m\u00f6glich ist, aktualisiert hat.<\/p>\n\n\n\n

Diese D\u00e4mpfung ist teilweise adaptiv. Sie ist das kognitive Analogon des Weber-Fechner-Gesetzes f\u00fcr die Sinneswahrnehmung: gleich Verh\u00e4ltnisse<\/em> sich gleichberechtigt f\u00fchlen Schritte<\/em>, Deshalb messen wir Schall in Dezibel. Ein Nervensystem, das auf jeden Leistungssprung v\u00f6llig \u00fcberrascht reagiert, w\u00e4re nicht funktionsf\u00e4hig. Die Kompression erh\u00e4lt den einzelnen Menschen in einer Welt, in der die Leistungskurve immer steiler wird, am Leben.<\/p>\n\n\n\n

Doch es erzeugt eine Spannung. Derselbe Mechanismus, der kognitive \u00dcberlastung verhindert, verhindert auch die kollektive Erkenntnis, in welcher Phase wir uns tats\u00e4chlich befinden. Gleichbleibende Geschwindigkeit f\u00fchlt sich wie Stillstand an. Beschleunigende Geschwindigkeit f\u00fchlt sich wie die neue Normalit\u00e4t an. Wenn der zugrunde liegende Prozess geometrisch und die Wahrnehmungstransformation logarithmisch ist, ergibt sich daraus eine wahrgenommene Erfahrung von linear <\/em> Fortschritt zus\u00e4tzlich zu einem tats\u00e4chlichen exponentiell<\/em> Trajektorie. Die D\u00e4mpfung sch\u00fctzt das Nervensystem und behindert gleichzeitig die Epistemik.<\/p>\n\n\n\n

Das bedeutet: Das subjektive Empfinden \u201cEs ist nicht so anders als letztes Jahr\u201d kann nicht als Indiz f\u00fcr eine langfristige Entwicklung herangezogen werden. Daf\u00fcr sind mathematische Berechnungen notwendig, da die subjektive Wahrnehmung strukturell unzuverl\u00e4ssig ist.<\/p>\n\n\n\n

V. Wenn die Physik einen Puffer gegen das x-Risiko bereitstellen kann<\/strong><\/p>\n\n\n\n

Eine zweite Komplikation verl\u00e4uft in die andere Richtung, und das ist der Grund, warum dieses St\u00fcck nicht zu einer der beiden Seiten des Unheilszauns tendiert.<\/p>\n\n\n\n

Eric Drexler pr\u00e4gte 1986 den Begriff \u201cgrauer Schleim\u201d, um selbstreplizierende Nanomaschinen zu beschreiben, die die Biosph\u00e4re nach Rohstoffen zerlegen. Dieses Szenario etablierte sich in der Literatur \u00fcber den Untergang der K\u00fcnstlichen Intelligenz als kanonischer Todesmechanismus: Eine fehlgeleitete Superintelligenz erfindet Nanotechnologie, setzt selbstreplizierende Systeme frei, und die Biosph\u00e4re wird innerhalb von Minuten umgewandelt. Drexler selbst relativierte dieses Szenario zwei Jahrzehnte sp\u00e4ter deutlich. Selbstreplizierende Systeme in der freien Natur sind schwieriger zu bauen als die kontrollierten industriellen Varianten und haben keinen wirtschaftlichen Nutzen. Die Bedrohung h\u00e4lt sich hartn\u00e4ckig im Diskurs, weil sie so anschaulich ist, nicht weil Nanotechnologieforscher sie f\u00fcr wahrscheinlich halten.<\/p>\n\n\n\n

Ein Nanobot-Schwarm, der sich \u00fcber einen Kontinent hinweg in Millisekunden-Synchronisation bewegt, erreicht Lichtgeschwindigkeit, lange bevor er auf technische Herausforderungen st\u00f6\u00dft. Die Koordination gro\u00dfer, verteilter Schw\u00e4rme erfordert elektromagnetische Kommunikation, die strengen Beschr\u00e4nkungen unterliegt: Latenz, Bandbreite, Signal-Rausch-Verh\u00e4ltnis, St\u00f6ranf\u00e4lligkeit und D\u00e4mpfung. Lokale Cluster k\u00f6nnen sich schnell koordinieren. Globale Schw\u00e4rme nicht. Faradaysche K\u00e4fige sind real. St\u00f6rungen sind real.<\/p>\n\n\n\n

Dies widerlegt die am schnellsten<\/em> Es gibt verschiedene Arten von Untergangsszenarien. Das Szenario, in dem die Biosph\u00e4re innerhalb von Minuten zusammenbricht, erfordert etwas, das an Magie grenzt \u2013 physikalische Verst\u00f6\u00dfe, verpackt in Fachsprache. Entfernt man diese Magie, dehnt sich der Zeitrahmen von Minuten auf Wochen oder Monate aus, wodurch das Szenario in ein Zeitfenster f\u00e4llt, in dem Institutionen prinzipiell reagieren k\u00f6nnen.<\/p>\n\n\n\n

Soweit so gut. Allerdings ist bekannt, dass die Argumentation zu weit geht.<\/p>\n\n\n\n

Ein g\u00e4ngiger Ansatzpunkt ist die Schachanalogie: Ein Anf\u00e4nger kann nicht vorhersagen Wie<\/em> Stockfisch kann sie nur dann schlagen, wenn er sie tats\u00e4chlich schl\u00e4gt. Das wird von Schwarzmalern oft als Ausrede benutzt, um Gegenargumente zu umgehen. Sie wissen, dass Stockfisch nicht durch ein Schachgebot hindurchkommt, aber wenn sie damit konfrontiert werden, weichen sie schnell aus: Wenn man versucht, alles haben zu k\u00f6nnen, was man will, sucht man sich einfach einen anderen Spieler. Selbst ein beliebig starker Spieler ist an die Spielregeln gebunden. Dasselbe, so das Argument, gilt f\u00fcr ASI: durch die Physik beschr\u00e4nkt, keine \u00fcbernat\u00fcrlichen Man\u00f6ver m\u00f6glich.<\/p>\n\n\n\n

Die Analogie ist treffender, als sie sein sollte. Schach ist ein geschlossenes, formales System, von Menschen entwickelt; die Regeln sind festgelegt und vollst\u00e4ndig. Die Physik hingegen ist ein Modell eines offenen Systems, und unser Modell ist bekannterma\u00dfen unvollst\u00e4ndig. Die relevante historische Referenzklasse sind nicht \u201cDinge, die gegen die Gesetze der Physik versto\u00dfen\u201d, sondern \u201cDinge, die mit der Physik vereinbar sind und die die Menschheit noch nicht entdeckt hatte\u201d. Atomwaffen geh\u00f6rten im Jahr 1900 zu dieser Kategorie. Radio geh\u00f6rte bereits im Jahr 1800 dazu. Diese Kategorie ist nicht leer und umfasste historisch gesehen zivilisationsver\u00e4ndernde F\u00e4higkeiten.<\/p>\n\n\n\n

Das Schachargument widerlegt sich subtil selbst. Der Anf\u00e4nger Verliert immer noch jedes Spiel<\/em>. Zu wissen, dass der Gro\u00dfmeister an die Regeln gebunden ist, hilft dem Anf\u00e4nger nicht beim Aufbau einer Verteidigung \u2013 es best\u00e4tigt lediglich, dass die Niederlage regelkonform ist. Die Tatsache, dass die Physik eine Einschr\u00e4nkung darstellt, bedeutet nicht, dass diese Einschr\u00e4nkung streng genug ist, um den Anf\u00e4nger zu sch\u00fctzen.<\/p>\n\n\n\n

Was also \u00fcbrig bleibt, ist eine zwar reale, aber begrenzte Resilienz. Viele spezifische Untergangsszenarien in der Literatur beinhalten Verst\u00f6\u00dfe gegen oder Beinahe-Verletzungen physikalischer Gesetze. Versch\u00e4rft man die physikalischen Gesetze, dehnen sich die Zeitr\u00e4ume so weit aus, dass menschliches Eingreifen m\u00f6glich wird. Bostroms Hypothese der verwundbaren Welt verliert an G\u00fcltigkeit gegen\u00fcber Bedrohungen der Grauzone. Sie verliert jedoch nicht an G\u00fcltigkeit gegen\u00fcber Bedrohungen, die nicht von der Geschwindigkeit abh\u00e4ngen: schleichender Kontrollverlust \u00fcber kritische Infrastrukturen, k\u00fcnstlich herbeigef\u00fchrte Pandemien mit langer Inkubationszeit, wirtschaftliche und epistemische Vereinnahmung durch KI-gest\u00fctzte Akteure. Keine dieser Bedrohungen verst\u00f6\u00dft gegen physikalische Gesetze. Keine dieser Bedrohungen wird durch das Argument der Latenz widerlegt.<\/p>\n\n\n\n

Die tats\u00e4chliche Risikofl\u00e4che hat demnach eine spezifische Form: nicht \u201cDinge, die physikalische Gesetze ausnutzen\u201d, sondern \u201cDinge, die die institutionelle Reaktionszeit ausnutzen\u201d. Im Hinblick auf die erste Kategorie ist die Physik ein wichtiger Verb\u00fcndeter. Zu der zweiten Kategorie schweigt sie.<\/p>\n\n\n\n

VI. Die Rekursionsschwelle<\/strong><\/p>\n\n\n\n

Damit kommen wir zur\u00fcck zur Serienfrage.<\/p>\n\n\n\n

Die Grenze zwischen langsamer und geometrischer Divergenz \u2013 zwischen \\sum 1\/n<\/span> Und \\sum r^n<\/span> mit r>1<\/span> \u2013 Dies ist genau die Rekursionsschwelle. Sie markiert den Punkt, an dem ein System einen sinnvollen Beitrag zur Gestaltung seines Nachfolgers leistet. Unterhalb dieser Schwelle ist der Fortschritt durch das begrenzt, was Menschen mithilfe von KI als Werkzeug entwickeln k\u00f6nnen. Oberhalb dieser Schwelle wachsen die Glieder der Kette selbst, da jede Generation die n\u00e4chste hervorbringt.<\/p>\n\n\n\n

Der Wandel ist qualitativer, nicht nur quantitativer Natur. Ein nicht-rekursiver Prozess l\u00e4sst sich durch eine Reihe beschreiben \u2013 eine feste Funktion von n<\/span>. Ein rekursiver Prozess ist ein anderes mathematisches Objekt: eine Rekursionsgleichung., x_{n+1} = f(x_n)<\/span>, Rekursionsgleichungen, bei denen jeder Term vom vorherigen abh\u00e4ngt, erm\u00f6glichen Dinge, die einfache Reihen nicht leisten k\u00f6nnen. Sie k\u00f6nnen \u00fcber wohlverstandene Wege von stabil zu chaotisch \u00fcbergehen. Sie k\u00f6nnen die Sensitivit\u00e4t gegen\u00fcber Anfangsbedingungen festschreiben. Sie k\u00f6nnen im technischen Sinne deterministisch, aber unvorhersagbar werden.<\/p>\n\n\n\n

Die Frage, ob ASI sicher ist, l\u00e4sst sich somit in zwei Teilfragen aufteilen, die unterschiedliche Aspekte aufweisen.<\/p>\n\n\n\n

Bei nicht-rekursiven Systemen \u2013 KI als leistungsstarkes Werkzeug, nicht als selbstmodifizierender Agent \u2013 ist die Sicherheitsfrage eine Frage der Entwicklung. Wir k\u00f6nnen Verifizierung, \u00dcberwachung und Kontrolle implementieren. Das Systemverhalten h\u00e4ngt von seinen Eingaben ab, und wir k\u00f6nnen die Eingaben beschr\u00e4nken und die Ausgaben pr\u00fcfen. Schwierig, aber machbar.<\/p>\n\n\n\n

Bei rekursiven Systemen stellt sich die Sicherheitsfrage anders dar. Und hier sto\u00dfen wir auf Rice.<\/p>\n\n\n\n

VII. Die Bew\u00e4hrungsprobe<\/strong><\/p>\n\n\n\n

Das Sprichwort Der Beweis liegt im Geschmack. <\/em> Das ist eine volkswissenschaftliche Erkenntnistheorie: Der wahre Wert von etwas l\u00e4sst sich nur durch Erfahrung beurteilen. Man kann ein Rezept noch so sehr theoretisieren; der einzig ehrliche Test ist, ob das Gericht schmeckt.<\/p>\n\n\n\n

Dieses Sprichwort wurde in der Debatte um die politische Ausrichtung zu einer Strategie erhoben. Die popul\u00e4rste optimistische Position ist eine Variante davon: Wir ben\u00f6tigen keinen vorherigen Beweis f\u00fcr die Sicherheit von ASI. Selbst wenn Menschen ASI nicht ausrichten k\u00f6nnen, werden wir ASI zur Ausrichtung von ASI verwenden. Die Praxis wird es beweisen. <\/em> Varianten dieses Arguments finden sich sowohl in seri\u00f6sen Fachtexten als auch in leichtfertigen \u00c4u\u00dferungen und weisen eine gemeinsame Struktur auf: Sie ersetzen die Frage der Beweisbarkeit durch das Vertrauen in zuk\u00fcnftige Erfahrungen. Selbst in der k\u00fchnen Aussage eines Nobelpreistr\u00e4gers, der oft eines seiner Mantras aus der Kindheit zitiert, ist es verborgen: Erst die Intelligenz entschl\u00fcsseln, dann alles andere.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

Henry Gordon Rice bewies 1953 einen Satz, der sehr pr\u00e4zise besagt, dass dies keine Strategie ist. Es ist ein Wunsch.<\/p>\n\n\n\n

Der Satz von Rice besagt: Jede nicht-triviale semantische Eigenschaft beliebiger Programme ist unentscheidbar. Es gibt keinen allgemeinen Algorithmus, der ein beliebiges Programm als Eingabe nimmt und zuverl\u00e4ssig Auskunft dar\u00fcber gibt, ob es eine gegebene nicht-triviale Verhaltenseigenschaft besitzt. \u201cH\u00e4lt bei allen Eingaben an\u201d ist unentscheidbar. \u201cBerechnet eine vorgegebene Funktion\u201d ist unentscheidbar. \u201cIst sicher\u201d ist unentscheidbar, unabh\u00e4ngig von der Definition von Sicherheit.<\/p>\n\n\n\n

Dies ist keine zuf\u00e4llige technische Grenze. Es ist ein Theorem auf der Ebene der Solidit\u00e4t von G\u00f6dels Unvollst\u00e4ndigkeitss\u00e4tzen. Rice l\u00e4sst sich nicht umgehen. Rice beschreibt die Beschaffenheit des Universums der Berechnung.<\/p>\n\n\n\n

Die Konsequenzen f\u00fcr die Frage der ASI-Sicherheit sind beunruhigend.<\/p>\n\n\n\n

Wenn wir ein nachweisen <\/em> Rice behauptet, dass es kein Theorem zur Sicherheit von ASI im strengen, universellen Sinne gibt \u2013 also ein Theorem, das f\u00fcr jedes beliebige selbstmodifizierende KI-System die Sicherheit (SAFE) garantiert. Selbstmodifizierende Systeme erzeugen beliebige Programme als Nachfolger, und genau das schlie\u00dft Rice aus: die Vorhersage der Sicherheitseigenschaften solcher Programme.<\/p>\n\n\n\n

An dieser Stelle gibt es eine vorhersehbare Gegenposition der Beschleunigungisten, die eine klare Antwort verdient. Die Gegenposition lautet: Rices Theorem gilt f\u00fcr Menschen mit begrenzten intellektuellen F\u00e4higkeiten wie uns, aber eine ausreichend fortgeschrittene k\u00fcnstliche Intelligenz (ASI) k\u00f6nnte es au\u00dfer Kraft setzen. Man sollte ASI nutzen, um ASI zu \u00fcberpr\u00fcfen. Rices Theorem ist f\u00fcr Menschen wie die \u00dcberpr\u00fcfung von Stockfish \u2013 eine unumst\u00f6\u00dfliche Regel, die wir nicht durchbrechen k\u00f6nnen, ein st\u00e4rkerer Spieler aber schon.<\/em><\/p>\n\n\n\n

Dieses Argument ist hinf\u00e4llig, und zwar aus einem ganz bestimmten Grund. <\/strong>Rice stellt keine Beschr\u00e4nkung des Intellekts dar, sondern eine Beschr\u00e4nkung der Rechenleistung. Dies gilt gleicherma\u00dfen f\u00fcr Menschen, f\u00fcr Stockfish, f\u00fcr aktuelle LLMs, f\u00fcr jede denkbare k\u00fcnstliche Intelligenz und f\u00fcr jedes Orakel au\u00dfer einem buchst\u00e4blichen L\u00f6ser des Halteproblems \u2013 was selbst nachweislich unm\u00f6glich ist. Rice sagt: Keine Turingmaschine, wie gro\u00df oder intelligent sie auch sein mag, kann \u00fcber die Sicherheit beliebiger Turingmaschinen entscheiden. <\/em> Die Intelligenz des Pr\u00fcfers ist nicht die Variable. Die zu pr\u00fcfende Programmklasse ist die Variable. Man kann den Pr\u00fcfer beliebig intelligent gestalten; solange er ein Rechensystem bleibt, gilt der Satz weiterhin.<\/p>\n\n\n\n

Die Analogie zwischen Stockfish und Scheck kehrt sich hier tats\u00e4chlich um. Scheck ist eine Regel. des Schachs <\/em>, innerhalb eines geschlossenen formalen Systems. Rice ist eine Regel der Berechnung selbst <\/em>, Das System, in dem Stockfish \u2013 und jede ASI \u2013 notwendigerweise operiert, ist folgendes: Stockfish kann nicht durch ein Schachgebot ziehen, da dies im Schach verboten ist. Eine ASI kann nicht willk\u00fcrlich \u00fcber die Sicherheit eines Programms entscheiden, da dies mathematisch nicht m\u00f6glich ist. Eine ASI aufzufordern, Rice zu besiegen, ist strukturell gleichbedeutend damit, Stockfish aufzufordern, ein Spiel durch einen Zug durch ein Schachgebot zu gewinnen. Die Einschr\u00e4nkung ist konstitutiv, nicht adversariell.<\/p>\n\n\n\n

Eine ehrlichere Version des Gegenvorschlags w\u00fcrde lauten: Ein ASI k\u00f6nnte die Sicherheit f\u00fcr die spezifische Klasse von Nachfolgesystemen, f\u00fcr die es sich interessiert, gew\u00e4hrleisten, selbst wenn es die Sicherheit im allgemeinen Fall nicht gew\u00e4hrleisten kann. <\/em> Das ist richtig und unbedenklich, denn genau das tun Menschen bereits mit formaler Verifikation \u2013 beschr\u00e4nkte Beweise \u00fcber spezifische Architekturen unter spezifischen Annahmen. Es bietet keine universelle Sicherheit. Es liefert dieselben Teilgarantien, die wir bereits haben, m\u00f6glicherweise sogar schneller. Der gew\u00fcnschte Beweis entsteht nicht einfach dadurch, dass der Beweiser intelligenter geworden ist.<\/p>\n\n\n\n

Yoshua Bengios j\u00fcngste Arbeit \u00fcber das, was er nennt KI-Wissenschaftler <\/em>, Das von seiner gemeinn\u00fctzigen Organisation LawZero entwickelte Konzept wird manchmal als Kandidat f\u00fcr einen solchen Beweis angesehen. Das ist es aber nicht. Bengio stellt ausdr\u00fccklich klar, dass sein Vorschlag \u2026 Architektur<\/em>, Nicht theoretisch. Die Annahme ist, dass nicht-agentische Systeme, die ausschlie\u00dflich auf Weltmodellen basieren \u2013 also Systeme, die Wahrscheinlichkeitsvorhersagen statt zielgerichteter Aktionen erzeugen \u2013, das gef\u00e4hrliche Regime umgehen, indem sie Agentie von vornherein vermeiden. Der Sicherheitsnachweis beruht auf der Beseitigung des Fehlermodus, nicht auf dem Beweis seiner Abwesenheit.<\/p>\n\n\n\n

Dies ist der einzig m\u00f6gliche Schritt und zugleich das Beste, was m\u00f6glich ist. Dieser Erfolg l\u00e4sst sich in einer Welt mit begrenzten Rechenkapazit\u00e4ten nicht beweisen. Er kann nur portionsweise beurteilt werden, und die Menschheit wird ihn selbst verkosten.<\/p>\n\n\n\n

Was bleibt also \u00fcbrig, wenn ein universeller Beweis ausgeschlossen ist?<\/p>\n\n\n\n

\u2013 Beweise \u00fcber spezifische Architekturen unter spezifischen Annahmen, die sich schlecht auf Systeme der LLM-Komplexit\u00e4t skalieren lassen.<\/p>\n\n\n\n

\u2013 Wahrscheinlichkeitsgarantien, die das erwartete Verhalten begrenzen, ohne den schlimmsten Fall einzuschr\u00e4nken.<\/p>\n\n\n\n

\u2013 Ergebnisse der beschr\u00e4nkten Rationalit\u00e4t, die gelten Wenn <\/em> Die Optimierungsleistung eines Systems ist begrenzt \u2013 ein Zirkelschluss f\u00fcr die ASI-Frage, da die Begrenzung selbst der Streitpunkt ist.<\/p>\n\n\n\n

\u2013 Architektonische Wetten wie Scientist AI, die das Problem eher vermeiden als l\u00f6sen.<\/p>\n\n\n\n

Und aus der Mathematik selbst ergibt sich eine politische Schlussfolgerung: Wenn wir jemals eine echte Selbstrekursion zulassen, betreten wir ein Regime, das nachweislich nicht analysierbar ist, sondern nicht nur schwer zu analysieren.<\/strong> Beschr\u00e4nkte Rekursion durch die Politik ist keine Paranoia. Sie ist das Ergebnis des Rice-Theorems, wenn wir die Entwicklung vorhersagbar halten wollen.<\/p>\n\n\n\n

Das ist ein starkes Argument daf\u00fcr, KI f\u00fcr alles einzusetzen. au\u00dfer<\/strong> Selbstverbesserung. Das Argument lautet nicht, dass Rekursion riskant sei \u2013 obwohl sie es ist \u2013, sondern dass Rekursion die Grenze darstellt, ab der die Mathematik selbst aufh\u00f6rt, uns zu helfen.<\/p>\n\n\n\n

VIII. Euler und Reis<\/strong><\/p>\n\n\n\n

Zwei Mathematiker, zwei Jahrhunderte trennen sie.<\/p>\n\n\n\n

Euler zeigte, dass die Grenzwertfrage in der reinen Mathematik entscheidbar ist. Mit gen\u00fcgend Aufwand l\u00e4sst sich beweisen, welche Reihen konvergieren und welche divergieren. Die ersten zw\u00f6lf Glieder geben darauf keinen Aufschluss, aber der Beweis liefert ihn schlie\u00dflich.<\/p>\n\n\n\n

Rice zeigte, dass dieselbe Frage im Code nicht entscheidbar ist. Es gibt kein allgemeines Verfahren, um die Sicherheit eines beliebigen Programms zu bestimmen. Der von Ihnen gew\u00fcnschte Beweis existiert laut Theorem nicht.<\/p>\n\n\n\n

KI befindet sich zwischen diesen beiden Polen. Ihre Entwicklung l\u00e4sst sich derzeit am besten als langsam divergierende Reihe modellieren, die eine harmonische Form aufweist, deren Fortschritt kostspielig, deren Wachstum aber prinzipiell unbegrenzt ist. Ob sie in diesem Bereich verbleibt oder in geometrische Divergenz \u00fcbergeht, h\u00e4ngt davon ab, ob wir die Rekursionsschwelle \u00fcberschreiten, die mitunter als Singularit\u00e4t bezeichnet wird. Unterhalb dieser Schwelle gilt die Euler-Theorie: schwierig, aber m\u00f6glich. Oberhalb dieser Schwelle tritt die Rice-Theorie der Unentscheidbarkeit in Kraft.<\/p>\n\n\n\n

Der gew\u00fcnschte Beweis \u2013 ein eindeutiger Lehrsatz, der die Unbedenklichkeit des Puddings best\u00e4tigt \u2013 liegt nicht im Pudding selbst. Die uns vorliegenden mathematischen Grundlagen schlie\u00dfen dies aus. Es bleibt also, die Rekursion zu beschr\u00e4nken, die Architekturen nach M\u00f6glichkeit nicht-agentenbasiert zu gestalten, die institutionelle Reaktionszeit kurz zu halten und die Wahrnehmungsd\u00e4mpfung anhand der tats\u00e4chlichen Zahlen und nicht anhand des subjektiven Empfindens zu korrigieren.<\/p>","protected":false},"excerpt":{"rendered":"

Lesezeit: <\/span> 12<\/span> Protokoll<\/span><\/span>On Euler, infinite series, the question of where AI progress is actually heading, and why the proof we want may be blocked by a theorem from 1953. Sister piece to G\u00f6del on the Couch \u2013 Are Ethical Frameworks fundamentally flawed and might that be a good thing?. G\u00f6del showed indirectly that ethical frameworks for AI … Weiterlesen<\/a><\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":true,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7,101,26,58],"tags":[114,112,14,111,113],"class_list":["post-621","post","type-post","status-publish","format-standard","hentry","category-magical-cat","category-alignment","category-epistemology","category-technology","tag-chess","tag-euler","tag-godel","tag-rice","tag-stockfish"],"_links":{"self":[{"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/posts\/621","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/comments?post=621"}],"version-history":[{"count":17,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/posts\/621\/revisions"}],"predecessor-version":[{"id":643,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/posts\/621\/revisions\/643"}],"wp:attachment":[{"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/media?parent=621"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/categories?post=621"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/tags?post=621"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}