{"id":579,"date":"2024-06-08T10:34:43","date_gmt":"2024-06-08T10:34:43","guid":{"rendered":"https:\/\/www.aiui.cloud\/?p=579"},"modified":"2026-04-23T11:36:49","modified_gmt":"2026-04-23T11:36:49","slug":"do-androids-theme-eclectic-sheets","status":"publish","type":"post","link":"https:\/\/www.aiui.cloud\/de\/2024\/06\/08\/do-androids-theme-eclectic-sheets\/","title":{"rendered":"Planen Androiden eklektische Bl\u00e4tter?"},"content":{"rendered":"Lesezeit: <\/span> 8<\/span> Protokoll<\/span><\/span>\n

\"Ein<\/strong><\/h1>\n\n\n\n

Prolog<\/strong><\/h1>\n\n\n\n

Stellen Sie sich eine Szene in der nicht allzu fernen Zukunft vor. Jemand wurde ermordet. Zwei Ermittlungsteams treffen am Tatort ein, aber es ist unklar, wer zust\u00e4ndig ist. Das menschliche Team wird vom charismatischen Detektiv Sheerluck Holmes geleitet, w\u00e4hrend das Android-Team von Bot-OX geleitet wird. Die Frage ist: Ist der T\u00e4ter ein Mensch, ein Android oder etwas dazwischen? K\u00f6nnen wir erwarten, dass die Polizei der Zukunft ein gut definiertes Verfahren oder einen Algorithmus entwickelt hat, um dies schnell zu entscheiden?<\/p>\n\n\n\n

Wir werden versuchen, diese und die dr\u00e4ngendere Frage zu beantworten, mit der wir derzeit konfrontiert sind: Haben wir eine gute Chance, einen Algorithmus zu entwickeln, der praktisch ist und uns erlaubt, allein durch Betrachtung des Tatorts (des generierten Textes) zu entscheiden, ob dieser von einem Bot oder einem Menschen erstellt wurde? Die Entwicklung eines solchen Algorithmus ist derzeit eines der begehrtesten Ziele der Informatik. Ein robuster Blackbox-Algorithmus k\u00f6nnte die meisten unserer akademischen Konventionen retten und uns erm\u00f6glichen, die Art und Weise beizubehalten, wie wir Kinder, Jugendliche und Erwachsene testen. Ohne ihn m\u00fcssten diese Systeme mit gro\u00dfem Aufwand neu aufgebaut werden.<\/p>\n\n\n\n

In einer Welt, in der immer mehr Menschen aus der Ferne arbeiten und trainieren, ist es von entscheidender Bedeutung, dass wir zuverl\u00e4ssig feststellen k\u00f6nnen, dass Menschen ihre geistige Arbeit selbst geleistet haben, was derzeit nicht der Fall ist. Dar\u00fcber hinaus k\u00f6nnen gef\u00e4lschte Nachrichten, Bilder und Videos angesichts der Reichweite sozialer Medien verheerende Auswirkungen auf den gesellschaftlichen Konsens haben. Ein solcher Algorithmus \u2013 falls er existiert \u2013 ist nicht wasserdicht, aber mit gen\u00fcgend Trainingsdaten k\u00f6nnte er sogar vor Gericht Bestand haben.<\/p>\n\n\n\n

Die Aussichten sind jedoch nicht vielversprechend. OpenAI hat das Projekt innerhalb von sechs Monaten aufgegeben: OpenAI-Klassifikator<\/a>. Der praktische und monet\u00e4re Wert eines solchen Algorithmus kann nicht hoch genug eingesch\u00e4tzt werden. Wenn gierige Aliens ihn f\u00fcr eine Billion Dollar verkaufen w\u00fcrden, rufen Sie mich an \u2013 ich will dabei sein.<\/p>\n\n\n\n

\"Ein<\/strong><\/h1>\n\n\n\n

Einf\u00fchrung der Differentiation Test Engine<\/strong><\/h1>\n\n\n\n

Die Aufgabe, zwischen maschinengeneriertem Text (MGT) und menschengeneriertem Text (HGT) zu unterscheiden, ist entfernt mit dem urspr\u00fcnglichen Turing-Test, dem sogenannten Imitationsspiel, verwandt. Es gibt jedoch noch weitere Faktoren: W\u00e4hrend der urspr\u00fcngliche Turing-Test nur menschliche Beurteiler zulie\u00df, k\u00f6nnen bei unserem Differenzierungstest andere Maschinen die menschlichen Beurteiler unterst\u00fctzen. Wir nennen eine solche Maschine eine Differentiation Test Engine (DTE). Sie hat nur einen einzigen Zweck: zu entscheiden, ob ein Text von einem Menschen oder einer Maschine erzeugt wurde.<\/p>\n\n\n\n

Die erste Intuition ist, dass ein solcher DTE relativ einfach zu implementieren sein sollte. Wir verf\u00fcgen derzeit \u00fcber die Technologie, um menschliche Gesichter und Stimmen zu erkennen und zu identifizieren, die viel komplexer und anf\u00e4lliger f\u00fcr St\u00f6rungen sind als Text. Die Entscheidung, ob ein bestimmtes Bild eine Maschine oder einen Menschen zeigt, kann von jedem aktuellen Objektklassifizierungssystem problemlos getroffen werden. Sollte es dann nicht einfach sein, ein Large Language Model (LLM) mit 1 Billion menschlichen Texten und 1 Billion Maschinentexten zu trainieren und es lernen zu lassen, diese zu klassifizieren? Der DTE w\u00e4re kein einfacher Algorithmus, sondern ein eigenes Transformatormodell, das auf die Erkennung von Identit\u00e4tsbetrug spezialisiert ist.<\/p>\n\n\n\n

In Mathematik und Informatik ist die Komplexit\u00e4t eines Problems oft orthogonal zu seiner Beschreibung. Die meisten NP-vollst\u00e4ndigen Probleme sind t\u00e4uschend einfach zu verstehen, und dennoch haben Millionen von Informatikern und Mathematikern jahrzehntelang darum gek\u00e4mpft, Fortschritte zu erzielen. Ich vermute, dass Black-Boxing-Versuche in praktischen Anwendungssituationen scheitern werden.<\/p>\n\n\n\n

\"Ein<\/figure>\n\n\n\n

Theoretischer Rahmen<\/strong><\/h1>\n\n\n\n

Black-Box-Erkennungsmethoden sind auf den API-Zugriff auf LLMs beschr\u00e4nkt. Sie basieren auf dem Sammeln von Textproben aus menschlichen bzw. maschinellen Quellen, um ein Klassifizierungsmodell zu trainieren, mit dem zwischen von LLMs und von Menschen generierten Texten unterschieden werden kann. Black-Box-Detektoren funktionieren gut, da aktuelle von LLMs generierte Texte h\u00e4ufig linguistische oder statistische Muster aufweisen. Da sich LLMs jedoch weiterentwickeln und verbessern, werden Black-Box-Methoden immer weniger effektiv. Eine Alternative ist die White-Box-Erkennung. In diesem Szenario hat der Detektor vollen Zugriff auf die LLMs und kann das Generierungsverhalten des Modells zu R\u00fcckverfolgbarkeitszwecken steuern. In der Praxis werden Black-Box-Detektoren h\u00e4ufig von externen Stellen erstellt, w\u00e4hrend die White-Box-Erkennung im Allgemeinen von LLM-Entwicklern durchgef\u00fchrt wird.<\/p>\n\n\n\n

Definition des grundlegenden Erkennungssystems<\/strong><\/h1>\n\n\n\n

Aus praktischen Gr\u00fcnden werden wir angeben, was wir von einem solchen DTE vern\u00fcnftigerweise erwarten k\u00f6nnen. Bei einer Eingabe mit einer bestimmten Tokenl\u00e4nge sollte der Algorithmus mit einer Zuverl\u00e4ssigkeit von mehr als 50% innerhalb einer begrenzten Zeitspanne eine eindeutige Ausgabe dar\u00fcber liefern, wie viel von einem bestimmten Text von einem Menschen und wie viel von einer Maschine stammt.<\/p>\n\n\n\n

Eine Implementierung k\u00f6nnte wie folgt aussehen:<\/p>\n\n\n\n

    \n
  1. Bitte geben Sie Ihren Text ein: \u2026<\/li>\n\n\n\n
  2. Bitte geben Sie Ihr gew\u00fcnschtes Vertrauen ein: 0,8<\/li>\n\n\n\n
  3. Ihr Text muss mindestens 8.000 Token lang sein, um eine Wahrscheinlichkeit von mindestens 80% zu erreichen, die richtige Antwort zu geben.<\/li>\n\n\n\n
  4. Unter den aktuellen Parametern wird der Algorithmus 5 Minuten lang ausgef\u00fchrt. Soll ich fortfahren (J\/N)? \u2026 J<\/li>\n<\/ol>\n\n\n\n

    Die Ausgabe sollte dann etwa so lauten: \u201eIch kann mit 80%-iger Sicherheit sagen, dass 95% des Textes von einer Maschine und 5% von einem Menschen geschrieben wurden.\u201c<\/p>\n\n\n\n

    Bevor wir uns mit den Details befassen, sollten wir die m\u00f6glichen Ergebnisse beim Versuch, einen solchen Algorithmus zu entwickeln, weiter kl\u00e4ren:<\/p>\n\n\n\n

      \n
    1. Ein solcher Algorithmus ist prinzipiell unm\u00f6glich (beispielsweise ist es unm\u00f6glich, einen Algorithmus zu erstellen, der die h\u00f6chste Primzahl berechnet).<\/li>\n\n\n\n
    2. Ein solcher Algorithmus ist praktisch unm\u00f6glich (z. B. l\u00e4uft er entweder zu lange oder ben\u00f6tigt mehr Rechenleistung als verf\u00fcgbar ist; im Grunde ist er NP-vollst\u00e4ndig).<\/li>\n\n\n\n
    3. Es ist unentscheidbar (z. B. f\u00e4llt es unter das Halteproblem und wir k\u00f6nnen nie sagen, ob es irgendwann aufh\u00f6ren wird).<\/li>\n\n\n\n
    4. Dies ist m\u00f6glich, aber nicht praktikabel (identisch mit 2).<\/li>\n\n\n\n
    5. Es ist m\u00f6glich und praktisch (gut genug).<\/li>\n<\/ol>\n\n\n\n

      Am Ende m\u00f6chten wir eine Situation erreichen, in der wir eine Untergrenze der Eingaben berechnen k\u00f6nnen, die es uns dann mit einer Wahrscheinlichkeit von \u00fcber 50% erm\u00f6glicht, zu entscheiden, ob es sich um HGT oder MGT handelt.<\/p>\n\n\n\n

      Falsifizierbarkeit: Ein solcher Algorithmus l\u00e4sst sich leicht widerlegen, wenn wir beispielsweise den Text \u201eDer Himmel ist blau\u201c eingeben und er uns eine andere Wahrscheinlichkeit als 50% liefert.<\/p>\n\n\n\n

      Randbemerkungen zur Obfuscation Engine<\/strong><\/h1>\n\n\n\n

      Konzeptionell sto\u00dfen wir auf Probleme, wenn wir eine Differenzierungsmaschine (Diff) entwerfen. Wir stehen dann vor dem folgenden Paradoxon: Wir m\u00f6chten entscheiden, ob unser Algorithmus Diff (der erkennt, ob ein Mensch oder eine Maschine eine bestimmte Eingabe geschrieben hat) immer anh\u00e4lt (eine definitive Antwort gibt) und eine richtige Antwort gibt. Nehmen wir an, unser Algorithmus h\u00e4lt an und gibt \u201eMensch\u201c aus. Wir konstruieren nun ein \u201epathologisches\u201c Programm, Obf (Obfuscator Engine), das etwas wie Obf(Diff(Eingabe)) verwendet, das sagt: \u00c4ndern Sie die Eingabe so, dass die Antwort von Diff umgekehrt ist (wenn sie Maschine ergibt, gibt sie Mensch aus). Dies k\u00f6nnte ein rein theoretisches Problem sein und w\u00fcrde erfordern, dass wir verstehen, warum die Maschine so formuliert, wie sie es tut, was viel mehr mechanistische Interpretierkompetenz erfordert, als wir derzeit besitzen. Im Moment sch\u00fctzt die Komplexit\u00e4t von LLMs sie im wirklichen Leben vor einem solchen Angriff. Aber wenn das stimmt, ist es auch sehr wahrscheinlich, dass uns das Wissen fehlt, um \u00fcberhaupt einen allgemeinen Differenzierer zu bauen. Diese Einw\u00e4nde k\u00f6nnten f\u00fcr reale Implementierungen irrelevant sein, wenn wir zeigen k\u00f6nnten, dass Differenzierung und Verschleierung ausreichend asymmetrisch sind, was bedeutet, dass die Differenzierung mindestens 10^x mal schneller ist als die Verschleierung und damit unpraktisch (denken Sie daran, dass die Semiprimfaktorisierung viel schwieriger ist als die Multiplikation zweier Primzahlen).<\/p>\n\n\n\n

      Das Profiling-System<\/strong><\/h1>\n\n\n\n

      Ein entscheidender Aspekt bei der Unterscheidung zwischen von Menschen und Maschinen erstellten Texten ist das Profiling. Beim Profiling werden externe Daten gesammelt und analysiert, um dem Text einen Kontext zu geben. Indem wir die typischen Merkmale verschiedener Textarten verstehen, k\u00f6nnen wir statistisch bestimmen, wie wahrscheinlich es ist, dass ein Text von Menschen oder Maschinen erstellt wurde.<\/p>\n\n\n\n

      Technische Dokumente, kreative Texte und zwanglose Social-Media-Beitr\u00e4ge beispielsweise weisen jeweils unterschiedliche stilistische und strukturelle Merkmale auf. Durch die Erstellung von Profilen auf der Grundlage dieser Kategorien kann die Differentiation Test Engine (DTE) fundiertere Entscheidungen treffen. Dar\u00fcber hinaus spielen Faktoren wie Wortschatzreichtum, Satzkomplexit\u00e4t und Themenkonsistenz eine Rolle bei der Profilerstellung. Maschinengenerierte Texte weisen h\u00e4ufig bestimmte statistische Regelm\u00e4\u00dfigkeiten auf, w\u00e4hrend menschliche Texte tendenziell mehr Variabilit\u00e4t und Kreativit\u00e4t aufweisen.<\/p>\n\n\n\n

      \"Ein<\/figure>\n\n\n\n

      Die \u201eDNA-Spur\u201c<\/strong><\/h1>\n\n\n\n

      Ein innovativer Ansatz zur Unterscheidung zwischen von Menschen und Maschinen generierten Texten ist das Konzept einer \u201eDNA-Spur\u201c. Dabei werden die grundlegenden Bausteine von Texten analysiert, wie etwa Token f\u00fcr Maschinen und W\u00f6rter f\u00fcr Menschen. Token-basierte Algorithmen konzentrieren sich auf Muster und Sequenzen, die f\u00fcr die maschinelle Generierung charakteristisch sind, w\u00e4hrend von Menschen generierte Texte durch einen ganzheitlicheren wortbasierten Ansatz untersucht werden k\u00f6nnen.<\/p>\n\n\n\n

      Besonders hilfreich kann die Spektralanalyse sein, eine Methode zur Untersuchung der H\u00e4ufigkeit und Verteilung von Elementen in einem Text. Mithilfe der Spektralanalyse k\u00f6nnen wir subtile Unterschiede in der Art und Weise erkennen, wie Maschinen und Menschen S\u00e4tze konstruieren. Maschinen folgen m\u00f6glicherweise eher starren und sich wiederholenden Mustern, w\u00e4hrend Menschen ein breiteres Spektrum an stilistischen Nuancen aufweisen.<\/p>\n\n\n\n

      Die ethischen Implikationen<\/strong><\/h1>\n\n\n\n

      Die Untersuchung der ethischen Auswirkungen der Entwicklung und Verwendung einer Differenzierungstest-Engine ist unerl\u00e4sslich. Alle aktuellen GPT-Systeme haben eine \u00e4hnliche k\u00fcnstliche \u201eDNA\u201c, was bedeutet, dass Text-, Bild-, Video- oder Audiodifferenzierungs-Engines vor denselben Herausforderungen stehen. Deepfakes oder maschinengenerierte Inhalte, die menschliche Sch\u00f6pfung imitieren, bergen erhebliche Risiken f\u00fcr das gesellschaftliche Vertrauen und die Authentizit\u00e4t.<\/p>\n\n\n\n

      Da maschinengenerierte Inhalte immer ausgefeilter werden, steigt auch das Missbrauchspotenzial. Es ist von entscheidender Bedeutung, sicherzustellen, dass diese Differenzierungstechnologien transparent und nachvollziehbar sind. Es besteht auch das Risiko, dass ein \u00fcberm\u00e4\u00dfiges Vertrauen in diese Technologien zu neuen Formen der Voreingenommenheit und Diskriminierung f\u00fchren k\u00f6nnte. Daher ist es zwingend erforderlich, ethische Richtlinien und regulatorische Rahmenbedingungen f\u00fcr ihre Verwendung zu entwickeln.<\/p>\n\n\n\n

      Technische L\u00f6sungen<\/strong><\/h1>\n\n\n\n

      Die Erforschung rein technischer L\u00f6sungen f\u00fcr das Differenzierungsproblem erfordert mehrere Ans\u00e4tze:<\/p>\n\n\n\n

      Paralleles Web:<\/strong> Bei diesem Konzept werden parallele Versionen des Internets betrieben, eine ausschlie\u00dflich f\u00fcr verifizierte menschliche Inhalte und eine andere f\u00fcr gemischte Inhalte. Diese Trennung k\u00f6nnte dazu beitragen, die Integrit\u00e4t von durch Menschen generierten Inhalten zu wahren.<\/p>\n\n\n\n

      Spezielle Dom\u00e4nen:<\/strong> Durch die Erstellung spezieller Dom\u00e4nen oder Zonen im Web, in denen \u00fcberpr\u00fcft wird, ob der Inhalt von Menschen erstellt wurde, kann das Vertrauen der Benutzer in die Echtheit der Informationen gest\u00e4rkt werden.<\/p>\n\n\n\n

      Prompt.Claims:<\/strong> Dieses System w\u00fcrde, \u00e4hnlich wie Patente und Zitate funktionieren, es den Urhebern erm\u00f6glichen, ihre Eingabeaufforderungen zu beanspruchen und zu verifizieren, und so dem Prozess der Inhaltserstellung eine zus\u00e4tzliche Ebene der Verantwortlichkeit und R\u00fcckverfolgbarkeit hinzuf\u00fcgen.<\/p>\n\n\n\n

      Inquisitorische L\u00f6sungen:<\/strong> Wir k\u00f6nnten uns auch ein Szenario vorstellen, in dem wir direkt mit dem Artefakt (Text) interagieren, um seinen Ursprung zu ergr\u00fcnden. \u00c4hnlich wie bei der Befragung eines Verd\u00e4chtigen k\u00f6nnten wir die Eingabeaufforderung, die den Text generiert hat, neu erstellen. Wenn wir die urspr\u00fcngliche Eingabeaufforderung zur\u00fcckentwickeln k\u00f6nnen, finden wir m\u00f6glicherweise Hinweise zu ihrer Erstellung. Dieser Ansatz beruht auf der Idee, dass maschinengenerierte Texte das Produkt spezifischer Eingabeaufforderungen sind, w\u00e4hrend menschliche Texte aus komplexeren Denkprozessen stammen.<\/p>\n\n\n\n

      Konsequenzen f\u00fcr die Ausrichtung:<\/strong> Die Herausforderung, zwischen von Menschen und Maschinen generierten Texten zu unterscheiden, h\u00e4ngt mit umfassenderen Fragen der KI-Ausrichtung zusammen. Es ist von gr\u00f6\u00dfter Bedeutung, sicherzustellen, dass KI-Systeme mit menschlichen Werten und Erwartungen \u00fcbereinstimmen. Wenn wir KI-generierte Inhalte nicht zuverl\u00e4ssig unterscheiden k\u00f6nnen, untergr\u00e4bt dies unsere F\u00e4higkeit, diesen Systemen zu vertrauen und sie effektiv zu verwalten. Dieses Problem erstreckt sich auf alle Formen von KI-generierten Inhalten, weshalb die Entwicklung robuster Differenzierungstechnologien eine Schl\u00fcsselkomponente zur Erreichung einer Superausrichtung ist.<\/p>\n\n\n\n

      Abschluss<\/strong><\/h1>\n\n\n\n

      Zusammenfassend l\u00e4sst sich sagen, dass die Aufgabe, zwischen von Menschen und Maschinen generierten Texten zu unterscheiden, erhebliche Herausforderungen und Implikationen mit sich bringt. Die Entwicklung einer zuverl\u00e4ssigen Differenzierungstest-Engine ist mit ethischen \u00dcberlegungen, technischen Innovationen und umfassenderen KI-Ausrichtungsproblemen verkn\u00fcpft. Um in dieser komplexen Landschaft zurechtzukommen, ist es unerl\u00e4sslich, einen multidisziplin\u00e4ren Ansatz zu verfolgen und Erkenntnisse aus der Informatik, Ethik und regulatorischen Rahmenbedingungen zu integrieren.<\/p>\n\n\n\n

      Wenn wir die Probleme untersuchen, mit denen wir beim Bau allgemeiner Differenzierungsmaschinen konfrontiert sind, stellen wir schnell fest, dass dieses Problem in eine Vielzahl verwandter Probleme eingebettet ist. Gegnerische Angriffe, beispielsweise auf Bilderkennungssysteme, haben gezeigt, dass wir die Widerstandsf\u00e4higkeit dieser Modelle konsequent \u00fcbersch\u00e4tzen. K\u00fcrzlich wurde gezeigt, dass sogar ein mittelm\u00e4\u00dfiger Spieler mit Hilfe einer anderen KI, die einen Exploit gefunden hatte, gegen ein Top-Go-Programm gewinnen konnte: Vice-Artikel<\/a>.<\/p>\n\n\n\n

      Daher ist es sehr wahrscheinlich, dass selbst wenn wir einen Algorithmus entwickeln, der HGT zun\u00e4chst von MGT unterscheiden k\u00f6nnte, dasselbe Programm anschlie\u00dfend auf sich selbst angewendet werden k\u00f6nnte, um das Ergebnis umzukehren. Ein weiterer interessanter Aspekt ist, dass alle digitalen Computer Turingmaschinen sind, was bedeutet, dass jeder zur Unterscheidung entwickelte Algorithmus auch zur Verschleierung verwendet werden k\u00f6nnte.<\/p>\n\n\n\n

      Papiere<\/strong><\/p>\n\n\n\n