{"id":416,"date":"2024-02-25T09:02:00","date_gmt":"2024-02-25T09:02:00","guid":{"rendered":"https:\/\/www.aiui.cloud\/?p=416"},"modified":"2024-08-08T08:10:18","modified_gmt":"2024-08-08T08:10:18","slug":"memetic-investigations-1-foundations","status":"publish","type":"post","link":"https:\/\/www.aiui.cloud\/de\/2024\/02\/25\/memetic-investigations-1-foundations\/","title":{"rendered":"Memetische Untersuchungen 1: Grundlagen"},"content":{"rendered":"Lesezeit: <\/span> 7<\/span> Protokoll<\/span><\/span>\n

<\/p>\n\n\n\n

\"Ein<\/figure>\n\n\n\n

In dieser Serie wird das Ph\u00e4nomen der Aufmerksamkeitsenergie untersucht und warum sie intelligente Agenten antreibt, egal ob sie von Natur aus geboren oder anderweitig erschaffen wurden. Das von mir verwendete Aufmerksamkeitskonzept ist die Memetik. Es wird entscheidend sein zu verstehen, warum die biologische Evolution von vertikalen, erblichen Evolutions- und Mutationsmechanismen zu horizontalen, memetischen Informationstransportmitteln \u00fcberging und warum das Gehirn und sein neuronaler Inhalt zum Motor dieser Evolution wurden. In sp\u00e4teren Episoden werde ich zeigen, warum Simulationen so wichtig sind und warum es kein Zufall ist, dass der produktivste Spielplatz f\u00fcr technologische und andere Innovationen im \u00fcberm\u00e4\u00dfigen Wildtrieb h\u00f6herer S\u00e4ugetiere liegt.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Kurze Einf\u00fchrung in Memes und Tokens<\/h1>\n\n\n\n

\u00dcberlebensmaschinen, die die Zukunft simulieren k\u00f6nnen, sind \u00dcberlebensmaschinen, die nur durch Versuch und Irrtum lernen k\u00f6nnen, einen Schritt voraus. Das Problem mit offensichtlichem Ausprobieren ist, dass es Zeit und Energie kostet. Das Problem mit offensichtlichem Irrtum ist, dass er oft t\u00f6dlich ist \u2026 Die Entwicklung der Simulationsf\u00e4higkeit scheint im subjektiven Bewusstsein gipfelt zu haben. Warum dies geschehen ist, ist f\u00fcr mich das tiefste R\u00e4tsel der modernen Biologie.<\/em><\/p>\n\n\n\n

Richard Dawkins<\/em><\/a><\/p>\n\n\n\n

Kap. 4. Die Genmaschine \u2013 Das egoistische Gen (1976, 1989)<\/em><\/p>\n\n\n\n

\u201eDas egoistische Gen\u201c von Richard Dawkins, das erstmals 1976 ver\u00f6ffentlicht wurde, ist ein bahnbrechendes Werk, das die genzentrierte Sicht der Evolution popul\u00e4r machte. Dawkins argumentiert, dass die grundlegende Selektionseinheit in der Evolution nicht der einzelne Organismus, nicht die Gruppe oder Art, sondern das Gen ist. Er schl\u00e4gt vor, dass Gene als Erbeinheiten \u201eegoistisch\u201c sind, da sie Verhaltensweisen und Strategien f\u00f6rdern, die ihre eigenen Chancen auf Replikation maximieren. Aus dieser Perspektive werden Organismen als Vehikel oder \u201e\u00dcberlebensmaschinen\u201c betrachtet, die von Genen geschaffen werden, um ihre eigene Replikation und Weitergabe an zuk\u00fcnftige Generationen sicherzustellen.<\/p>\n\n\n\n

Dawkins f\u00fchrt das Konzept des \u201eMems\u201c als kulturelle Parallele zum biologischen Gen ein. Die Memetik, wie sie von Dawkins definiert wird, ist der theoretische Rahmen zum Verst\u00e4ndnis, wie sich Ideen, Verhaltensweisen und kulturelle Ph\u00e4nomene in menschlichen Gesellschaften reproduzieren und weiterentwickeln. Meme sind Einheiten kultureller Information, die sich von Geist zu Geist verbreiten und dabei Variationen, Konkurrenz und Vererbung erfahren, \u00e4hnlich wie Gene in der biologischen Evolution. Dieses Konzept bietet einen Mechanismus zum Verst\u00e4ndnis der kulturellen Evolution und wie sich bestimmte Ideen oder Verhaltensweisen in menschlichen Populationen verbreiten und fortbestehen.<\/p>\n\n\n\n

Dawkins' Erforschung der Memetik legt nahe, dass Meme, genau wie das \u00dcberleben und die Reproduktion von Genen die biologische Evolution pr\u00e4gen, die Evolution von Kulturen beeinflussen, indem sie bestimmen, welche Ideen oder Praktiken sich verbreiten und welche nicht. Die Implikationen dieser Theorie erstrecken sich auf verschiedene Bereiche, darunter Anthropologie, Soziologie und Psychologie, und bieten Einblicke in menschliches Verhalten, kulturelle \u00dcbertragung und die Entwicklung von Gesellschaften im Laufe der Zeit.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Token im Kontext von Sprachmodellen, wie sie in Modellen der GPT-Reihe verwendet werden, stellen die kleinste Verarbeitungseinheit dar. Texteingaben werden in Token zerlegt, die je nach Tokenisierungsprozess W\u00f6rter, Wortteile oder sogar Satzzeichen sein k\u00f6nnen. Diese Token werden dann vom Modell verwendet, um Text zu verstehen und zu generieren. Der Prozess beinhaltet die Kodierung dieser Token in numerische Darstellungen, die von neuronalen Netzwerken verarbeitet werden k\u00f6nnen. Token sind f\u00fcr den Betrieb von Sprachmodellen von entscheidender Bedeutung, da sie als grundlegende Bausteine zum Verstehen und Generieren von Sprache dienen.<\/p>\n\n\n\n

Meme umfassen Ideen, Verhaltensweisen, Stile oder Praktiken, die sich innerhalb einer Kultur verbreiten. Das Konzept des Memes ist analog zum Gen, da sich Meme replizieren, mutieren und auf Selektionsdruck im kulturellen Umfeld reagieren und so eine Art Evolution durch nat\u00fcrliche Selektion durchlaufen. Meme k\u00f6nnen alles M\u00f6gliche sein, von Melodien, Schlagworten, Mode und Technologie\u00fcbernahme bis hin zu komplexen kulturellen Praktiken. Dawkins' Hauptargument war, dass sich Meme genauso wie Gene verbreiten, indem sie \u00fcber Spermien oder Eier von K\u00f6rper zu K\u00f6rper springen, von Gehirn zu Gehirn verbreiten.<\/p>\n\n\n\n

Sowohl Meme als auch Tokens fungieren in ihren jeweiligen Bereichen als \u00dcbertragungseinheiten. Meme sind Einheiten kultureller Information, w\u00e4hrend Tokens Einheiten sprachlicher Information sind.<\/p>\n\n\n\n

Es gibt auch Unterschiede.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Meme entwickeln sich durch kulturelle Prozesse, wenn sie von einem Individuum zum anderen weitergegeben werden, und passen sich im Laufe der Zeit an ihr kulturelles Umfeld an. Token entwickeln sich jedoch nicht innerhalb des Modells selbst; sie sind statische Darstellungen der Sprache, die vom Modell verwendet werden, um Text zu verarbeiten und zu generieren. Die Entwicklung von Token zeigt sich in der Entwicklung besserer Tokenisierungstechniken und -modelle im Laufe der Zeit, die eher von Fortschritten auf dem Gebiet beeinflusst wird als von einem Anpassungsprozess innerhalb eines einzelnen Modells.<\/p>\n\n\n\n

Memes reproduzieren sich, indem sie von einem Geist in einen anderen kopiert werden, oft mit Variationen. Token werden bei der Textverarbeitung exakt repliziert, k\u00f6nnen aber in ihrer Darstellung in verschiedenen Modellen oder Tokenisierungsschemata variieren.<\/p>\n\n\n\n

Der Auswahlprozess f\u00fcr Meme umfasst kulturelle Akzeptanz, Relevanz und \u00dcbertragungswirksamkeit, was dazu f\u00fchrt, dass sich einige Meme verbreiten, w\u00e4hrend andere verschwinden. Bei Tokens geht es im Auswahlprozess eher um ihre Wirksamkeit bei der Verbesserung der Modellleistung, was dazu f\u00fchrt, dass bestimmte Tokenisierungsmethoden gegen\u00fcber anderen \u00fcbernommen werden, basierend auf ihrer F\u00e4higkeit, das Verst\u00e4ndnis oder die Generierung von Sprache zu verbessern. Im Auswahlprozess w\u00e4hrend des Trainings werden Tokens von anderen menschlichen K\u00f6pfen (Meme-Maschinen) gewichtet und nach Attraktivit\u00e4t ausgew\u00e4hlt; Token-Pools, die beliebter sind, haben eine h\u00f6here Wahrscheinlichkeit, aufzutreten.<\/p>\n\n\n\n

Memeplexe k\u00f6nnen komplex und abstrakt sein und ein breites Spektrum kultureller Ph\u00e4nomene umfassen, aber alle Meme, die sie enthalten, sind sehr einfach und elementar.<\/p>\n\n\n\n

Token sind im Allgemeinen sogar noch einfacher und stellen diskrete Elemente der Sprache dar, obwohl die Art und Weise, wie diese Token kombiniert und vom Modell verwendet werden, komplexe Ideen darstellen kann.<\/p>\n\n\n\n

\"Ein<\/figure>\n\n\n\n

Der Titel des Google-Artikels Aufmerksamkeit ist alles, was Sie brauchen<\/a> ist eine mutige Aussage, die einen deutlichen Wandel im Ansatz zur Entwicklung neuronaler Netzwerkarchitekturen f\u00fcr die Verarbeitung nat\u00fcrlicher Sprache (NLP) und dar\u00fcber hinaus widerspiegelt. Dieses 2017 von Vaswani et al. ver\u00f6ffentlichte Papier stellte das Transformer-Modell vor, das bei der Datenverarbeitung stark auf den Aufmerksamkeitsmechanismus angewiesen ist. Der Begriff \u201eAufmerksamkeit\u201c bezieht sich in diesem Zusammenhang auf eine Technik, die es dem Modell erm\u00f6glicht, sich zu unterschiedlichen Zeiten auf unterschiedliche Teile der Eingabedaten zu konzentrieren und dynamisch zu priorisieren, welche Aspekte f\u00fcr die jeweilige Aufgabe am relevantesten sind.<\/p>\n\n\n\n

Vor der Einf\u00fchrung des Transformer-Modells basierten die meisten modernen NLP-Modelle auf rekurrierenden neuronalen Netzwerken (RNNs) oder Convolutional Neural Networks (CNNs), die Daten sequenziell bzw. \u00fcber lokale rezeptive Felder verarbeiteten. Diese Ans\u00e4tze hatten Einschr\u00e4nkungen, insbesondere beim Umgang mit weitreichenden Abh\u00e4ngigkeiten innerhalb der Daten (z. B. beim Verstehen der Beziehung zwischen zwei weit auseinander liegenden W\u00f6rtern in einem Satz).<\/p>\n\n\n\n

Der Aufmerksamkeitsmechanismus, wie er im Transformer verwendet wird, behebt diese Einschr\u00e4nkungen, indem er es dem Modell erm\u00f6glicht, die Bedeutung verschiedener Teile der Eingabedaten unabh\u00e4ngig von ihrer Position abzuw\u00e4gen. Dies wird durch Selbstaufmerksamkeitsschichten erreicht, die Darstellungen der Eingabe berechnen, indem sie ber\u00fccksichtigen, wie sich jedes Wort auf jedes andere Wort im Satz bezieht, wodurch das Modell komplexe Abh\u00e4ngigkeiten und Beziehungen innerhalb der Daten effizient erfassen kann.<\/p>\n\n\n\n

Die wichtigste Innovation des Transformers und der Grund f\u00fcr den Titel des Artikels ist die ausschlie\u00dfliche Verwendung von Aufmerksamkeitsmechanismen ohne Abh\u00e4ngigkeit von RNNs oder CNNs zur Datenverarbeitung. Dieser Ansatz erwies sich als \u00e4u\u00dferst effektiv und f\u00fchrte zu erheblichen Verbesserungen bei einer Vielzahl von NLP-Aufgaben, wie etwa maschineller \u00dcbersetzung, Textzusammenfassung und vielen anderen. Seitdem ist er zur Grundlage f\u00fcr nachfolgende Modelle und Fortschritte auf diesem Gebiet geworden und veranschaulicht die Leistungsf\u00e4higkeit und Vielseitigkeit von Aufmerksamkeitsmechanismen in Deep-Learning-Architekturen.<\/p>\n\n\n\n

Man muss zugeben, dass diese Art der Aufmerksamkeit das k\u00fcnstliche Gegenst\u00fcck zum nat\u00fcrlichen Instinkt der Liebe ist, der S\u00e4ugetiergesellschaften zusammenh\u00e4lt. Was bedeuten w\u00fcrde, dass die Beatles doch recht hatten.<\/p>\n\n\n\n

\"Ein<\/h1>\n\n\n\n

Eine Information, die eine Transformation bewirkt<\/h1>\n\n\n\n

Was wir unter Information verstehen \u2013 der elementaren Einheit von Information \u2013 ist ein Unterschied, der einen Unterschied macht, und sie kann einen Unterschied machen, weil die neuronalen Bahnen, entlang derer sie wandert und st\u00e4ndig transformiert wird, selbst mit Energie versorgt werden. Die Bahnen sind bereit, aktiviert zu werden. Man k\u00f6nnte sogar sagen, dass die Frage bereits in ihnen implizit steckt.<\/em><\/p>\n\n\n\n

Gregory Bateson<\/em><\/a><\/p>\n\n\n\n

S. 459, Kapitel \u201eForm, Substanz und Unterschied\u201c \u2013 Schritte zu einer \u00d6kologie des Geistes (1972)<\/em><\/p>\n\n\n\n

<\/p>\n\n\n\n

Die Transformer-Architektur wurde bereits 1972 von Bateson angedeutet, Jahrzehnte bevor wir von neuronaler Plastizit\u00e4t wussten.<\/p>\n\n\n\n

Batesons Idee dreht sich um das Konzept, dass Information grunds\u00e4tzlich ein Muster oder ein Unterschied ist, der sich auf den Zustand oder das Verhalten eines Systems auswirkt. F\u00fcr Bateson sind nicht alle Unterschiede informativ; nur diejenigen, die in einem bestimmten Kontext zu irgendeiner Form von Ver\u00e4nderung oder Reaktion f\u00fchren, werden als Informationsvermittlung betrachtet. Diese Perspektive ist tief in der Kybernetik und der Erforschung von Kommunikationsprozessen in und zwischen lebenden Organismen und Maschinen verwurzelt.<\/p>\n\n\n\n

Das Zitat \u201eein Unterschied, der einen Unterschied macht\u201c bringt die Vorstellung auf den Punkt, dass Informationen nicht nur als Daten oder Rohdaten betrachtet werden sollten, sondern im Hinblick auf ihre F\u00e4higkeit verstanden werden sollten, die Dynamik eines Systems zu beeinflussen oder zu ver\u00e4ndern. Es ist ein grundlegendes Konzept zum Verst\u00e4ndnis, wie Informationen in verschiedenen Systemen verarbeitet und genutzt werden, von biologischen bis hin zu k\u00fcnstlichen Intelligenznetzwerken, und betont die relationale und kontextuelle Natur von Informationen.<\/p>\n\n\n\n

Dieses Konzept hat weitreichende Auswirkungen auf verschiedene Bereiche, darunter Psychologie, \u00d6kologie, Systemtheorie und k\u00fcnstliche Intelligenz. Es betont die relationale und kontextuelle Natur von Informationen und legt nahe, dass die Bedeutung einer Information nur im Verh\u00e4ltnis zum System verstanden werden kann, zu dem sie geh\u00f6rt. F\u00fcr die KI und die Kognitionswissenschaft unterstreicht dieses Prinzip die Bedeutung des Kontexts und der Vernetzung von Informationspfaden beim Verst\u00e4ndnis und der Gestaltung intelligenter Systeme.<\/p>\n\n\n\n

Hinton, Sutskever und andere argumentieren immer wieder, dass Modelle wie GPT 4.0, um fortgeschrittene Ebenen der nat\u00fcrlichen Sprachverarbeitung (NLP) zu erreichen, den Inhalt, mit dem sie sich befassen, wirklich verstehen m\u00fcssen. Dieses Verst\u00e4ndnis entsteht durch die Analyse riesiger Mengen digitaler Daten, die von Menschen erstellt wurden, wodurch diese Modelle eine realistische Sicht der Welt aus menschlicher Perspektive entwickeln k\u00f6nnen. Weit davon entfernt, blo\u00dfe \u201estochastische Papageien\u201c zu sein, wie sie manchmal in den Medien dargestellt werden, bieten diese Modelle eine differenziertere und fundiertere Widerspiegelung menschlicher Wissens- und Denkprozesse.<\/p>","protected":false},"excerpt":{"rendered":"

Lesezeit: <\/span> 7<\/span> Protokoll<\/span><\/span>In dieser Serie wird das Ph\u00e4nomen der Aufmerksamkeitsenergie untersucht und warum sie intelligente Agenten antreibt, egal ob sie von Natur aus geboren oder anderweitig erschaffen wurden. Das von mir verwendete Aufmerksamkeitskonzept ist die Memetik. Es wird entscheidend sein zu verstehen, warum die biologische Evolution von vertikalen, erblichen Evolutions- und Mutationsmechanismen zu horizontalen, memetischen Mitteln der Informations\u00fcbermittlung \u00fcbergegangen ist und warum \u2026 Weiterlesen<\/a><\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7,69],"tags":[73,74,72,75,71,76,70],"class_list":["post-416","post","type-post","status-publish","format-standard","hentry","category-magical-cat","category-memetics","tag-bateson","tag-beatles","tag-dawkins","tag-hinton","tag-meme","tag-sutskever","tag-tokens"],"_links":{"self":[{"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/posts\/416","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/comments?post=416"}],"version-history":[{"count":2,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/posts\/416\/revisions"}],"predecessor-version":[{"id":591,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/posts\/416\/revisions\/591"}],"wp:attachment":[{"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/media?parent=416"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/categories?post=416"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.aiui.cloud\/de\/wp-json\/wp\/v2\/tags?post=416"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}