Richtige Beobachtung: Genau wie von Transformermodellen generierte Bilder stecken auch Texte aus LLMs (zumindest momentan) noch tief im Uncanny Valley fest. Es ist weniger offensichtlich als bei Bildern, wo die Abweichung von der Realität buchstäblich auf den ersten Blick wahrnehmbar ist. Sobald man (als in einer Sprache geübte*r Leser*in) GPT-generierte Texte aber liest, spürt man schnell, dass etwas nicht stimmt: zu lange Bandwurmsätze, sich wiederholende Phrasen und so weiter. Aber wie lange wird das so bleiben? Wird sich diese Form von Text eventuell vorläufig sogar als eine spezifische Ästhetik etablieren (so wie es bei Bildern eine Weile der Fall war – ehe der typische „AI-Style“ als billiges Plastikimitat wahrgenommen wurde)?
Sharing music and art that is interesting and timely has such a lasting impression and generates and reinforces a feeling of true connection. When all we have to entertain and inform us is a firehose of information, doesn’t that cheapen the experience?
Christopher Kennedy-Nuñez „Owning Our Interests“
Ich frage mich allerdings, ob solche Überlegungen nicht zu allererst aus dem melancholisch-nostalgischen Wunsch entstehen, Dinge zum allerersten Mal erleben zu können, jung zu sein und die Welt zu entdecken. Und zwar genauso wie damals: zusammen mit Freunden, unbeeindruckt von zu viel Vorwissen.
Nicht dass man mich hier falsch versteht: Ich habe nicht viel für die algorithmisch-opake Sortierung in sozialen Medien übrig. Ich bin überzeugt davon, dass ein soziales Web, in dem Empfehlungen und Trends organisch entstehen, die „gesündere“ Alternative zu Instagram, X und Co. ist. Ich glaube allerdings nicht, dass sich Christophers „firehose of information“-Problem damit löst.
Ein Peanuts-Strip von 1974.
Vielmehr denke ich, dass das Gefühl, von der Vielfalt der zur Verfügung stehenden Informationen überfordert zu sein, zutiefst menschlich ist und mit dem Alter wächst. Wir glauben irgendwann, die Welt jetzt endlich einigermaßen begriffen zu haben und werden dann doch immer wieder eines besseren belehrt. Neue Informationen und ganz allgemein Veränderungen kollidieren dann mit unseren im Laufe der Adoleszenz erworbenen „Glaubensgrundsätzen“. Die Dinge dagegen, die sich nicht verändern, fühlen sich irgendwann schal und billig an.
Wir brauchen also Neues und sind davon zugleich überfordert.
Keine neuen Argumente, aber gut zusammengefasst: Seit dem Aufstieg des Automobils im frühen 20. Jahrhundert sind Straßen Stück für Stück zu Autostraßen geworden. Radfahrerinnen werden dort noch so gerade geduldet, Fußgänger sind unerwünscht. Diese Default-Aufteilung des öffentlichen Raums drückt aus: Wer mit dem Auto unterwegs ist, hat mehr Rechte. Das wiederum führt zu den zahlreichen Situationen, in denen Kampf-Kfzler*innen sich dieses „Recht“ gegenüber Menschen auf dem Fahrrad herausnehmen.
Wenn es „der Gesellschaft“ gelingt, diese Grundeinstellung zu ändern, besteht vielleicht eine Chance, der Vorstellung vom „notwendigen“ Auto etwas entgegenzusetzen.
Ausführlicher Artikel zu den Bergen illegal in der Atacama-Wüste entsorgter Kleidung, über die man seit einigen Jahren immer wieder liest.
Auch wenn Julia Shipley und Muriel Alarcón, die Autorinnen des Stücks, sich Mühe geben, nicht nur zu skandalisieren, sondern auch Lösungswege (besondere Recyclingprojekte, bei denen Kleidungsreste zu Mulch verarbeitet werden, Non-Profits, die sich um die Entsorgung nicht-recyclebarer Kleidung kümmern, Importkontrollen usw.) aufzuzeigen, macht das Stück vor allem eines deutlich: Fast Fashion ist eine Bedrohung für den Planeten.
Faszinierendes Stück darüber, wie Musik über ein undurchsichtiges, vielschichtiges System aus Agenturen, Sub- und Tochterunternehmungen illegal bei den großen Musikstreamingservices hochgeladen und monetarisiert wird.
[…] the vast and arcane world of music streaming fraud, a realm where anonymous pirates are constantly devising new ways to steal from the $17 billion a year pool of royalty money intended for artists.
That’s a giant, tempting pot of gold for scammers around the world. Beatdapp, a Vancouver company that detects fraud for industry clients, estimates that a little more than 10 percent of that pot, about $2 billion, is swiped annually.
David Segal „Their Songs Were Stolen by Phantom Artists. They Couldn’t Get Them Back.“
Ein paar ganz interessante Gedanken zum Thema LLMs von Fernando Borretti:
But they can’t carry out complex tasks: very soon you run up against the limits of the context window. LLMs are like a tireless 120 IQ polymath with anterograde amnesia who forgets everything after ~10m of activity.
Fernando Borretti „Thoughts on LLM Agents“
Wer hin und wieder mit LLM-basierten Tools (wie etwa ChatGPT) herumspielt, stößt recht schnell und regelmäßig an die vielfältigen Grenzen, die diese Technik (zumindest bislang?) hat. Vor allem die „Halluzinations“-Problematik, also mit scheinbarem Selbstvertrauen ausgegebene Fehlinformationen, sind ein Problem. Aber auch sonst ist der Firnis, mit dem die LLMs so etwas wie (sprachliche) Intelligenz vortäuschen oft nur hauchdünn.
It is well known that LLM-written text has lower entropy than human-written text. So maybe there’s something analogous to a thermodynamic limit, where the complexity of the LLM completion and the complexity provided by the architecture taken together are insufficient to reach criticality and get self-sustaining output.
Entropie ist im Zusammenhang mit Texten (vereinfacht ausgedrückt) ein Maß für deren (Un)vorhersagbarkeit. Modelle wie GPT erlauben es, bis zu einem gewissen Grad, die Entropie des Outputs zu erhöhen (OpenAI nennt das in der API temperature). Doch damit steigt auch die Menge der „Halluzinationen“.
Borretti argumentiert, dass eigentlich Agents, also eine Art spezialisierte Subroutinen, die vom LLM gesteuert werden, die aussichtsreichste Möglichkeit darstellen, die Technik trotz dieser Probleme nutzbringend einzusetzen. Bislang allerdings fehle es an solchen wirklich guten Agents. Ob sie in den kommenden Jahren kommen, bleibt abzuwarten.
When the algorithms are determining everything we should be seeing, it’s a much less personal internet. The “For You” pages of the world are right, I am interested in that content, but I’m not seeing it from my friends, or that one author I like, or that random blog I found when I was learning about an obscure hobby. Especially now that Twitter is kind of a mess (I won’t get into other social networks, but they all feel like this lately), the networks of people that I know are really hard to navigate.
Cassidy Williams „I miss human curation“
Netter Blick zurück auf das „old, good Internet“ der 2000er-Jahre. Und auch wenn Cassidy selbst sagt, dass sie „definitely like an old woman talking about ‘the good ol’ days‘“ klingt, ist kaum zu eskamotieren, dass das Web mit dem rasanten Aufstieg der „sozialen“ Medien seine sozialen Seiten eingebüßt hat.
(Jaja, ich weiß, dass kein Mensch das Wort „eskamotieren“ kennt. Muss man auch nicht. Ich war einfach nur froh, es mal irgendwo benutzen zu können und mich damit als sprachgewandter Typ aufzuspielen. Sorry. Auflösung: Es bedeutet so viel wie „etwas verschwinden lassen“ oder „weg interpretieren“.)
Natürlich greift es zu weit, diesen Verfall des alten Internets einfach nur Facebook, Twitter und Co. anzulasten. Viele weitere Faktoren, die oft damit zu tun haben, dass irgendwo Geld verdient werden kann, haben dabei ebenfalls ihre Rollen gespielt.
Johannes Kuhn fasst von seinem „Internet Observatorium“ aus die letzten zwei Monate Diskussion rund um das Naziproblem auf Substack zusammen. Seine Meinung dazu: Die Problematik lässt sich im Sinne einer liberalen Gesellschaft nicht dadurch auflösen, dass man ein paar Nazis von der Plattform wirft, um es wieder gemütlicher zu haben.
Publizistisch betrachtet entspricht die Existenz von Spencers und meinem Substack auf einer gemeinsamen Plattform ungefähr einem Zeitungskiosk, an dem man die Wirtschaftswoche genauso kaufen konnte wie die Junge Freiheit oder irgendwelche Landser-Heftchen (auch wenn Substack nicht nur ein Kiosk ist, aber das führt zu weit).
Johannes Kuhn: „Substack und die Nazis“
Die Frage lässt sich damit in gewisser Weise darauf herunterbrechen, ob Plattformen wie Substack Infrastruktur sind und damit als Dumb Pipes begriffen werden müssen.
Eine mögliche Antwort darauf ist: Es gibt genug Alternativen. Niemand ist darauf angewiesen, Substack als Plattform zur freien Meinungsäußerung oder für die Monetarisierung derselben zu nutzen. Rechtsextremen und anderen fragwürdigen Gestalten dort Raum zu geben, ist dann mehr als einfach nur die Bereitstellung einer Internetleitung. Substack ist dann, um in Johannes‘ Bild zu bleiben, nicht nur Kiosk, sondern gleich auch Zeitungsverlag und damit inhaltlich mitverantwortlich für die publizierten Inhalte. Für andere Substack-Nutzer*innen ergäbe sich damit eine Situation, in der sie nicht nur im selben Kiosk wie die Junge Freiheit ausliegen, sondern im selben Verlag erscheinen.
Andererseits mag das zu einfach gedacht sein: Denn die großen Plattformen haben (ob man das will oder nicht) tatsächlich eine Bedeutung, die im Modell Verlag-Kiosk über die Rolle des Verlags hinausgehen. Sie erledigen auch den Betrieb des Kiosks und sind damit weniger gut zu substituieren. Das gilt zumindest für Anbieter wie Meta, TikTok oder meinethalben auch immer noch X – Substack ist im Vergleich zu diesen Plattformen natürlich bedeutend kleiner und damit einfacher auszutauschen.
Lesenswerter Artikel darüber, wie die Dominanz des Googleparadigmas (das ja letztlich auch von anderen Suchmaschinen „durchgesetzt“ wird) das Web in den letzten 20 Jahren verändert hat und die Betreiber*innen von Websites dazu treibt, ihre Seiten sowohl technisch und im Design als auch inhaltlich den Anforderungen der Suchmaschine unterzuordnen.
Aus grönländischen Gletschern abgebaute Eiswürfel werden in die Vereinigten Arabischen Emirate verschifft und dort verzehrt. Muss man auch erstmal sacken lassen.
