Maschinen lernen schneller als Menschen. Warum?

 Poesie

Titel; Wie lernt ein Maschinen-Programm

All Newsletters Read Online FOR SUBSCRIBERS MAY 5, 2023 How generative A.I. really works By Adam Pasick Hello! We’re back with a bonus edition of On Tech: A.I., adding to our five-part series. Over the next few weeks and months, we’ll be bringing you highlights of New York Times A.I. coverage, especially pieces that help you understand the underlying technology, and how to use it yourself. My colleague Aatish Bhatia wrote a fascinating article that reveals the inner workings of generative artificial intelligence software like ChatGPT. If you remember what Cade Metz and Kevin Roose showed you earlier, these large language models are notoriously opaque, but the basic idea behind them is surprisingly simple: They are trained by going through mountains of text, repeatedly guessing the next few letters and then grading themselves against the real thing. To show you what this process looks like, Aatish trained six tiny language models on some bodies of text: the complete works of Jane Austen and Shakespeare, plus the Federalist Papers, transcripts of the TV show “Star Trek: The Next Generation,” “Moby Dick,” and the Harry Potter novels. State-of-the-art models like GPT-4 from OpenAI are trained on hundreds of billions of words, for weeks and months. BabyGPT — the model created by Aatish for his article — is ant-size in comparison. It was trained for about an hour on a consumer-grade laptop on text sources of up to a million words. But that stripped-down approach makes it easier to peek under the hood and see how large language models really operate. Let’s walk through the process, starting with the Jane Austen bot, which we’ll prompt with the text, “‘You must decide for yourself,’ said Elizabeth.” (For the full interactive experience, click here.) Before training: Gibberish Initially, BabyGPT’s guesses are completely random and include lots of special characters. BabyGPT hasn’t yet learned which letters are typically used in English, or that words even exist. This is how language models usually start off: They guess randomly and produce gibberish. But they learn from their mistakes, and over time, their guesses get better. Over many, many rounds of training, language models can learn to write by figuring out statistical patterns that piece words together into sentences and paragraphs. 250 rounds: English letters After about 250 iterations, or 30 seconds of processing on a modern laptop, BabyGPT has learned its ABC’s and is starting to babble: In particular, our model has learned which letters, like “E” are most frequently used in the text. It has also learned some small words: I, to, the, you, and so on, and is also inventing its own words, like “athok,” “trnglad,” and “hastamt.” Obviously, these guesses aren’t great. But BabyGPT keeps a score of exactly how bad its guesses are. Every round of training, it goes through the original text and compares its guesses with what actually comes next. It then calculates a score, known as the “loss,” which measures the difference between its predictions and the actual text. BabyGPT’s goal is to try to reduce this loss and improve its guesses. 500 rounds: Small words After a minute on a laptop, it can spell a few small words: It’s also starting to learn some basic grammar, like where to place periods and commas. But it makes plenty of mistakes. 5,000 rounds: Bigger words Ten minutes in, BabyGPT’s vocabulary has grown: BabyGPT now makes fewer spelling mistakes. It still invents some longer words, but not as often. It’s also starting to learn some names that occur frequently in the text. Its grammar is improving, too. Every round of training, an algorithm adjusts these numbers to try to improve its guesses, using a mathematical technique known as backpropagation. Tuning these internal numbers to improve predictions is how a neural network “learns.” 30,000 rounds: Full sentences An hour into its training, BabyGPT is learning to write in full sentences. Just an hour ago, it didn’t even know that words existed! The words still don’t make sense, but they definitely look more like English. BabyGPT doesn’t copy and paste sentences verbatim; it stitches new ones together, letter by letter, based on statistical patterns that it has learned from the data. The neural network generates probabilities, rather than actual letters or words, which is why you can get a different answer every time you generate a new response. Diminishing returns Because the training data is relatively small, and we used a laptop rather than a huge array of computers, we quickly hit a point at which BabyGPT isn’t going to get much smarter. BabyGPT still has a long way to go before its sentences become coherent or useful. It can’t answer a question or debug your code. It’s mostly just fun to watch its guesses improve. But it’s also instructive. In just an hour of training on a laptop, a language model can go from generating random characters to a very crude approximation of language. Larger language models use more data and computing power to mimic language more convincingly. The week in A.I. news BabyGPT used an algorithm developed by Andrej Karpathy, a prominent A.I. researcher who recently joined OpenAI, the company behind ChatGPT. Karpathy was first exposed to artificial intelligence as a student at the University of Toronto, where he took a class by Geoffrey Hinton, known as “the Godfather of A.I.” Earlier this week, Cade scored an exclusive scoop: Hinton quit his job at Google, where he had worked for more than a decade, so he can freely speak out about the risks of A.I. “It is hard to see how you can prevent the bad actors from using it for bad things,” Hinton said. Read Cade’s full article for more details. Other news: White House Pushes Tech C.E.O.s to Limit Risks of A.I. Generative A.I. Start-Up Cohere Valued at About $2 Billion in Funding Round A.I. Is Getting Better at Mind-Reading Elon Musk Ramps Up A.I. Efforts, Even as He Warns of Dangers China Says Chatbots Must Toe the Party Line Need help? Review our newsletter help page or contact us for assistance. You received this email because you signed up for On Tech: A.I. from The New York Times. To stop receiving On Tech: A.I., unsubscribe. To opt out of other promotional emails from The Times, manage your email preferences. Explore more subscriber-only newsletters. Connect with us on: Change Your EmailPrivacy PolicyContact UsCalifornia Notices The New York Times Company. 620 Eighth Avenue New York, NY 10018

Ist zum gelingenden daSein Intelligenz nötig?

Poesie

Titel: Was könnte das Wort Intelligenz enthalten?

https://www.nytimes.com/2023/04/11/science/artificial-intelligence-body-robots.html?

Kann Intelligenz schweben, körperlos, als z.B. Parfüm-Wolke?

Was ist überhaupt Intelligenz?

Sprache z.B., ist eine Familien-Vorgabe, denn kein-Es wählt das Sprache, das -Es als erstes spricht, -Es plappert nach, was vor-geplappert wird.

Ist das schon Intelligenz?

Denn fast Alle von uns plappern das gesamte daSein nach, was ihnen vor-geplappert wurde (>6000 Sprechs, mit Millionen kleinst-Gruppen Sprechs, also das volle Potenzial an Abschottung und Missverständnissen, statt einem Einigung auf eine Menschen-Sprache, die daneben jeden Platz für Milliarden einzel-Sprechs lässt), in wenig abgewandelter und wenig erweitertem Sprech.

Ist also Intelligenz irgendwas Besseres, als das Gehabe und Geheul von Wölfen, oder das Geschnatter von Enten, das ja auch von den Älteren an die Jungen übertragen wird, jeweils zwanghaft, weil sonst Verwirrung und Missverstehen?

Ist Intelligenz lediglich menschliche Anmassung und das blosse g/Glauben, menschliche Intelligenz (Frage: sind auch alle MitLebeWesen in und für ihr daSein / Körpes und UmWelt intelligent, also fähig und imstande zu überleben, zu vermehren und sich auch an Veränderung anzupassen? Ja.) wäre etwas Besonderes, quasi Outstanding von den MitLebeWesen?

Die Leses wissen *meine Antwort.

Kann also diese Intelligenz ohne Körpes auskommen?

Ja, klar.

Das, was das Wort Intelligenz in Uns enthält, kommt ohne Körpes aus. Und wir Menschen kämen auch ohne diese Intelligenz aus, das nur das Mindeste an Möglichkeiten des Kommunikation und nicht-sprachlichen Bewegungs-Abläufen und Fertigkeiten (Kochen, Handwerk z.B.) ist.

Das bislang fast blosses nachgeplapper von Traditionen, Natur-Vorgaben und dem Nutzen von angelerntem (auch Gene!) und notwendigem Wissen ist. Selbst-Erkenntnis ist vorteilhaft, auch wenn dabei blosses g/Glauben, wenn dabei Überheblichkeit erkennbar wird.

Klugheit, wie *ich es definiere, kommt ohne Intelligenz aus, braucht es als Grundkurs, als zu überwindende Basis. Aber selbst das bräuchte es nicht, wenn Klugheit von Beginn an vermittelt und vorgelebt würde.

Noch gilt Intelligenz uns fast Alles, wir glauben toll und grossartig zu sein, wenn uns Intelligenz attestiert wird, oders ich selbst so eingeschätzt wird. 😆

Verzeihung, dass *ich das so beurteile, aber *ich fahre fast täglich U-Bahn und sitze in Cafés und schaue TV. Und was *ich dabei spüre ist absolut kein Wohlgefühl, keine Aufmerksamkeit, keinen Respekt fürEinander.

Genau das also, was unsere Gesellschaften / Macht den Mitgliedern anbieten.

.

.

Poesie

Titel: Ein gelingendes daSein?

https://www.sueddeutsche.de/projekte/artikel/gesellschaft/glueck-beziehungen-robert-waldinger/

Warum sind diese - eigentlich Banalitäten! - kein Grundschul-Stoff? Warum bilden wir Einander so schlecht aus und schaffen somit ein Gesellschafts-System, in dem es nur sehr sehr wenigen von uns - und dabei völlig Willkürlich - möglich ist, es gelingt, ein gesundes, erfolgreiches und wohlbehaltenes daSein zu erleben?

Vielleicht, weil das Natur in uns nur zwei Handlungs-Folgen wirklich wichtig geMacht hat, Egoismus, den Trieb zu überleben und zu vervielfachen. Betonung: bloss zu ÜBERleben! Und nicht mitEinander. Und bloss zu überleben, ist fast Alles, was wir gegeneinander antun. Oder?

Auszug:

Mario Stäuble (SZ): Was haben Sie herausgefunden?

Robert Waldinger: Zuerst einmal ist es wichtig, für körperliche Gesundheit zu sorgen: gesunde Ernährung, viel Bewegung, kein Übergewicht, kein Alkoholismus. Nicht rauchen.

Mario Stäuble (SZ): So weit, so klar.

Robert Waldinger: Genau. Aber dann haben wir uns gefragt: Wie lässt sich am besten voraussagen, ob jemand glücklich altert? Und die Antwort war: Die Wärme der Beziehungen einer Person ist entscheidend.

Mario Stäuble (SZ): Haben Sie mit diesem Fazit gerechnet?

Robert Waldinger: Zuerst glaubten wir unseren eigenen Resultaten nicht. Klar, wir alle wissen, dass Körper und Geist zusammenspielen. Aber dass dieses Zusammenspiel so stark ist, dass Ihre Beziehungen beeinflussen, ob Sie eine Herzkrankheit bekommen ...

Mario Stäuble (SZ): Das hat Sie überrascht?

Robert Waldinger: Ja. Und so haben wir – und viele andere Forschende – die vergangenen zehn Jahre damit verbracht, diese Fragen zu ergründen: Wie hängt das zwischenmenschliche Leben mit körperlicher Gesundheit zusammen?

Mario Stäuble (SZ): Wie lautet heute Ihre Antwort?

Robert Waldinger: Ha! Eine Hypothese ist: Es hängt mit Stress zusammen. Beziehungen regulieren Stress. Ich mache Ihnen ein Beispiel: Wenn ich mich während meines Arbeitstages stark ärgere, schaltet mein Körper in einen „Fight or Flight“-Modus: Puls und Blutdruck steigen. Das ist so weit gut, weil es anregt – aber wenn der Stressmoment vorbei ist, soll sich der Körper auch wieder erholen.

Mario Stäuble (SZ): Da helfen gute Beziehungen?

Robert Waldinger: Sie kennen vielleicht das Gefühl: Wenn Sie mit einem Freund über Ihren Frust sprechen, spüren Sie die Entspannung fast physisch. Wer im Gegenzug niemanden hat, um sich auszutauschen, bleibt länger im „Fight or Flight“-Modus. Wir sehen bei einsamen Personen einen höheren Pegel an Stresshormonen. Wir sehen höhere Entzündungswerte. Also ja: Gute Beziehungen helfen.

Mario Stäuble (SZ): Können Sie genauer beschreiben, was eine „gute“ Beziehung ausmacht?

Robert Waldinger: Es gibt viele Elemente. Die nächsten Beziehungen haben mit Sicherheit zu tun. Wir erforschen ein Merkmal, das wir Bindungssicherheit nennen. Die Testfragen gehen so: Gibt es jemanden in Ihrem Leben, der für Sie da ist, wenn Sie in eine Notlage geraten? Wen könnten Sie mitten in der Nacht anrufen, wenn Sie krank sind oder Angst haben? Manche Studienteilnehmer geben eine ganze Liste von Personen an. Andere können niemanden nennen. Obwohl manche von ihnen verheiratet sind! Aber sie schreiben ihre Partnerin, ihren Partner nicht auf, zum Beispiel, weil die Beziehung zu distanziert geworden ist. Wir glauben, dass jede und jeder von uns mindestens eine solche Person braucht.

Mario Stäuble (SZ): Aber auch lockere Beziehungen sind wichtig, oder?

Robert Waldinger: Ja. Wenn Sie Kolleginnen und Kollegen haben, die Sie mögen, werden Sie auch lieber zur Arbeit gehen und Energie daraus ziehen. Aber es geht noch weiter: Nehmen wir zum Beispiel die Person im Café, von der Sie morgens Ihren Kaffee bekommen. Solche Begegnungen sind sehr kurz, aber sie bringen ein wenig Anerkennung, einige freundliche Worte – und das verursacht einen kleinen Schub positiver Energie.

Auszug Ende

.

.

Poesie

Titel: Weniger ist Mehr!

Das ist [un} heimlich unser fast (!) Aller Motto und Tun.

Ich "schwimme", langsam aufwachend, in einem Meer von Ignoranz und UnWillkommenheit.

Nichts ist darin wichtig, nichts darin ist wertvoll.

Leere Hüllen treiben darin und dahin, die nur tun, was vorgegeben und zum blossen überleben notwendig ist und das nicht-tun, was dieses Meer zu einem an Freude, Frieden und Freiheit (FFF) satten verändern könnte.

Wie lange wird uns dieses Meer noch [er] tragen? So unwichtig wie wir tun und sind.

Das DaSein hat schon Millionen Unwichtige Arten aussortiert, es ist ein Kommen und Gehen.

Und auch Wir haben es nicht geschafft wichtiges zu tun und zu etwas Aussergewöhnlichem zu reifen.

Überheblichkeit, {Selbst--}Ignoranz und Zerstörung sind nichts Aussergewöhnliches, gar Wichtiges.

Poesie Ende

🤡