Maschinen lernen schneller als Menschen. Warum?

 Poesie

Titel; Wie lernt ein Maschinen-Programm

All Newsletters Read Online FOR SUBSCRIBERS MAY 5, 2023 How generative A.I. really works By Adam Pasick Hello! We’re back with a bonus edition of On Tech: A.I., adding to our five-part series. Over the next few weeks and months, we’ll be bringing you highlights of New York Times A.I. coverage, especially pieces that help you understand the underlying technology, and how to use it yourself. My colleague Aatish Bhatia wrote a fascinating article that reveals the inner workings of generative artificial intelligence software like ChatGPT. If you remember what Cade Metz and Kevin Roose showed you earlier, these large language models are notoriously opaque, but the basic idea behind them is surprisingly simple: They are trained by going through mountains of text, repeatedly guessing the next few letters and then grading themselves against the real thing. To show you what this process looks like, Aatish trained six tiny language models on some bodies of text: the complete works of Jane Austen and Shakespeare, plus the Federalist Papers, transcripts of the TV show “Star Trek: The Next Generation,” “Moby Dick,” and the Harry Potter novels. State-of-the-art models like GPT-4 from OpenAI are trained on hundreds of billions of words, for weeks and months. BabyGPT — the model created by Aatish for his article — is ant-size in comparison. It was trained for about an hour on a consumer-grade laptop on text sources of up to a million words. But that stripped-down approach makes it easier to peek under the hood and see how large language models really operate. Let’s walk through the process, starting with the Jane Austen bot, which we’ll prompt with the text, “‘You must decide for yourself,’ said Elizabeth.” (For the full interactive experience, click here.) Before training: Gibberish Initially, BabyGPT’s guesses are completely random and include lots of special characters. BabyGPT hasn’t yet learned which letters are typically used in English, or that words even exist. This is how language models usually start off: They guess randomly and produce gibberish. But they learn from their mistakes, and over time, their guesses get better. Over many, many rounds of training, language models can learn to write by figuring out statistical patterns that piece words together into sentences and paragraphs. 250 rounds: English letters After about 250 iterations, or 30 seconds of processing on a modern laptop, BabyGPT has learned its ABC’s and is starting to babble: In particular, our model has learned which letters, like “E” are most frequently used in the text. It has also learned some small words: I, to, the, you, and so on, and is also inventing its own words, like “athok,” “trnglad,” and “hastamt.” Obviously, these guesses aren’t great. But BabyGPT keeps a score of exactly how bad its guesses are. Every round of training, it goes through the original text and compares its guesses with what actually comes next. It then calculates a score, known as the “loss,” which measures the difference between its predictions and the actual text. BabyGPT’s goal is to try to reduce this loss and improve its guesses. 500 rounds: Small words After a minute on a laptop, it can spell a few small words: It’s also starting to learn some basic grammar, like where to place periods and commas. But it makes plenty of mistakes. 5,000 rounds: Bigger words Ten minutes in, BabyGPT’s vocabulary has grown: BabyGPT now makes fewer spelling mistakes. It still invents some longer words, but not as often. It’s also starting to learn some names that occur frequently in the text. Its grammar is improving, too. Every round of training, an algorithm adjusts these numbers to try to improve its guesses, using a mathematical technique known as backpropagation. Tuning these internal numbers to improve predictions is how a neural network “learns.” 30,000 rounds: Full sentences An hour into its training, BabyGPT is learning to write in full sentences. Just an hour ago, it didn’t even know that words existed! The words still don’t make sense, but they definitely look more like English. BabyGPT doesn’t copy and paste sentences verbatim; it stitches new ones together, letter by letter, based on statistical patterns that it has learned from the data. The neural network generates probabilities, rather than actual letters or words, which is why you can get a different answer every time you generate a new response. Diminishing returns Because the training data is relatively small, and we used a laptop rather than a huge array of computers, we quickly hit a point at which BabyGPT isn’t going to get much smarter. BabyGPT still has a long way to go before its sentences become coherent or useful. It can’t answer a question or debug your code. It’s mostly just fun to watch its guesses improve. But it’s also instructive. In just an hour of training on a laptop, a language model can go from generating random characters to a very crude approximation of language. Larger language models use more data and computing power to mimic language more convincingly. The week in A.I. news BabyGPT used an algorithm developed by Andrej Karpathy, a prominent A.I. researcher who recently joined OpenAI, the company behind ChatGPT. Karpathy was first exposed to artificial intelligence as a student at the University of Toronto, where he took a class by Geoffrey Hinton, known as “the Godfather of A.I.” Earlier this week, Cade scored an exclusive scoop: Hinton quit his job at Google, where he had worked for more than a decade, so he can freely speak out about the risks of A.I. “It is hard to see how you can prevent the bad actors from using it for bad things,” Hinton said. Read Cade’s full article for more details. Other news: White House Pushes Tech C.E.O.s to Limit Risks of A.I. Generative A.I. Start-Up Cohere Valued at About $2 Billion in Funding Round A.I. Is Getting Better at Mind-Reading Elon Musk Ramps Up A.I. Efforts, Even as He Warns of Dangers China Says Chatbots Must Toe the Party Line Need help? Review our newsletter help page or contact us for assistance. You received this email because you signed up for On Tech: A.I. from The New York Times. To stop receiving On Tech: A.I., unsubscribe. To opt out of other promotional emails from The Times, manage your email preferences. Explore more subscriber-only newsletters. Connect with us on: Change Your EmailPrivacy PolicyContact UsCalifornia Notices The New York Times Company. 620 Eighth Avenue New York, NY 10018

Welche Distanz fehlt zum Weisheit und Philipp Blom.

Poesie

Titel: DaSein-Sprech-Es

Kann ein Mensch für das Natur sprechen, das DaSein repräsentieren, das Universum sein?

Ja. Warum nicht. Jedes Mensch ist aus DaSein, deswegen schreibe *ich "daSein", um deutlich zu zeigen, dass Alle Lebendigkeit aus dem Gesamten ist, Es enthält und davon angetrieben wird.

Das daSein - klein vorne - ist jeweils eine mini-Portion des Ganzen, aus dem Stoff, das Alles ist, vergänglich, wie das Ganze, irrend, wie Alles, suchend und findend, wie das Universum.

Wäre ES nicht so, wären Wir nicht, und nicht so, wie auch Wir sind. Voller Mangel, immer auf das Suche nach Befriedigung, statt nach Befriedung.

Jetzt ist somit klar, dass jed-Es das selbe Potential ins ich trägt, fürs ICH, das DaSein zu stehen und zu sprechen, da -Es nicht bloss ein winziges Teil davon ist, sondern Alles davon auch ist. Wo ist das Material "hergestellt" worden, aus dem Alles ist? Was trägt die Informationen von Hier nach dort? Was hält Alles zusammen? Ist Alles in Uns.

Kann also ein Mensch für das DaSein vortreten? Ganz Da. Kann ein-Es für das Universum sprechen? Wahrhaftig, ohne Hinterhalt, ohne Feigheit, ohne Egoismus, ohne Selbst, für das Ganze. Ja.

Was ist Weisheit? Ohne Gewalt, ganz Wirklichkeit, vollem Gefühl, vollem Wissen, vollem Vergangenheit, ohne ich.

Wie weit ist das Mensch[heit] davon entfernt?

Mir ist bewusst, dass *ich Alles bin, Mangel und Fülle, Nichts und Alles, Energie und Supernova, Gewalt und Frieden, Dreist und Feig, Dumm und Klug.

Weise? Nein.

Poesie Ende

.

.

Welches ist freundlicher?

.

.

*ich, in zum aktuellen

April-Wetter passenden

Nieselregen-Outfit.

.

Nun folgt ein wenig Fremd-Lektüre.

Ein aktuelleres und kügeres Buch habe *ich schon lange nicht gelesen. Danke Philipp Blom! 😘

Hier ein Auszug:

.

.

Ich möchte wetten, dass auch dieses Buch ein Ladenhüter bleibt, so voller aktueller und kluger Selbst-Erkenntnis.

.

.

Derweil könnte wahre {Selbst-} Aufklärung neben wirklichem Frieden auch wirkliche Freiheit und echte Freude ein bringen.

.

.

.

.

Ich vermute, aktuell haben ein paar sehr wenigste Menschen bereits an erkannt, dass Sie, 

.

.

dass Sie, ohne das Selbst-Erkenntnis, Tiere zu sein, dass also auch all unsere Mit-Tiere und MitLebeWesen aus dem selben Stoff sind und die Gleichen Emotionen und Triebe sind, 

.

.

sich Selbst nicht anerkennen können.

Sich selbst fremd sind und bleiben. Nicht nur Descartes beweist die Folgen dieses Selbst-Un-Kenntnis. Und die Gewalt, die dieser Mensch ausgelitten hat, gilt bis Heute.

Selbst-Fremdheit bleibt nur Gewalt übrig. Sind wir eine gesunde Spezies? Wir könnten Alle bis zu 150 Jahre daSein, jed-Es. Die Allermeisten erleben nicht mal das Hälfte. Und sind in diesem kurzen daSein wie oft krank?

Woran liegt's? Was wissen Menschen vons ich? Was gut und was schlecht ist, für das daSein? Nichts? Was sehr wenig wäre. Und was kümmerts die Allermeisten?

Das Natur hat auch uns lediglich mit Grund-Kenntnissen ausgestattet, weil ES auch nicht mehr vons ICH weiss. Wir jedoch, haben vereinzelt schon profundes Wissen zusammen getragen, mehr als das DaSein wusste.

Was tun Wir damit? Vermitteln Wir es und ändern unser soSein dahin gehend, dass es Allen besser ergeht? Nein. Es bleibt Spezial-Wissen, feinst verteilt irgendwo, ohne Wirkung.

Macht- und Vermehrungs-Zwang sind um vieles wichtiger, als Gesundheit, Frieden in und zwischen Uns, wichtiger als Selbst- und UmWelt-Verantwortung, wichtiger als Freiheit und Wohlergehen.

Gewalt ist und bleibt unser soSein (Verhaltens) Hinter- und Untergrund. Das hat auch Uns geschaffen, geformt in Milliarden Sonnen-UmEllipsungen von Erde-Mond. Wir kennen nichts anderes.

Vom (Ver-) Schweigen (Intransparenz), wenn Information wichtig ist, bis hin zur tödlichen Gewalt. Die Wir gegeneinander alltäglich millionenfach hinnehmen, ohne je auch nur an eine Veränderung dieser Normalität zu denken.

Die Action-Blockbuster und Krimis brauchen die Meisten alltäglich, mit teils Hunderten von gemordeten, so neben bei, zum Abendbrot. Auch *ich, allerdings ist das schon etwas länger her.

Was also nun? Weiter so?

.

.

🤡