Hva er store språkmodeller? What Are Large Language Models?

Norsk

LLMer er kunstige intelligenssystemer utviklet for å forstå, generere og samhandle med menneskelig språk. De er trent på enorme mengder data, noe som gjør dem i stand til å:

Generere tekst som etterligner menneskelig skriving.
Svare på spørsmål.
Oppsummere lange tekster.
Bistå med forskningsoppgaver, som litteraturgjennomganger.

LLMer er en spesialisert underkategori av dyp læring innenfor det bredere feltet maskinlæring, som igjen er en del av det omfattende domenet kunstig intelligens (KI).

https://medium.com/data-science-at-microsoft/how-large-language-models-work-91c362f5b78f

Eksempel: GPT-4o, en avansert LLM, kan hjelpe med å generere essays, forklare komplekse konsepter og til og med gi tilbakemelding på skriftlige arbeider.

Hvordan fungerer de?

https://www.economist.com/interactive/science-and-technology/2023/04/22/large-creative-ai-models-will-transform-how-we-live-and-work

LLMer forutsier det neste ordet i en sekvens ved å evaluere sannsynligheter, slik som vist med «kan» som den mest sannsynlige fortsettelsen av setningen med 62 %. Disse modellene baserer seg på mønstre lært fra omfattende datasett for å gjøre kontekstuelt presise forutsigelser og generere sammenhengende tekst.

LLMer trenes ved hjelp av en teknikk kalt usupervisert læring på store mengder tekstdata fra kilder som bøker, artikler, nettsteder og mer. Under treningen lærer modellen å forutsi det neste ordet i en setning ved å analysere mønstre, sammenhenger og strukturer i teksten. Denne prosessen, ofte kalt neste-token-prediksjon, oppnås gjennom nevrale nettverk (spesielt Transformer-arkitekturer), som behandler og koder kontekstuell informasjon fra input-dataene.

In English

LLMs are artificial intelligence systems designed to understand, generate, and interact with human language. They are trained on vast amounts of data, allowing them to:

Generate text that mimics human writing.
Answer questions.
Summarize large texts.
Assist with research tasks such as literature reviews.

LLMs are a specialized subset of Deep Learning within the broader field of Machine Learning, which itself is part of the expansive domain of Artificial Intelligence (AI).

https://medium.com/data-science-at-microsoft/how-large-language-models-work-91c362f5b78f

Example: GPT-4o, an advanced LLM, can help generate essays, explain complex concepts, and even provide feedback on your writing.

How do they work?

https://www.economist.com/interactive/science-and-technology/2023/04/22/large-creative-ai-models-will-transform-how-we-live-and-work

LLMs predict the next word in a sequence by evaluating probabilities, as shown with "can" being the most likely continuation of the sentence at 62%. These models rely on patterns learned from extensive datasets to make contextually accurate predictions and generate coherent text.

LLMs are trained using a technique called unsupervised learning on vast amounts of text data from sources like books, articles, websites, and more. During training, the model learns to predict the next word in a sentence by analyzing patterns, relationships, and structures in the text. This process, often referred to as next-token prediction, is achieved through neural networks (especially Transformer architectures), which process and encode contextual information from the input data.