Jazykový model

Rozbalit box

Obsah boxu

je o pojmu v oblasti výpočetní techniky. O jazykových modelech v lingvistice pojednává článek Model jazyka (lingvistika) O jiných významech pojednává stránka [[{{{2}}}]].

Jazykový model (anglicky language model) je v informatice typ statistického nebo neuronového modelu, který se používá pro reprezentaci pravděpodobnosti výskytu sekvencí slov, vět nebo znaků v přirozeném jazyke. Jazykové modely jsou klíčovou součástí mnoha aplikací zpracování přirozeného jazyka (NLP), včetně rozpoznávání řeči, překladu, autokorektury, chatbotů a generování textu.

Tradiční jazykové modely zahrnovaly n-gramové modely, které předpovídají další slovo v sekvenci na základě předchozích n slov. V moderním pojetí se jazykové modely často zakládají na hlubokém učení, zejména na transformerových architekturách. Mezi nejznámější jazykové modely této generace patří GPT, BERT (model), T5, LLaMA nebo Claude (AI).

Jazykové modely se obvykle trénují na rozsáhlých korpusech textu – např. z web, knih, encyklopedií nebo zpravodajství. Jejich schopnosti zahrnují nejen předpověď textu, ale i porozumění kontextu, převod mezi jazyky a vykonávání instrukčních úloh (např. odpovídání na otázky).

Zvláštní kategorií jsou tzv. velké jazykové modely (LLM – large language models), které mají miliardy parametrů a vykazují schopnosti srovnatelné s lidským porozuměním v určitých oblastech. Používají se v aplikacích jako jsou ChatGPT, Bing Chat, Gemini (AI) nebo AI asistenti pro firmy.

Vývoj jazykových modelů vyvolává také otázky týkající se etických dopadů, šíření dezinformací, autorských práv nebo soukromí uživatelů.