GPT-3

Rozbalit box

Obsah boxu

GPT-3 (z anglického Generative Pre-trained Transformer 3) je třetí generace velkého jazykového modelu z rodiny GPT, vyvinutá společností OpenAI. Model byl představen v červnu 2020 a ve své době představoval největší a nejvýkonnější veřejně známý jazykový model, čímž se stal významným milníkem v oblasti umělé inteligence a zpracování přirozeného jazyka (NLP).

GPT-3 je založen na transformerové architektuře a obsahuje přibližně 175 miliard parametrů, což bylo výrazné navýšení oproti předchozímu modelu GPT-2, který měl 1,5 miliardy parametrů. Model byl trénován na rozsáhlém textovém korpusu zahrnujícím data z internetu, knihy, encyklopedie, noviny, fóra a další otevřené zdroje textu.

Model GPT-3 umožňuje generovat přirozený jazyk ve formě odpovědi na otázky, shrnutí, překladů, kreativních textů, kódování v různých programovacích jazycích, psaní esejí, básní, a dalších typů výstupů. Díky své velikosti vykazuje schopnosti zero-shot a few-shot learning, což znamená, že je schopen vykonávat úkoly bez nutnosti speciálního doladění.

Přestože GPT-3 není multimodální jako pozdější GPT-4, jeho schopnosti v oblasti textu umožnily vznik mnoha nových aplikací a startupů. Model byl zpřístupněn prostřednictvím OpenAI API a využíván ve službách jako Copilot od GitHub, Jasper AI, Notion AI a dalších.

Model byl zároveň předmětem debat o bezpečnosti, dezinformacích, etice, předsudky v AI a vlivu na trh práce. Byl prvním modelem, kvůli němuž OpenAI začala uplatňovat více uzavřený přístup k distribuci svých technologií.