GPT-2

Rozbalit box

Obsah boxu

GPT-2 (z anglického Generative Pre-trained Transformer 2) je druhá generace velkého jazykového modelu vyvinutá společností OpenAI. Tento model, který byl poprvé představen v únoru 2019, je považován za jeden z prvních kroků k dnešním generativním jazykovým modelům, jako je GPT-3 a GPT-4.

GPT-2 je založen na transformerové architektuře a má přibližně 1,5 miliardy parametrů, což bylo významně více než u jeho předchůdce GPT. Model byl trénován na rozsáhlých textových korpusech, které zahrnovaly data z různých veřejně dostupných textových zdrojů, jako jsou webové stránky, noviny, encyklopedie, knihy a další. GPT-2 je schopen generovat texty ve přirozeném jazyce, které jsou gramaticky správné a logicky koherentní.

Mezi klíčové schopnosti GPT-2 patří:

• Generování textu – schopnost vytvářet texty na základě zadaných vstupů, jako jsou nápady, témata nebo úvodní věty.
• Překlad – model byl schopen provádět základní strojový překlad mezi různými jazyky.
• Shrnování – generování zkrácených verzí textu, které zachovávají klíčové informace.
• Odpovědi na otázky – model dokáže reagovat na konkrétní dotazy, i když jeho odpovědi nejsou vždy faktograficky přesné.

GPT-2 měl zásadní vliv na rozvoj technologie generativních modelů a stál na počátku široké komerční a vědecké aplikace transformerových modelů. Byl to první model, který OpenAI uvolnila do veřejného použití, a to v několika velikostních variantách. Původně OpenAI záměrně neumožnila plný přístup k největší verzi modelu z obav z možného zneužití technologie, například k šíření dezinformace.

GPT-2 i přes svou velikost a výkonnost vyvolal velkou debatu o etických otázkách spojených s generativními modely, zejména o jejich schopnosti generovat texty, které mohou vypadat jako skutečné, ale mohou být potenciálně zavádějící nebo škodlivé.