1. Fogalom magyarul: transzformer modell

2. Fogalom angolul: transformer model

3. Meghatározás:

A transzformer modell egy forradalmi neurális hálózati architektúra, amelyet 2017-ben mutatott be Ashish Vaswani és társai az "Attention is All You Need" című tanulmányban. Ez a modell alapjaiban változtatta meg a természetes nyelvi feldolgozást és számos más gépi tanulási feladatot. A transzformerek legfontosabb újítása az úgynevezett figyelmi mechanizmus, amely lehetővé teszi a modell számára, hogy a bemenet legfontosabb részeire koncentráljon a kimenet előállítása során, és így hatékonyan kezelje a hosszú távú függőségeket az adatokban. A transzformer modellek két fő komponensből állnak: a kódolóból és a dekódolóból. Az előbbi felelős a bemeneti adat feldolgozásáért, míg utóbbi a kimeneti adat előállításáért. A legelterjedtebb transzformer modell alapú architektúrák közé tartozik a BERT (Bidirectional Encoder Representations from Transformers) és a GPT (Generative Pre-trained Transformer), amelyek nagy előrelépést értek el a nyelvi megértés és szöveggenerálás terén. A BERT modell például kiváló eredményeket ért el a kérdés-válasz feladatokban és szövegosztályozásban, míg a GPT modellek, különösen a GPT-3, képesek koherens és kreatív szövegeket generálni különböző témákban. A transzformer modellek folyamatos fejlődésével új lehetőségek nyílnak meg a mesterséges intelligencia és a gépi tanulás területén, lehetővé téve egyre komplexebb és fejlettebb alkalmazások létrehozását.

4. Hivatkozások:

• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is All You Need. In Advances in Neural Information Processing Systems (NeurIPS).

5. Megjegyzések:

6. Kulcsszavak:

mesterséges intelligencia, gépi tanulás, mély tanulás