Modelpublic

tet-ana/decoder-only-transformer

sourceHugging Faceupdated 1y agoView on Hugging Face

0likes5downloads

Model Card

Decoder-Only Transformer (Eigenbau)

Dies ist ein einfacher autoregressiver Decoder-Only Transformer, der von Grund auf in PyTorch implementiert wurde.

Modellbeschreibung

—Transformer-Decoder-Architektur
—Trainiert auf WikiText-2-Dataset
—Tokenizer: GPT-2

Verwendungszweck

Dieses Modell dient zur Demonstration, wie man ein autoregressives Sprachmodell selbst implementiert.

Tags

—pytorch
—transformer
—language-modeling
—decoder-only
—education