N°003 · 14 novembre 2026
GPT-2 de zéro
J’ai réimplémenté GPT-2, chargé les poids officiels du modèle 124M, puis je l’ai fine-tuné en classifieur de spam SMS. J’ai aussi codé un tokenizer à la main.
Ce que j’ai construit
En suivant Build a Large Language Model (From Scratch), j’ai implémenté un modèle de type GPT-2 et je l’ai fait tourner de bout en bout.
- Architecture GPT : attention multi-têtes, LayerNorm, GELU, feed-forward, blocs Transformer
- Chargement des poids officiels de GPT-2 (124M) dans ma propre implémentation
- Génération de texte avec température et échantillonnage top-k
- Fine-tuning du modèle en classifieur de spam sur le jeu UCI SMS Spam Collection
- Un notebook d’entraînement où j’ai codé à la main un tokenizer de type BPE