MATHIS/index
← Retour à l’index

N°004 · 21 novembre 2026

Transformer anglais → français, de zéro

Un Transformer encodeur–décodeur complet en PyTorch pour traduire de l’anglais au français, construit deux fois : comme dans le papier de 2017, puis avec la recette moderne (RMSNorm, SwiGLU, RoPE).

Difficulté
★★★ Plongée
Statut
En cours
Code
english_to_french_transformer_practice ↗
Sujets
#pytorch #transformers #nlp
Voir le code sur GitHub ↗

Ce que j’ai construit

Un Transformer encodeur–décodeur complet en PyTorch, écrit de zéro et entraîné pour la traduction anglais → français.

Version 1 : le papier original

  • LayerNorm et réseau feed-forward position par position, faits main
  • Self-attention multi-têtes, self-attention masquée pour le décodeur, et cross-attention
  • Encodages positionnels sinusoïdaux
  • Blocs encodeur/décodeur empilés et assemblés en un Transformer complet

Version 2 : la recette moderne

  • RMSNorm à la place de LayerNorm
  • Couches feed-forward SwiGLU
  • Embeddings positionnels rotatifs (RoPE) à la place des encodages sinusoïdaux

Ce que j’en retiens

Construire les deux versions côte à côte m’a fait comprendre concrètement pourquoi les LLM modernes sont passés à RMSNorm, SwiGLU et RoPE.