Sebastian Raschka opublikował kompleksową galerię architektur LLM zawierającą 45 wpisów z wizualnymi kartami modeli, dokumentującymi różne podejścia do budowy dużych modeli językowych. Projekt powstał, gdy autor czekał na release DeepSeek V4, który opóźnia się, i wykorzystał ten czas na zebranie, zorganizowanie i udoskonalenie materiału o architekturach LLM, które opisywał przez ostatnie lata.
Galeria łączy treści z wcześniejszych artykułów Raschki z dokumentacją kilku ważnych architektur, które do tej pory nie były szczegółowo omawiane. Każdy wpis zawiera wizualną kartę modelu, ułatwiającą zrozumienie kluczowych różnic między podejściami. Po podzieleniu się wstępną wersją, czytelnicy poprosili o wersję plakatową, którą autor udostępnił przez Redbubble. Wersja Medium (26,9 x 23,4 cali) okazała się wyraźna i czytelna w druku, choć najmniejsze elementy tekstu są dość małe na mniejszych rozmiarach.
To znacząca inicjatywa edukacyjna, ponieważ systematyzuje wiedzę o ewolucji architektur LLM w dynamicznie rozwijającym się polu. Raschka planuje regularnie aktualizować galerię, co czyni ją żywym zasobem dla badaczy, inżynierów i entuzjastów AI zainteresowanych zrozumieniem, jak różne warianty mechanizmu attention i inne komponenty architektoniczne wpływają na wydajność modeli.