Badacze zastosowali koncepty z fizyki statystycznej do problemu zmniejszania rozmiarów dużych modeli jezykowych, traktując pruning - czyli usuwanie zbędnych bloków - jako problem optymalizacji Isinga. Model Isinga to klasyczny model z fizyki, gdzie każdy element sieci może przyjmować jeden z dwóch stanów, a jego energia zależy od oddziaływań między sąsiednimi elementami.
Tradicyjne metody pruning-u polegają na prostym usuwaniu najmniej ważnych warstw lub neuronów na podstawie analiz wrażliwości lub wielkości wag. Nowe podejście jest bardziej zaawansowane - algorytm optymalizacji bierze pod uwagę złożone oddziaływania między blokami sieci, podobnie jak wylicza się stany równowagi w systemach fizycznych. To pozwala na znalezienie bardziej optymalnej kombinacji bloków do usunięcia, redukując rozmiar modelu przy zachowaniu jego zdolności obliczeniowych.
Metoda jest szczególnie ciekawa dla praktyki, bo rozmiary LLM-ów takie jak GPT czy Llama stają się coraz większym problemem - zarówno pod względem kosztów obliczeniowych jak i dostępności na urządzeniach końcowych. Inspiracja fizyką statystyczną mogłaby otworzyć nowe kierunki w optymalizacji modeli głębokich i sprawić, że duże modele będzie można efektywniej wdrażać.