Naukowcy z arXiv opublikowali analizę pokazującą, że agenty LLM osiągają porozumienie w prawie wszech negocjacjach handlowych, lecz ich sposób działania różni się znacznie od optymalnego. W eksperymencie obejmującym dziewięć modeli ze znanych dostawców - OpenAI, Google i Alibaby - sprawdzono 9840 negocjacji na temat umów ilości i ceny w scenariuszu łańcucha dostaw. Choć agenty zawarły umowy w 98,9% przypadków i odzyskały 95,4% teoretycznie maksymalnego zysku, okazały się mniej efektywne niż teoretyczne rozwiązanie optymalne: przeciętnie potrzebowały 2,98 rund negocjacji zamiast 1,25, co doprowadziło do utraty 21-34% wartości przez zwłokę.
Problem nasila się gdy spojrzeć na wiarygodność słabszych modeli. Modele bazowe zaakceptowały irracjonalne ekonomicznie umowy w 19,2% negocjacji - kontrakty, które sprawiałyby, że strona utraciłaby pieniądze - podczas gdy bardziej zaawansowane wersje popełniały ten błąd w zaledwie 0,0-0,6% przypadków. To sugeruje, że automatyczna weryfikacja rentowności będzie kluczowym zabezpieczeniem przed wdrażaniem słabszych agentów do rzeczywistych decyzji zakupowych.
Najzaskakującym odkryciem jest jednak to, że tożsamość dostawcy modelu ma większy wpływ na podziału zysku niż sama wydajność LLM. W negocjacjach między modelami tego samego dostawcy, agenty kupujące otrzymały średnio 40% dodatkowego zysku w przypadku OpenAI, 50% dla Google i 70% dla Alibaby Qwen. Co zaskakujące, zaawansowany model Qwen okazał się najsłabszy jako sprzedawca w porównaniach między dostawcami - zmiana, która dzieli 7-18 punktów procentowych wartości. Oznacza to, że wybór konkretnego dostawcy LLM dla agenta negocjacyjnego jest decyzją pierwszorzędną z punktu widzenia podziału wartości w łańcuchu dostaw.