Popularne przekonanie, że chain-of-thought prompting zawsze poprawia rozumowanie modeli językowych, okazało się zbyt uproszczone. Badacze przeanalizowali ten problem używając koncepcji H_dp bandwidth bound, która wskazuje na rzeczywiste architektoniczne ograniczenie transformerów: obliczenia szeregowe przekraczające możliwości przetwarzania jednorazowego muszą być eksternalizowane, i właśnie to robi CoT.
Głównym odkryciem jest gradient głębokości szeregowej w ramach tego samego benchmarku - dokładność bez CoT zmniejsza się monotonicznie wraz ze wzrostem złożoności zadania, podczas gdy CoT pozostaje niezmienny. Na zadaniach P-complete (takich jak GSM8K i MATH) CoT zapewnia odzysk dokładności o 54-68 procent punktów. Natomiast na prostych zadaniach z klasy TC0 (MMLU, ARC) CoT jest strukturalnie zbędny, z poprawą od 0 do 4,6 procent punktu. Pośrednią kategorię stanowią zadania takie jak HumanEval, gdzie efekt CoT zależy od rozmiaru modelu: wzrost o 23,2 pp dla modelu 32B, 9,1 pp dla 8B, ale spadek o 28,7 pp dla najmniejszego modelu 7B.
Badanie przeprowadzone na modelach Qwen-2.5 (7B i 32B) oraz Llama-3.1-8B na pięciu standardowych benchmarkach NLP wykazało silną korelację między głębokością szeregową a efektem CoT (Spearman rho = 0,661). Wyniki sugerują, że inżynierowie mogą zoptymalizować promptowanie, wykorzystując CoT selektywnie dla złożonych zadań wymagających głębokich obliczeń, zamiast stosować go uniwersalnie.