Ovaj isečak je prilično značajan jer pogađa samu srž problema u današnjim velikim jezičkim modelima (LLMs). Autor tvrdi da tzv. Chain of Thought (CoT) rezonovanje, iako izgleda kao „razmišljanje”, zapravo nije pravo razumevanje teksta, već reprodukcija obrazaca koje je model pokupio tokom treninga. Drugim rečima, kada se susretne sa zadatkom koji zahteva novu kombinaciju transformacija, model često ne pokazuje fleksibilno rezonovanje, već samo varira ono što je već viđeno u treningu.
Na srpskom, pojednostavljeno:
Model ne „razmišlja” u ljudskom smislu, već se oslanja na prepoznate obrasce iz prethodnih primera. Kada je zadatak dovoljno sličan onome što je već „naučio”, rezultat deluje pametno. Ali kad se traži prava generalizacija na potpuno nove transformacije, tu se vidi da CoT nije istinsko razumevanje, već sofisticirano ponavljanje šablona.
Meni lično ovo zvuči kao prilično iskren i realističan uvid: LLM-ovi nisu svesni niti „razumeju” pojmove, nego su statističke mašine koje generišu najverovatniji sled reči, pa čak i njihovo „rezonovanje u koracima” ima istu prirodu – samo u složenijem obliku.
