L'intelligenza artificiale a volte può sembrare un essere umano quando risponde a una domanda, ma si comporta davvero come un essere umano? No, dicono gli esperti. Quando si tratta di questioni computazionali, l’intelligenza artificiale sembra avere un modo diverso di arrivare alla risposta.
Immagina di dover risolvere un problema di matematica in cui Lana raccoglie 44 fragole venerdì. Quindi scegli 58 sabato. La domenica raccoglie il doppio delle fragole rispetto al venerdì. Quante fragole ha Lana? Se dovessi pensarci come un essere umano, probabilmente prima calcoleresti quanto fa due volte 44: 88. Poi faresti 44 + 58 + 88 e arriveresti a 190.
Grandi modelli linguistici
I ricercatori sull'intelligenza artificiale di Apple hanno scoperto che l'intelligenza artificiale gestisce tutto ciò in modo molto diverso. In carta Riguardo ai limiti del ragionamento matematico nei grandi modelli linguistici, scrivono che una volta aggiunte ulteriori informazioni, diventa molto confusa. Di per sé, l’intelligenza artificiale potrebbe risolvere il problema di cui sopra, ma se si facesse in modo che, ad esempio, Lana raccogliesse cinque fragole più piccole delle altre, le cose si complicherebbero. Sebbene queste informazioni aggiuntive siano irrilevanti e non abbiano nulla a che fare con la domanda di matematica, lasciano l'MBA molto confuso.
GPT-o1-mini suggerisce di sottrarre i kiwi più piccoli dal numero totale di kiwi di domenica. Secondo i ricercatori, ciò è dovuto al fatto che inizialmente i modelli non comprendono il problema. Spesso riescono a rispondere bene grazie ai dati di addestramento, ma quando si tratta di inferenza, le risposte diventano improvvisamente pazzesche. E non solo con l'intelligenza artificiale di OpenAI.
1/ I grandi modelli linguistici (LLM) possono davvero ragionare? O sono solo sofisticati abbinamenti di stereotipi? Nella nostra ultima prestampa, esploriamo questa domanda chiave attraverso uno studio ad ampio raggio sia di open source come Llama, Phi, Gemma e Mistral che dei principali modelli chiusi, tra cui… pic.twitter.com/yli5q3fKIT
— Mehrdad Farajtabar (@MFarajtabar) 10 ottobre 2024
Logica matematica
“Investighiamo la sensibilità del ragionamento matematico in questi modelli e mostriamo che le loro prestazioni peggiorano in modo significativo all’aumentare del numero di frasi nella domanda. Ipotizziamo che questo declino sia dovuto invece all’incapacità degli attuali studenti LLM di pensare in modo veramente logico tentare di ripetere i passaggi di ragionamento osservati nei dati di addestramento.
OpenAI non è d'accordo con la conclusione. Si afferma che a causa del prompt, l'intelligenza artificiale non risponde bene. Se l’intelligenza artificiale sia veramente capace di ragionare o meno rimane, in definitiva, una questione da ricercare ulteriormente, sebbene sia anche una questione di definizione.
Ulteriori informazioni sull'intelligenza artificiale.
