Новое исследование ученых из корпорации Apple в области искусственного интеллекта выявило значительные недостатки в способности больших языковых моделей к базовому рассуждению. Об этом сообщает Esport.ru.

Эксперимент, проведенный командой Apple, показал, что языковые модели, включая ChatGPT, разработанный компанией OpenAI, испытывают сложности с математическим рассуждением. В ходе тестирования ученые обнаружили, что даже небольшие изменения в числовых значениях или формулировке задач могут значительно повлиять на результат.

«Производительность всех моделей падает, когда в вопросе меняются только числовые значения. Более того, хрупкость математических рассуждений в этих моделях демонстрирует, что их производительность значительно ухудшается по мере увеличения количества предложений в вопросе», – говорится в исследовании. Также отмечается, что на текущем этапе развития крупные языковые модели лишены навыков формального рассуждения. Они скорее сопоставляют шаблоны.