Искусственный интеллект сдал экзамен на раввина

По сообщению сайта "Кипа", группа исследователей решила проверить, насколько современные модели искусственного интеллекта способны справляться с вопросами по Галахе. Для этого был создан проект HalachaBench, в рамках которого чат-ботам предложили ответить на реальные вопросы экзаменов Главного раввината.

Тест включал 60 вопросов по таким темам, как законы семейной чистоты, проведение свадеб, молитвы, благословения и сельскохозяйственные заповеди, которые выполняются в Эрец-Исраэль. Модели работали без доступа к интернету и справочной литературе, то есть в условиях, максимально приближенных к экзамену с "закрытыми книгами".

Лучший результат показала модель Claude Fable 5.1, набравшая почти 80 баллов из 100. За ней расположились GPT-6 Astra и GPT-6.1 Sol. Авторы проекта подчеркивают, что у экзаменов Главного раввината нет официальных ключей ответов, поэтому оценивание также проводилось при помощи алгоритмов искусственного интеллекта. Кроме того, модель, занявшая первое место, участвовала в составлении критериев проверки, что может повлиять на объективность итогов.

По словам исследователей, эксперимент не доказывает, что ИИ способен самостоятельно выносить галахические решения. Однако он показывает, что современные языковые модели уже обладают значительными знаниями в области еврейского закона и в будущем могут стать полезным инструментом для раввинов, преподавателей и учащихся.