Созданы алгоритмы для проверки ИИ-систем на «галлюцинации»

«Ученые МГППУ разработали алгоритмы и ПО, позволяющие проверять корректность содержания ответов интеллектуальных ассистентов и генерировать запросы по заданной аннотации ответа, автоматизируя работу промпт-инженеров», — сообщили ТАСС в пресс-службе университета.

Для проверки языковых моделей авторы предложили использовать два алгоритма: один решает задачу подбора запроса, другой — оценивает правдоподобность утверждений.

В основу нового подхода заложено представление запросов и ответов как элементов специальных метрических пространств, в которых расстояния между текстами задаются через так называемое семантическое сходство. Количественные оценки различий между текстами позволяют формализовать их «смысловую близость» и применять методы статистического анализа, пояснили ТАСС в МГППУ.

Полученные результаты могут стать востребованными у программистов и математиков, работающих с большими языковыми моделями, считают авторы.

Источник: hi-tech.mail.ru