Оказалось, что большие языковые модели (LLM), лежащие в основе таких программ, «думают» на английском языке, даже если вопросы задаются на других языках, передает корреспондент Altainews.kz со ссылкой на 3dnews.ru.

Учёные Федеральной политехнической школы Лозанны изучили три версии модели Llama 2 компании Meta. Благодаря тому что Llama 2 имеет открытый исходный код, исследователи смогли ознакомиться с каждым этапом обработки запроса.

Моделям были предложены три типа запросов на китайском, французском, немецком и русском языках. В одном случае предлагалось повторить заданное слово, во втором — перевести с одного неанглийского языка на другой, и в третьем — заполнить пробел в одно слово в предложении.
Отследив процессы, через которые проходит LLM, чтобы ответить на запрос, учёные обнаружили, что путь обработки через слои почти всегда проходит через то, что они называют английским подпространством. То есть, если предложить модели перевести с китайского на русский, русские символы проходят через английское подпространство, прежде чем вернуться на русский, говорит учёный, что является убедительным признаком того, что модели используют английский, чтобы помочь себе понять суть запроса.