В НИУ ВШЭ разработали нейросеть для оценки уровня владения английским языком

Нейросеть «ИИ Лингво» была создана в результате сотрудничества Центра искусственного интеллекта, Школы иностранных языков и онлайн-кампуса НИУ ВШЭ. Модель была обучена на основе тысяч экспертных оценок как устных, так и письменных текстов. Эта система предоставляет возможность оценить навыки устного и письменного общения на английском языке.

Для желающих определить свой уровень владения навыками говорения и письма предлагается выполнить конкретный набор заданий: написать эссе, ответить на вопросы интервью и подготовить монолог. Время на выполнение этих задач не превышает 60 минут, а доступ к тесту можно получить с любого устройства. Результаты с краткими комментариями становятся известны в течение 30 минут.

Формат тестирования позволяет получить представление о наиболее распространенных навыках, востребованных в устном и письменном общении. При оценке ответов нейросеть учитывает более 45 параметров, разработанных экспертами Школы иностранных языков НИУ ВШЭ. Результаты основаны на комплексной оценке лексических, грамматических, фонетических и стилистических аспектов речи, а также таких характеристик, как связность и логика изложения, умение описывать, рассуждать и повествовать.

По итогам выполнения заданий определяется общий балл и присваивается уровень владения языком, который может варьироваться от начального (Elementary) до свободного (Upper-Intermediate). Шкала уровней, разработанная в Школе иностранных языков НИУ ВШЭ и интегрированная в нейросеть, соответствует всем международным экзаменационным стандартам.

«Модель ИИ, способная оценивать устные и письменные задания со свободно конструируемым ответом, пока редкость для языкового образования. Ее можно отнести к авангардной категории оценочных систем на базе ИИ, так как нейросеть научена извлекать разнообразные сложные признаки речевого поведения для определения уровня сформированности коммуникативной компетенции кандидатов», — говорит руководитель Школы иностранных языков НИУ ВШЭ Екатерина Колесникова.

Модель была обучена на тысячах экспертных оценок, созданных реальными участниками академического общения. Процесс ее дообучения и улучшения продолжается. В настоящее время нейросеть находится на стадии бета-версии и проходит апробацию и калибровку с целью дальнейшего внедрения в оценку работ студентов на независимом экзамене по английскому языку. В будущем планируется, что нейросеть будет выступать в роли одного из экспертов.

«Проект по созданию ИИ Лингво — это пример адаптации больших фундаментальных моделей для конкретной прикладной области — образования. Мы прошли путь от проверки ряда научных гипотез до внедрения моделей в итоговый продукт, который доступен в формате онлайн-сервиса для самопроверки владения английским языком. Наша разработка обладает способностью одновременно оценивать как текстовые ответы, так и аудиоречь, а также комплексно оценивать уровень владения языком на основе множества критериев. Для этого нам пришлось проанализировать значительное количество существующих решений и, в конечном итоге, провести дообучение на работах, проверенных профессиональными лингвистами», — утверждает операционный директор Центра искусственного интеллекта Алексей Масютин.

В НИУ ВШЭ также сообщили о планах по разработке моделей для изучения других иностранных языков. Это позволит изучающим современные языки проводить самооценку своих знаний и получать быструю обратную связь, что даст возможность отслеживать собственный прогресс.

«Внедрение ИИ-решений в оценку языковых навыков кардинально меняет подход к изучению языков, делая этот процесс более удобным. Мы создаем инструмент, который позволяет не только фиксировать текущий уровень знаний, но и динамически отслеживать прогресс, предоставляя каждому возможность осуществлять регулярную и объективную самооценку», — подчеркивает проректор НИУ ВШЭ Сергей Рощин.

Бета-версия инструмента для самопроверки уровня владения английским языком будет доступна бесплатно по промокоду, который можно получить после регистрации на указанный электронный адрес.