Ученым НИУ ВШЭ удалось сократить обучение генеративных нейросетей

Ученые из НИУ ВШЭ создали концепцию, которая может на несколько пар порядков ускорить процесс обучения генеративных нейросетей, и использовать их для разработки более совершенных систем ИИ.

Раньше для подготовки генеративной нейросети к решению нестандартных задач, для примера, рисования портретного стиля в духе студии Pixar, приходилось дополнительно обучать почти все имеющиеся параметры, а это около 30 млн переменных. Поставив себе цель «уменьшить их число», ученые поняли, что нет необходимости переобучать весь генератор, чтобы получить только измененный стиль картинки. 

За последние несколько лет специалисты смогли продвинутся в создании систем искусственного интеллекта и реализовали нейросети, которые могут выполнить сложные задачи и мыслить творчески, создав, тем самым, более совершенные прообразы искусства и технологий. Кроме этого, были реализованы системы ИИ, способные нарисовать картины и «раскрашивать» видеоизображения в духе Винсента Ван Гога или Василия Кандинского.

Это стало доступным в связи с появлением так называемых GAN-сетей, способных не только узнавать различные объекты или доводить задачу до логического конца, но и придумывать что-то кардинально новое. По правилам, система делится на два соперничающих между собой нейросетевых блока, один из которых, «генератор», создает новые варианты, а другой, «инспектор» - пытается разобрать: допустила ли первая часть сети ошибку, и укладываются ли результаты работы в заданные критерии.

Ускоренное обучение нейросетей

GAN-сеть достаточно сложно обучить определенным действиям и получить максимум её производительности, но она работает гораздо надежнее и ведет себя более устойчивее после обучения, чем другие виды ИИ. Российские ученые думали, каким образом можно упростить процедуру вторичного обучения похожих систем машинного обучения для решения несколько иных задач.

Задачу смогли решить для нейросети StyleGAN2, которая превращает случайный шум в реалистичное изображение. Для обучения системы используют более 30 миллионов переменных, влияющих на преобразование шумов в изображение, и еще, каким образом «генератор» и «инспектор» создают и назначают картинки.

Российские ученые смогли сократить число параметров для обучения практически на четыре порядка с помощью подхода, который позволяет контролировать работу нейросети при помощи всех шести многомерных векторов, любой из которых содержит почти одну тысячу переменных. Это позволяет на несколько пар порядков уменьшить время обучения, и сохранить необходимый для этого объем памяти.

Данный метод можно применять не только для ускоренного обучения GAN-сетей, но и реализации так называемых «гиперсетей», которые могут адаптироваться к решению большого числа похожих задач. Это позволит увеличить практическую применимость систем ИИ, подчеркнули ученые.

Источник: ТАСС