Ученые модернизировали генератор картинок из текста

Ученые улучшили нейросеть DALLE-E, генерирующую картинки на основе текста. У технологии есть возможность брать изображение и создавать новое виденье образа, изменяя детали в виде теней, структур и композиции, но не меняя суть объекта.

DALLE-E 2 - обновленная версия нейросети, которую в первые представили и начали тестировать OpenAl в январе 2021-го. Программу научили генерировать улучшенные изображения, качество увеличилось в 4 раза, если сравнивать с прошлой версией. Главная особенность нового обновления системы, в том что создание объекта проходит из-за того, что нейросеть опирается лишь на описание, которое прописано на английском языке. Первая картинка сгенерированная первой версией, а вторая - это результат работы обновленной.

Нейросеть умеет вносить новые объекты на изображение и редактировать фото. К примеру, DALL-E 2 может заменить или убрать на картинке собаку, или добавить надувного фламинго в помещении. Можно даже сгенерировать картинку с коалой, закидывающей баскетбольный мяч в кольцо.

DALL-E 2 способна создать новые иллюстрации живописи на основе существующих, но опираясь на оригинал. При выгрузке в нейросеть двух видов изображений, она будет генерировать третью, также опираясь на элементы и детали исходных изображений.

DALL-E 2 связывает совершенно антонимичные друг другу идеи. Результат изображений получается правдоподобным, и не понятно, что оказывается этого вживую и не существовало.

Старший вице-президент Мира Мурати, которая проводит исследования по продукту OpenAl показала на что способны алгоритмы системы, сгенерировав изображение по тексту: «фотография в макросъемке на 35-мм пленке большой мышиной семьи в шляпах у камина».

Источник: VC.RU