Пресс-служба «Яндекс» рассказала Хабру о релизе диффузионной нейросети Yandex AI Rendering Technology (YandexART), которая создаёт изображения и анимации по текстовому описанию. В компании отметили, что нейросеть понимает российский культурный код.
Особенность YandexART заключается в том, что нейросеть знает известные места в России, выдающихся личностей разных эпох и знакома с персонажами сказок и мультфильмов. Для обучения специалисты «Яндекса» использовали набор данных из 330 млн изображений с текстовым описанием. Картинки для датасета отбирали с помощью режима тройной фильтрации, чтобы до обучения дошли лучшие.
Для повышения качества генерации задействовали дополнительный этап обучения с подкреплением. После генерации нескольких сотен изображений на одну тему сотрудники выбирают самые удавшиеся. Так нейросеть научилась генерировать красивые картинки. Кроме того, разработчики применили новый алгоритм распознавания текста, что помогает нейросети правильно понимать пользователей.
YandexART уже работает в «Шедевруме» и «Яндекс Бизнесе». В первом случае пользователи могут создавать изображения по произвольному описанию, а во втором — картинки генерируются автоматически при создании рекламных объявлений. В ближайшее время поддержка YandexART появится в «Яндекс Клавиатуре».
Источник: habr.com
