ChatGPT научился «слышать» и «говорить»: OpenAI начала внедрять в чат-бота распознавание голоса и изображений. Теперь пользователи смогут побеседовать с чат-ботом голосом или обсудить с ним содержимое картинки.
Новые функции дают больше вариантов для использования чат-бота, отмечают в OpenAI. Разработчики привели несколько примеров. Так, пользователь сможет сфотографировать достопримечательность и расспросить чат-бота о ней или обсудить интересные детали. Можно будет сфотографировать содержимое холодильника и вместе с ChatGPT придумать, что приготовить. Или решить математическую задачу из учебника, сфотографировав её и попросив у ChatGPT подсказку.
По фото ChatGPT подскажет, как опустить сиденье велосипеда и какими инструментами для этого нужно воспользоваться
Поддержка голоса и изображений будет доступна для владельцев подписок Plus и Enterprise в течение ближайших двух недель, обещает OpenAI. Голосовые функции появятся в приложении для iOS и Android, а распознавание изображений будет доступно на всех платформах.
Пользователи могут выбрать один из пяти вариантов голоса (два мужских, два женских, один нейтральный). Для распознавания речи OpenAI использует свою систему Whisper, код которой она открыла в прошлом году. Разработчики утверждают, что система распознаёт речь на английском языке практически как человек. Для обучения модели использовали 680 тысяч часов речевых данных. Whisper может корректно воспринимать произношение с акцентом, распознавать фоновые шумы, а также технические термины и жаргон.
На прошлой неделе OpenAI представила новую версию своего генератора изображений DALL-E и объявила о планах интегрировать её в ChatGPT. Разработчики обещают, что DALL-E 3 будет лучше понимать промты и анализировать сложные инструкции, а не смешивать разные элементы подробного запроса, и генерировать «чрезвычайно детальные и точные изображения». У пользователей также появилась возможность составлять промты с помощью ChatGPT.
Источник: habr.com
