ChatGPT теперь помощник, который может видеть, слышать и говорить.
ChatGPT, разработанный OpenAI, представляет новые возможности, которые позволяют вам взаимодействовать посредством голоса и изображений, предлагая интуитивно понятный интерфейс и больше способов интеграции ChatGPT в вашу повседневную жизнь. В недавнем объявлении на своем веб-сайте OpenAI решила заранее раскрыть эти новые функции. Кроме того, он также подчеркнул преимущества, которые они приносят, и проблемы, которые они создают на растущем рынке ИИ.
Темы этой статьи:
ChatGPT: голосовое взаимодействие
Благодаря новым голосовым функциям пользователи могут интерактивные разговоры с ChatGPT. Это позволяет использовать помощника даже в движении, увеличивая потенциал чат-бота. Например, пользователь может попросить ChatGPT рассказать детскую историю в дороге, что сделает ее более увлекательной.
Или во время ужина с друзьями может возникнуть дискуссия по конкретной теме; в этом случае пользователи могут использовать бота для получения точной информации и конструктивного разрешения спора.
Голосовая технология ChatGPT использует усовершенствованная модель преобразования текста в речь. В сотрудничестве с профессиональными актерами озвучивания эта модель способна генерировать гуманоидный звук из текста и коротких голосовых образцов, что делает взаимодействие с ChatGPT еще более естественным и интуитивно понятным. Также благодаря Whisper, системе распознавания речи с открытым исходным кодом, разработанной OpenAI, произнесенные слова транскрибируется в текст с большой точностью, что позволяет чат-боту понимать запросы пользователей и эффективно реагировать на них.
ChatGPT: визуальное взаимодействие
Как указано выше, модель ИИ теперь может проанализировать одно или несколько изображений, позволяющий пользователям решать проблемы, планировать питание или анализировать сложные графики. Например, пользователь может отправить фотографию содержимого своего холодильника. Поэтому чат-бот следует использовать проанализировать присутствующие продукты и предложить рецепты на основе этих ингредиентов, также предоставление пошаговых инструкций по приготовлению.
См. также: GPT-4: Gemini станет конкурентом Google. Вот различия
Кроме того, если пользователю необходимо сосредоточить внимание на определенном элементе изображения, Мобильное приложение ChatGPT включает в себя инструмент рисования. что позволяет выделить определенные области изображения, делая общение и анализ еще более точными и персонализированными.
Понимание изображений обеспечивается мультимодальными моделями GPT-3.5 и GPT-4. Эти продвинутые модели они применяют свои языковые навыки к широкому спектру изображений, таких как фотографии, снимки экрана и документы. которые содержат как текст, так и изображения, что позволяет ChatGPT точно и подробно понимать и интерпретировать визуальный контекст.
Стоит отметить, что из poco OpenAI интегрировал не только это Canva но и DALL-E 3 в чатGPTили генеративная модель изображения.
Когда и для кого это будет доступно
В ближайшие две недели OpenAI внедрит голос и изображения в ChatGPT для пользователей. пользователи с подписками Plus и Enterprise.
Будет доступна функция, позволяющая голосовое взаимодействие на iOS и Android но не в веб-версии, которой пользуется большинство людей.
Вместо этого будет доступна функция, позволяющая визуальное взаимодействие. на всех платформах, следовательно, Android, iOS и Интернет.
Источник | OpenAI
