Meta представляет ImageBind, новую мультисенсорную модель искусственного интеллекта
Направление на этой неделе объявила о новая модель искусственного интеллекта (ИИ) открытый источник связывание нескольких типов данных, включая текст, аудио, визуальные данные, показания температуры и движения. На данный момент модель является лишь исследовательским проектом, без непосредственного практического или потребительского применения. Тем не менее, это указывает на будущее систем генеративный искусственный интеллект, способный создавать захватывающий опыт и мультисенсорный. Его зовут Мета привязка изображения и мы объясним, как это работает.
Meta представляет ImageBind — новую модель мультисенсорного ИИ с открытым исходным кодом. Вот как это работает и что может
Новинка называется Meta ImageBind и является первой, объединить шесть типов данных в единое многомерное пространство. Шесть типов данных, включенных в модель:
- Визуальные эффекты (в виде изображений и видео)
- Термическое (инфракрасное изображение)
- Тексты
- Аудио
- Подробная информация
- Показания движения, генерируемые инерциальным измерительным блоком или IMU
См. также: Meta представляет SAM, ИИ, который идентифицирует отдельные элементы в изображениях.
Идея состоит в том, что будущие системы ИИ смогут перекрестная ссылка на эти данные так же, как современные системы делают для ввода текста. Представьте себе, например, футуристическое устройство виртуальной реальности, которое генерирует не только звуковые и визуальные входные данные, но также наше окружение и наше движение на физической сцене. Пользователь может попросить инструмент подражать долгому морскому путешествию, и посадил бы его не только на корабль с рокотом волн на заднем плане, но и с качающейся палубой под ногами и прохладным бризом океанского воздуха. Идея состоит в том, что платформа объединяет различные форматы данных для получения результата.
В своем блоге Meta отмечает, что могут быть добавлены другие сенсорные входные потоки к будущим моделям, включая «осязание, речь, обоняние и сигналы мозга фМРТ“. Эта недавно выпущенная функция еще не готова, поэтому сообщество не может протестировать ее на этом раннем этапе, хотя она находится на продвинутой стадии разработки.
