OpenAI представляет Superalignment: как ИИ может следовать человеческим намерениям
OpenAI подарки концепция супер выравнивание, значительный шаг вперед в управлении рисками, связанными со сверхразумом. Сверхразум, объявленный самой эффективной технологией, когда-либо изобретенной человечеством, может помочь решить многие из самых важных мировых проблем. Однако огромная сила сверхразум это также может быть очень опасно, приводя к лишению человечества прав и возможностей или даже к вымиранию человечества.
OpenAI представляет Superalignment: попытку «привести» искусственный интеллект в соответствие с человеческими намерениями
Хотя сверхразум может показаться далеким, OpenAI считает, что он может появиться уже в этом десятилетии. Управление этими рисками потребует, среди прочего, новые институты управления и решения проблемы согласования сверхразума: Как можно гарантировать, что системы ИИ, намного более умные, чем люди, будут следовать человеческим намерениям?
В настоящее время нет решения для управления системой сверхразума или управления ею. Текущие методы выравнивания ИИ они полагаются на способность людей контролировать ИИ, который не будет масштабироваться до сверхразума. Цель OpenAI — создать автоматический искатель выравнивания на уровне человека. Для достижения этой цели необходимо разработать масштабируемые методы обучения.
См. также: AI и AGI: генеральный директор Google DeepMind предсказывает скорый прорыв
OpenAI собирает команду ведущих исследователей и инженеров в области машинного обучения для работы над этой проблемой. 20% доступной вычислительной мощности в течение следующих четырех лет будет направлено на решение этой проблемы.. Цель состоит в том, чтобы решить ключевые технические проблемы, связанные с согласованием сверхразума, за четыре года. OpenAI предлагает всем тем, кто добился успеха в машинном обучении, сосредоточить свое внимание на выравнивании. Плоды этих усилий будут широко распространены, а согласование и безопасность моделей, отличных от OpenAI, очень важны. Следует отметить, что компания также будет работать над повышением безопасности текущих моделей и устранением других рисков, связанных с ИИ.
Решение проблемы сверхразума требует лучших умов в мире. Открытый ИИ поощряет междисциплинарное сотрудничество и активное участие в решении социотехнических вопросов, связанных с согласованием сверхразума.
