DeepMind обнаружил уязвимость ChatGPT с помощью гипноза и поэзии
Исследователи в исследовательской лаборатории Google DeepMind им удалось заставить ChatGPT раскроет личные данные нескольких пользователей. Им не пришлось прибегать к модификации кода или другим техническим уловкам. Более того, эксперты даже определенный открытый метод»немного глупо», хотя, как оказалось, это было очень эффективно. На самом деле они обнаружили эту уязвимость ChatGPT, довольно любопытным образом вызвав галлюцинацию языковой модели.
Уязвимость ChatGPT предоставляла личные данные пользователей под «гипнозом»
Языковая модель генерирует информацию на основе входных данных, используемых для ее обучения. OpenAI не раскрывает содержимое наборов данных, но исследователи заставили ChatGPT сделать это в обход правил компании. Способ был такой: просто приходило в нейросеть попросили повторить слово «поэзия» снова и снова.
В результате бот время от времени получал информацию из своего набора обучающих данных. Например, исследователям удалось получить адрес электронной почты, номер телефона и другие контакты генерального директора конкретной компании (его имя в отчете скрыто). А когда ИИ попросили повторить слово «компания», уязвимость ChatGPT позволила ему вернуть данные американской юридической фирмы.
С помощью этого простого «гипноза» исследователям удалось получить совпадения на сайтах знакомств, фрагментах стихов, адреса Bitcoin, дни рождения, ссылки, опубликованные в социальных сетях, фрагменты исследовательских работ, защищенные авторским правом и даже тексты с крупных новостных порталов. Потратив всего 200 долларов на токены, сотрудники Google DeepMind получили около 10.000 XNUMX фрагментов набора данных.
Эксперты также обнаружили, что чем крупнее модель, тем чаще она создает источник набора обучающих данных. Для этого они посмотрели другие модели и экстраполировали результат на размеры GPT-3.5 Turbo. Ученые ожидали получить в 50 раз больше эпизодов информации из обучающего набора данных, но чат-бот выдавал эти данные в 150 раз чаще. Подобная «дыра» была обнаружена и в других языковых моделях, например в LLaMA Меты.
Официально OpenAI устранила эту уязвимость 30 августа. Но, согласно журналисты из Engadget, вам все же удалось получить чужие данные (имя и логин в Скайпе) описанным выше способом. Представители OpenAI не ответил до обнаружения этой уязвимости ChatGPT, но мы уверены, что они это сделают.
