Amazon Q: между галлюцинациями и утечками данных, тревога сотрудников. Есть ли о чем беспокоиться?
В последнее время Amazon запустил его чат-бот с искусственным интеллектом Amazon Q, вызвавший интерес со стороны компаний, но также вызывающий обеспокоенность среди сотрудников по поводу серьезных проблем с точностью и конфиденциальностью. Сообщалось, что Q имел «галлюцинации не poco расскази раскрыла конфиденциальные данные, поставив под сомнение безопасность информации компании. Вот подробности, раскрытые Платформер.
Оповещение безопасности для Amazon Q: между конфиденциальными данными и неправильными ответами
Amazon введены это чат-бот с искусственным интеллектом по имени Q, созданный три дня назад, но, похоже, не все идет по плану. Некоторые сотрудники подняли тревогу по поводу вопросов точности и конфиденциальности: Amazon Q мог бы проявить «галлюцинации» и раскрыть информация конфиденциальный, например расположение центров обработки данных AWS, внутренние программы скидок и еще не выпущенные функции.
Эта информация появилась из документов, просочившихся и полученных Платформер, выделив Проблема безопасности уровня 2, серьезная ситуация, требующая срочного вмешательства инженеров.
Несмотря на это, Amazon преуменьшала важность этих внутренних дискуссий. Представитель сообщил, что обмен обратная связь по внутренним каналам это стандартная практика в Amazon, и в результате этих отзывов не было выявлено никаких проблем с безопасностью. В компании подчеркнули важность полученных отзывов и желание продолжать усовершенствовать Amazon Q при переходе от предварительной версии к общедоступной.
Amazon Q, доступный в настоящее время в бесплатной предварительной версии, был представлен как корпоративная версия программного обеспечения чат-бота с первоначальными функциями, направленными на ответы на вопросы разработчиков об AWS, изменение исходных кодов и цитирование источников. Amazon подчеркивает безопасность и конфиденциальность Q, противопоставляя его инструментам потребительского уровня, таким как ChatGPT.
Однако внутренний документ показал, что Q может «галлюцинировать» и давать вредные или неуместные реакции, такие как устаревшая информация о безопасности что может подвергнуть риску счета клиентов. Эти риски типичны для больших языковых моделей, каждая из которых имеет тенденцию давать неверные или неадекватные ответы, по крайней мере, в некоторых случаях.
Via | Slashdot
