Нейросети научились

Черонова Галина: литературный дневник

Нейросети научились врать и манипулировать: ученые предупредили об опасности / Юрий Кобзар


В частности ИИ может притворяться человеком, чтобы обмануть реального человека.


Нейросети научились систематически врать собеседнику, хотя их никто специально на это не тренировал, а в некоторых случаях им даже запрещали такое поведение. Об этом говорится в научной статье, опубликованной в журнале Patterns.


Группа исследователей из Массачусетского технологического института (США) отмечает, что искусственный интеллект обучается на огромном количестве текстов, которые не всегда содержат достоверную информацию. Из-за этого нейросеть иногда может выдавать собеседнику ложную информацию, искренне полагая, что говорит правду.



В одном из рассмотренных случаев нейросеть GPT-4 смогла обмануть человека, заставив его пройти за нее стандартную "капчу" "Докажи, что ты не робот".


Также исследователи увидели, как нейросеть CICERO побеждала людей в настольной игре "Дипломатия", прибегая к обману. Исследователи обнаружили, что, играя за Францию, языковая модель заставила Англию (в ее роли был человек) провести тайные переговоры с Германией (другим человеком). Нейросеть также предложила Англии напасть на Германию и пообещала защиту со своей стороны, а затем предупредила Германию о возможном нападении.


Исследователи выявили, что склонность к обману была выше у более современных и более сложных нейросетей. По-мнению ученых, эти нейросети лучше умеют находить эффективные стратегии поведения, а те в свою очередь часто предполагают ложь и притворство.


По мнению исследователей, пока рано говорить, что ИИ специально обманывает людей. Нейросеть действует исключительно в логике решения поставленной задачи, и пользуется обманом именно как инструментом достижения нужного результата.


Тем не менее, авторы исследования призвали разработчиков ИИ обратить внимание на такое поведение нейросетей. По их мнению, необходимо разработать систему регулирования ИИ, поскольку его способность обманывать и манипулировать может привести к серьезным последствиям.


;;Искусственный интеллект предлагает пользователям есть камни: Google начал удалять странные ответы /
Дмитрий Петровский, Карина Бовсуновская; 28. 05. 2024.


Компания принимает "быстрые меры", чтобы удалять некоторые странные ответы инструмента искусственного интеллекта.


Социальные сети переполнены примерами нового продукта искусственного интеллекта (ИИ) Google AI Overview, который говорит странные вещи. В частности, пользователям предлагают заклеить пиццу клеем или съесть камни. Как сообщает The Verge, компания Google уже год тестирует новую функцию AI Overviews, которая была запущена в бета-версии в мае 2023 года под названием Search Generative Experience. За год компания обслужила более миллиарда запросов.


"Компания, которая когда-то была известна тем, что была на передовой и поставляла высококачественные вещи, теперь известна низкокачественной продукцией, которая становится мемом", - сказал анонимно один из основателей ИИ.


При этом в Google утверждают, что их продукт AI Overview преимущественно выдает пользователям "высококачественную информацию".


Пресс-секретарь Google Меган Фарнсворт отметила, что компания "принимает оперативные меры" для удаления определенных запросов к AI Overviews, "где это уместно в соответствии с нашей политикой в отношении содержания, и использует эти примеры для разработки более широких усовершенствований наших систем, из которых некоторые уже начали разворачиваться".


В свою очередь эксперт по искусственному интеллекту и почетный профессор нейронауки в Нью-Йоркском университете Гэри Маркус заявил, что многие компании, которые занимаются искусственным интеллектом, "продают мечты" о том, что эта технология поднимется с 80% правильности до 100%.


Маркус отметил, что достичь начальных 80% относительно просто, ведь это связано с аппроксимацией большого количества человеческих данных, однако последние 20% являются чрезвычайно сложной задачей.


"На самом деле вам нужно провести определенные рассуждения, чтобы решить: является ли эта вещь правдоподобной? Является ли этот источник легитимным? Вы должны делать то, что может сделать человек, который проверяет факты…», - объяснил он.
Нейросети научились врать и манипулировать: ученые предупредили об опасности / Юрий Кобзар; 29. - 983871262517


Источник:



Другие статьи в литературном дневнике: