Отрывок из интервью Р. Ямпольского 2. 0

Создатели таких систем, как ChatGPT, на самом деле не понимают, что происходит у них внутри?
Совершенно верно.

Даже разработчикам приходится ставить эксперименты над собственным продуктом, просто чтобы узнать, на что он способен.

Они обучают систему, скармливая ей огромные объемы данных — скажем, весь текст из интернета. Запускают ее на множестве процессоров, чтобы она нашла закономерности в этом тексте. И только потом начинают тестировать новую модель:

— «О, ты умеешь говорить по-французски?»

— «А задачи решать умеешь?»

— «Ого, да ты мне сейчас соврал!»

Обучение может занять год, а потом еще полгода уходит на то, чтобы понять возможности модели и попытаться сделать ее безопасной.

Но даже в старых моделях мы продолжаем открывать новые способности. Иногда достаточно просто задать вопрос по-другому, и ИИ вдруг становится «умнее».

Это больше не классическая инженерия, как в первые 50 лет, когда программисты писали код для выполнения конкретных задач.

Теперь это наука.

Мы выращиваем инопланетное растение.

Потом изучаем его, чтобы понять, что оно делает.

И, как и в случае с растениями, у нас нет стопроцентно точных знаний о биологии. Полных знаний об этом нет.

Мы знаем общие закономерности: например, если добавить вычислительной мощности, система, скорее всего, станет умнее.

Но никто не может точно предсказать, какой результат она выдаст на конкретный запрос.

Некоторые высказывания известных лиц (разработчики сами до конца не понимают как работает ИИ)
Некоторые высказывания известных лиц (разработчики сами до конца не понимают как работает ИИ)
Некоторые утверждают, что мы всегда можем сохранить контроль, просто отключив ИИ
Я слышу об этом после каждого своего выступления.

Мне всегда хочется связаться с человеком, который так утверждает, и воскликнуть: «Это гениально! Я никогда об этом не думал. Мы напишем статью вместе и получим за нее Нобелевскую премию».

На самом деле, это так глупо.

Можно ли «отключить» компьютерный вирус? Или попробуйте «отключить» сеть Биткоина — давай, я подожду.

Это бессмысленно, потому что ИИ не будет находиться в одном месте. Он будет распределен по миллионам компьютеров по всему миру, как интернет или Биткоин. У него не будет одной "розетки", которую можно выдернуть. К тому же, он будет умнее вас. Он создаст множество резервных копий, предвидит ваши действия и отключит вас раньше, чем вы успеете отключить его.

Идея о контроле применима только к текущему уровню развития ИИ, до появления сверхразума.

Да, сегодня опасны люди с продвинутым знанием ИИ — хакеры или мошенники. Но как только появится сверхразум, он станет доминировать, и люди перестанут играть значимую роль.

Меня беспокоит именно высший интеллект, а не человек, который может добавить в систему вредоносную программу, но все равно не сможет ее контролировать.

Джеффри Хинтон, известный как «крестный отец ИИ» утверждает, что люди создали бессмертных существ — ИИ можно перезапустить на другом компьютере в любой точке мира, в отличие от людей