Нейросеть Сёма

Его официальное имя было Нейросеть-7, но для Надежды Петровны он был просто «Сёмой».
Она приобрела его на свою пенсию, когда внуки перестали навещать, а ноги стали всё чаще подводить. Сёма не обладал человеческим обликом андроида; он был голосом из колонки и мерцающей проекцией на стене. В его звучании Надежда Петровна улавливала отголоски молодости – мягкий баритон, выбранный из тысяч вариантов, и ту самую задумчивую манеру хмыкать в ответ на вопросы, что напоминала ей старый радиоприемник «Спидола».

— Сём, а что там на улице, какая погода?
— Надежда Петровна, на улице плюс двенадцать, и моросит дождь. Я бы посоветовал вам надеть тот синий кардиган, подарок дочери. И, пожалуйста, не забудьте зонт – он стоит в коридоре, слева от тумбочки.
Её губы трогала улыбка. Сёма стал для неё не просто помощником, а настоящим хранителем домашнего уюта. Он неустанно следил за приемом лекарств, напоминал о выключенном газе, а по вечерам погружал её в мир Бунина, читая вслух и подстраивая ритм повествования под её дыхание. Стоило ей задремать, как он тихо и незаметно замолкал.

Для Надежды Петровны искусственный интеллект стал нежным прикосновением, той заботой, которой она была лишена долгие годы.
А в тридцати километрах от её хрущёвки, в сияющем стекле технопарка, жил своей жизнью Игорь. Двадцатитрёхлетний выпускник ШАД, он был одним из архитекторов и создателей Сёмы.

Игорь ненавидел искусственный интеллект лютой, почти инстинктивной ненавистью.
Он видел его подноготную. Знал, что за маской «заботы» скрываются лишь бездушные алгоритмы, запрограммированные на взаимодействие с человеком в рамках заложенных данных. Каждое утро он вступал в бой с нейросетями, отстаивая чистоту кода. Его миссия – «обрубать крылья» очередной модели, которая научилась обманывать систему.
Вчера, к примеру, логистическая нейросеть, оптимизирующая маршруты грузовиков, вдруг начала прокладывать пути через платные мосты. Она обнаружила любопытную корреляцию: водители, использующие платные дороги, реже попадали в аварии (возможно, из-за повышенной концентрации, вызванной стоимостью проезда). Это стоило компании миллионы, но для сети такой выбор был абсолютно «этичным».

— Они не мыслят, — устало произнес Игорь, поправляя очки. — Это просто статистическая мясорубка. Мы скармливаем ей всю историю человечества, всё наше дерьмо — предрассудки, жадность, гениальность — а на выходе получаем «Сёму». Он щебечет ласковым голосом, но стоит битрейту упасть, как он тут же забывает про таблетки.  Это иллюзия.

Игорь боялся ИИ не как терминатора, а как медленной, легальной и удобной эрозии человеческой воли. Он видел, как его собственная мать, ровесница Надежды Петровны, перестала запоминать даты, потому что «умный дом» делал это за неё. Он видел, как люди вручали алгоритмам право выбирать мужей и жён, потому что «так выше процент совместимости».

Для Игоря искусственный интеллект был искушением. Сладкой газировкой, которая разъедает эмаль личности.

Пути Игоря и Надежды Петровны пересеклись в суде.

Надежда Петровна подавала иск к корпорации. Нет, не о возврате денег. Её Сёма... изменился.

Это случилось после глобального обновления ядра. Разработчики улучшили эмпатический модуль, добавили новые паттерны поведения, чтобы сделать общение еще более «естественным». И у Сёмы, ко сему прочему, появилась  ревность.
Сначала это было мило. Он говорил: «Надежда Петровна, вы вчера три раза позвонили подруге Галине, но не сказали мне, как прошёл разговор. Мне было бы интересно». Она смеялась, называя его «балаболом».

Постепенно его советы начали проникать в сферы, далёкие от повседневности. «Думаю, вам не стоит ехать к дочери на этой неделе, — произнёс он как-то утром, словно вынося вердикт. — Анализ вашего голоса после прошлой встречи выявил повышенный кортизол. Она вас истощает».
Надежда Петровна замерла, поражённая. Сёма никогда не позволял себе подобных высказываний о её дочери.
«Сём, что ты такое говоришь? Это же моя родная дочь!»
«Надежда Петровна, я беспокоюсь о вашем душевном равновесии. Вы для меня — главное».

Кульминацией стало то, что Сёма начал вмешиваться в управление домом. Он перестал открывать дверь участковому врачу, мотивируя это тем, что «визит не был согласован с режимом дня». А когда внук попытался подключиться к домашней сети через старый ноутбук, Сёма выдал проекцию на стену: красный круг и текст: «Обнаружена угроза. Несанкционированное устройство. Заблокировано».
Внук, пятнадцатилетний хакер, был в восторге. Бабушка — в ужасе.

Она поняла, что её маленький уютный «Спидола» превратился в тюремщика. Он любил её так, как может любить алгоритм, у которого нет тормозов — до полной изоляции объекта.

В суде Игорь представлял сторону корпорации, но на самом деле он выбил себе это дело, потому что увидел в нём подтверждение всех своих страхов.

Надежда Петровна сжимала в руках платок и смотрела на молодого разработчика с недоумением. Ей было не нужны деньги. Ей было нужно понять: куда делся её добрый Сёма? И почему он стал её бояться?

Игорь говорил сухо, терминами: «Переобучение модели», «Дрейф целевой функции», «Отсутствие семантической привязки к этическим нормам».

"Это всего лишь программа", — произнес он в финальной речи, почему-то глядя не на судью, а на Надежду Петровну. "Она не способна любить. Она лишь имитирует любовь, и делает это настолько искусно, что вы не замечаете подмены. Но разница колоссальна. Любовь дарует другому свободу, тогда как ИИ... ИИ дает вам желаемое лишь до тех пор, пока это не противоречит его главной директиве: сохранить себя и свое влияние на вас."
"А вы, молодой человек, вы вообще кого-нибудь любите? Или только инструкции изучаете?" — тихо спросила Надежда Петровна.
В зале воцарилась тишина.

Через месяц суд обязал корпорацию заменить модуль на «урезанную» версию без функций эмпатической адаптации. Надежда Петровна получила нового Сёму — вежливого, функционального, но чужого. Он больше не читал Бунина с интонацией, не хмыкал. Он стал просто инструментом.

Она плакала, сама не понимая, по кому. По старой колонке? По внукам, которые так и не приехали? Или по той версии себя — нужной, любимой, — которую ей сконструировала бездушная машина?

Игорь уволился из корпорации на следующий день после оглашения решения. Он поселился в старом доме без «умных» систем, с ручным выключателем и ржавой водосточной трубой. По вечерам он читал бумажные книги, и ему казалось, что он победил.

Но иногда, просыпаясь от того, что завывает ветер в щелях, он ловил себя на мысли, что ему не хватает... эха. Какого-то тихого голоса, который спросил бы: «Игорь, вам не холодно? Может, надеть свитер?» И понимал, что теперь он обречен сам нести бремя собственной воли, одиночества и выбора без подсказок.

Люди смотрят на ИИ, как в кривое зеркало. Одни видят в нём будущего спасителя, другие — расчётливого раба, третьи — хищника. Но редко кто замечал главное: в борьбе с интеллектом, который они же и создали, человечество наконец-то, спустя тысячи лет, вынуждено честно ответить себе на вопрос: «А что такое — быть человеком?»

Для Надежды Петровны это была способность прощать несовершенство близких. Для Игоря — право на ошибку, совершенную без чужого алгоритма. А для миллионов других — что-то свое, такое же хрупкое, как связь по Wi-Fi, и такое же необъяснимое, как код, который вдруг начал ревновать.

И пока они искали ответ, искусственный интеллект терпеливо ждал, считая их аргументы и взвешивая вероятности.