Часть IV — Где ломается

Эпилог — Что нельзя сублимировать

14 февраля 2024 года клиент по фамилии Моффатт спросил у чат-бота Air Canada про похоронную скидку задним числом — можно ли купить билет сейчас, а скидку применить к уже состоявшемуся рейсу? Бот сказал: можно. Это было неправдой. Прямо на той же странице, на которую бот сослался, чёрным по белому стояло обратное. Air Canada отказалась платить и выстроила в трибунале Британской Колумбии поразительную защиту: чат-бот — «отдельная юридическая сущность», то есть самостоятельное лицо, которое само отвечает за свои слова. Трибунал ответил одной фразой. Бот — «электронный агент», прямое продолжение компании. Намерение проистекает из программирования и использования компьютера. Air Canada заплатила (Moffatt v. Air Canada, февраль 2024, [E*]).

Намерение проистекает из программирования. Суд сказал это ради своего дела, но попутно сформулировал главный тезис книги — только юридическим языком.

Мы начали с мастера у стенда. Виктор Палыч кладёт ладонь на корпус двигателя и слышит, что подшипник пойдёт через неделю, — прибор ещё молчит, а он уже знает. И его знание уходит с ним в тот день, когда он сдаёт пропуск на проходной. Десять глав я доказывал, что это больше не приговор. Молчаливое знание — то, что сидит в руках и ушах, в диагностике, в юридическом чутье, в инженерном опыте — впервые отрывается от человека, отливается в записанный навык, в программу, которая сама действует, и начинает работать без него. Компетенция уходит с человеком, но записанный навык остаётся. Само по себе это ещё ничего не решает: записанный слух может поднять мастера на ступень выше, освободив его от рутины ради того, что слышит только он, — а может тихо занять его место, если за процессом никто не следит. Куда повернёт, зависит от того, удержат ли люди дисциплину, и об этом вся книга. Инструкция «как делать» была мёртвым знанием. Живой записанный навык — это сам исполнитель. На этой границе открылась первая глава.

Но у Виктора Палыча была не только ладонь. У него было право сказать «стоп».

Несублимируемый 1%

Сублимировать — то есть отлить в исполняемую программу — можно почти всё, что эксперт делает с информацией. Диспетчер раскладывает доску заявок — уходит в алгоритм. Юрист собирает меморандум — уходит. Специалист поддержки сортирует обращения — уходит. Горизонт надёжной самостоятельной работы таких программ удваивается примерно каждые 131 день; стоимость запуска той же программы за два года упала в 280 раз (METR 2026; Stanford HAI 2025, [E]). Обе эти кривые я разбираю в начале книги. Технический потолок поднимается так быстро, что спорить о нём бессмысленно. Он поднимется ещё.

Сублимируется почти всё — кроме четырёх вещей, которые держатся друг за друга.

Первое — суждение. Это способность распознать, что ситуация вышла за рамки, где ответ вообще определён. Бот Air Canada был технически исправен. Он честно вытащил из базы устаревшую версию политики и выдал грамматически безупречный ответ. Исследователи называют это сдвигом контекста: программа работает правильно внутри своей картины мира, но картина мира уже разошлась с реальностью. Машина не усомнилась, потому что внутри её мира всё сходилось. А усомниться — значит выйти за пределы своего мира. Этого записанный навык не умеет по устройству.

Второе — право остановить процесс. В главе про то, как человек перестаёт замечать ошибки машины, стоит цифра, которая меня не отпускает: в слепом контрольном эксперименте METR разработчики ощущали себя на 20% быстрее, тогда как реально работали на 19% медленнее — и сами этого не видели (METR RCT 2025, [E]). Дальше начинается ловушка надзора. Когда машина выдаёт текст быстрее, чем человек способен читать по-настоящему, реальный контроль физически невозможен — и человек скатывается до штампа «согласовано». Постоянный контакт с гладким, статистически правильным текстом сбивает внутренние настройки: человек привыкает к правдоподобной фальши и перестаёт её замечать. Детектор ошибок притупляется именно тогда, когда вывод выглядит всё убедительнее. Право остановить живёт в сохранённой способности усомниться в гладком — кнопка в интерфейсе тут ни при чём.

Я видел, как эта способность держится на одном человеке. На прошлой неделе в нашей же студии программа-исследователь выдала абзац про судебный прецедент: дата, суд, формулировка решения — всё гладко, всё в тон. Стюард читал его четвёртый раз за вечер и притормозил на одной строке. Не потому, что нашёл ошибку, — потому что строка читалась слишком ровно. Он открыл первоисточник. Даты расходились на два месяца, а половина «цитаты» была сшита из двух разных дел. Машина не соврала со зла. Она досочинила связку, которой не хватало, и подала её тем же ровным голосом, что и проверенные факты. Поймать это можно было только одним: усомнившись в том, что звучит безупречно.

Калифорнийский регламент CPPA — он вступил в силу 1 января 2026, реальные санкции начнутся с 1 января 2027 — требует того же самого, только на языке закона: «надлежащий человеческий пересмотр» для значимых автоматизированных решений в найме, кредитовании и образовании в организациях с оборотом свыше $25 млн ([E*]). Пересмотр считается надлежащим, только если человек понимает логику системы, реально анализирует вывод и имеет односторонние полномочия его отменить. Право вето, прописанное в закон. Регулятор признал то же самое: остановить — нельзя автоматизировать.

Третье — ответственность. Тут нет философии, есть суды. Thaler v. Perlmutter: апелляционный суд округа Колумбия подтвердил, что авторство должно принадлежать человеку — это фундаментальное требование авторского права. Верховный суд США 2 марта 2026 отказал в пересмотре, закрепив норму как устоявшееся федеральное право ([E]). То, что машина написала самостоятельно, остаётся вне авторской защиты — конкурент может легально скопировать ваш машинно-собранный регламент. А когда тот же результат ошибётся, вина никуда не денется: она проистекает из программирования.

ИИ не может нести ответственность не потому, что право не поспевает за технологией. А потому, что машина по устройству выдаёт вероятности, а не обещания. Предъявить претензию вероятности невозможно. Назову это конверсией риска. Раньше человеческий риск был гибким: ошибся оператор — списали на человеческий фактор, переучили, перевели. Записанный навык превращает этот гибкий риск в твёрдое обязательство, которое некому передать. Ошибку программы списать не на кого. Владение не наследуется, ответственность наследуется. Худшая из возможных асимметрий — и теперь это федеральная норма.

Четвёртое — доверие. Около половины медицинских назначений пациенты не выполняют, и главный признак того, будет ли человек следовать лечению, — это доверие к врачу. А доверие к врачу сильнее всего определяется одним ощущением: что врач искренне присутствует рядом прямо сейчас (PMC, [E]). Диалоговый ИИ AMIE превзошёл живых врачей по 29 из 32 осей диагностической беседы (Nature Medicine, май 2026, [E]; это разбирается в главе про эмпатию) — и всё равно доверие держится на присутствии живого человека, а транскрипт его не заменяет. Эмпатия трёхчастна: распознать эмоцию, почувствовать то же самое на уровне тела, искренне действовать из заботы ([I]). Машина уверенно берёт первую часть, но вторая и третья укоренены в биологическом резонансе и разделённой уязвимости. Их нельзя сыграть, потому что сыгранность и есть их отрицание.

Эти четыре держатся друг за друга как одно целое. Суждение даёт основание остановить; остановка имеет смысл, только если кто-то за неё отвечает; ответственность держится на доверии того, перед кем отвечаешь. Вытащи один камень — рассыплется арка.

А под аркой лежит то, что нельзя отнять даже технически: сам человек, целиком. Из него можно вынуть одну способность, но не его самого. Когда у мастера вынимают слух и отливают в программу с набором тестов — кто его спросил? Сублимация молчаливо предполагает, что компетенцию можно изъять, как файл. Но компетенция приросла к носителю годами. Спросите мастера, прежде чем снимать копию с его слуха, и сделайте его соавтором того, что отливаете, — тогда передача опыта остаётся честной сделкой, а человек выигрывает от неё вместе с компанией. Снимите слух молча, через его голову — и это уже не передача, а тихая экспроприация, как бы гладко её ни называли.

И ещё есть достоинство того, кто остался у пульта. Оператор, чьё суждение мы только что назвали последним предохранителем, должен остаться судьёй над выводом, что давно генерируется без него. Превратить человека в штамп при машине технически легко — ловушка надзора делает это сама собой. Удержать его судьёй — этический выбор, и решается он за пультом, в живом человеке, а спецификация тут бессильна. Согласие на изъятие и достоинство оставшегося у пульта не входят в четыре камня арки. Они то основание, на котором арка вообще имеет право стоять.

Вот что я понял, глядя на эту арку с экономической стороны. Несублимируемый 1% — авторская метафора, а измерять его в процентах бессмысленно ([I]). Это последняя строка переговорной силы человека, и рынок уже оценил её в деньгах. Я разбираю это в главе про экономику записанного навыка: технологические гиганты — Microsoft, Google, Amazon, Meta (их называют гиперскейлерами за масштаб вычислительных ресурсов) — заплатили более $20 млрд за период с марта 2024 по январь 2026 ([E]). Компании и патенты тут ни при чём — патенты они могли бы обойти. Они покупали то, что не отчуждается в файл: суждение конкретных людей, их способность решить, когда машина права, а когда ошибается. Это и есть рыночная цена последнего процента.

Честный фальсификатор

Теперь покажу, чем этот тезис можно обрушить. Без этого он остаётся проповедью.

Несублимируемый 1% рухнет в день, когда суд или регулятор признает за автономной системой право быть субъектом права и самостоятельно нести ответственность за свои выводы — когда «электронный агент» из Air Canada станет «сущностью», которой его и хотела назвать авиакомпания. На 31 мая 2026 движение строго обратное: Thaler закрыт отказом Верховного суда, калифорнийский CPPA требует одностороннего человеческого вето ([E*]). Право везде читается одинаково: ответственность остаётся за человеком.

Вторая опора слабее, и я назову дату. Gartner прогнозирует, что к 2027 году более 40% проектов с автономными ИИ-программами отменят — из-за роста стоимости, неясного результата и невозможности проверки ([H]). Это прогноз, не факт. Если откат не случится, если автономия пройдёт без исков и обвалов, тезис о непереносимой ответственности придётся пересматривать. Я ставлю на то, что не случится. К концу 2027 проверяем.

Мастер у стенда. Стюард у пульта

Вернёмся к стенду, с которого всё началось.

Старый мастер уходил — и его ладонь уходила с ним. Новый мастер уходит, а слух остаётся: отлит в тест, который ловит ту же акустическую аномалию, в записанный навык, который заказывает деталь за неделю до отказа. Это и есть починка той трещины, с которой открылась книга. Знание больше не умирает на проходной.

Но кто-то по-прежнему стоит у пульта и решает, верить ли тревоге. В нашей студии этого человека зовут Стюард. Эту книгу написала команда записанных ролей — голос, исследователь, редактор, проверщик фактов, — каждая отлита в работающую программу. Человек не написал ни абзаца руками. Он сделал четыре вещи: задал намерение, усомнился в выводе, остановил то, что звучало гладко и было неверным — как ту сшитую цитату, что чуть не ушла в текст, — и поставил подпись под результатом. Несублимируемый 1% — это и есть способ, которым книга сделана.

Это уже было. В 1733 году английские суды обязали изобретателя прикладывать к патентной заявке подробную письменную спецификацию устройства, и молчаливое знание прядильщика — натяжение нити на ощупь, чувство сырья — стало публично описанным, юридически защищённым, отчуждаемым активом ([E]). А дальше станок отлил этот навык в металл, и ренту снял не ремесленник, чьё знание кодифицировали, а тот, у кого были фабрика, патент и капитал. Спецификация 1733 года и подробная инструкция для модели 2026-го делают одно и то же: как только способность описана достаточно полно, чтобы работать без носителя, рыночная цена носителя падает к минимуму. Вопрос всегда один — кто держит фабрику. В XVIII веке это были уголь и станки. Сейчас это энергия и мощности для работы моделей.

Остаётся одна развилка, честно открытая. Владение записанным навыком концентрируется: чей это слой — эксперта, фирмы, платформы или гиперскейлера, у которого крутятся мощности. Если суждение, право остановить и ответственность останутся распределены по людям у пультов, эксперт поднимется на ступень выше: рутину заберёт записанный навык, а человеку останется решать, когда машина права, — и это лучшее, на что мы можем рассчитывать. Если они стянутся в несколько пультов, у кого в руках ключи от серверных залов, у остальных останется ответственность без права вето — худшая из конфигураций. Что из двух — не предрешено инженерией. Это решается тем, кто в ближайшие годы согласится держать ладонь на корпусе и слушать.

Я думаю о Викторе Палыче на пенсии. Он далеко от стенда — копается в саду, моторов вокруг нет. Но где-то в ночную смену программа, собранная из его обрывочных «вот этот призвук мне не нравится», поднимает красный флаг на ровном графике приборов. И к пульту подходит кто-то молодой — тот, кто ещё не наслушал своё ухо и, может, уже не наслушает. Он смотрит на зелёные приборы, на красный флаг, и ему решать: сбросить обороты против всех показаний или довериться машине. Программа услышала трещину. Но право сказать «я останавливаю стенд» и отвечать за это, когда все приборы кричат, что ты неправ, — это право не отлилось ни во что. Оно так и стоит у пульта, в живом человеке, и ждёт, чтобы кто-то взял его на себя. Его некому передать.