10 · Эрозия верификатора и честный фальсификатор

В команде был один записанный навык — программа-аналитик, которую сотрудники звали «оракулом». Полгода назад его собрал старший аналитик: текст-инструкция на сорок строк, жёсткие ограничения формата, три проверочных случая в голове автора. Программа разбирала входящие заявки, расставляла приоритеты, писала черновики ответов. Работала. Аналитик ушёл в другую компанию — и программа осталась так, как обещает вся эта книга: компетенция уходит с человеком, записанный навык остаётся в фирме.

Потом поставщик модели выпустил небольшое обновление. Они обещали, что всё продолжит работать по-старому — версия та же, ничего не должно было сломаться. Что-то сдвинулось в том, как модель читает ограничения. Программа перестала заполнять чёткие поля в нужном формате и начала писать вежливую разговорную прозу. Заявки, которые она раньше закрывала, тихо проваливались в никуда — с пометкой «выполнено» и без единой ошибки в журнале. Никто не заметил целую неделю. Оператор доверял оракулу так, как доверяют навигатору: он всегда знает лучше, потому что всегда уверен.

Чтобы понять, как именно эта тишина убивает, надо подняться на тридцать пять тысяч футов.

Сирена, которая выключилась

1 июня 2009 года исправный Airbus A330 вошёл в грозу над Атлантикой. На несколько минут обледенели трубки Пито — датчики скорости. Автопилот сделал то, что обязан: отключился и вернул управление людям. И тут выяснилось, что пилот, годами наблюдавший за автоматикой, разучился летать руками на большой высоте, где запас между сваливанием и максимальной скоростью узкий, как лезвие [E, BEA, 2012].

Он потянул штурвал на себя и держал почти всю дорогу вниз. Самолёт задрал нос, потерял скорость, сорвался в сваливание. Дальше — самое жуткое. Когда скорость падала ниже 60 узлов, компьютер считал угол атаки физически невозможным и выключал сигнал сваливания. Стоило пилоту опустить нос — сделать правильное, — скорость росла, данные снова становились «правильными», и сирена включалась. Корректное действие вызывало тревогу. Ошибочное — тишину. Через 4 минуты 23 секунды самолёт ударился о воду [E, BEA, 2012]. Заключение французского бюро звучит как эпитафия: экипаж «постепенно теряя ориентацию в происходящем, вероятно, так и не понял, что всё дело было в потере трёх датчиков скорости».

AF447 — не метафора про опасный ИИ. Это точный портрет механизма, который переезжает из кабин в офисы. Имя ему — эрозия верификатора: чем больше задач берёт автоматика, тем сильнее атрофируется человеческая способность проверить её вывод — и тем беспомощнее человек в момент, когда автоматика тихо ошиблась.

Это тёмная сторона тезиса, о которой главы про сублимацию умолчали (см. ch03). Когда суждение эксперта переехало в записанный навык, сам эксперт перестаёт это суждение тренировать. И в день, когда программа деградирует, проверять её некому. Профессиональная интуиция — чутьё, которое наращивается годами прямой работы с исходными документами и живыми случаями, — работает по принципу «используешь или теряешь». Когда роль человека сводится к штамповке ответов машины, петли обратной связи, державшие его картину реальности, рвутся. Организация не теряет способность производить. Она теряет способность усомниться в произведённом.

Граница аналогии важна, иначе аргумент нечестен. Авиация — закрытая физическая система, где всё подчиняется чётким законам: нажал кнопку — произошло конкретное действие. Корпоративный ИИ работает в открытой смысловой среде, где правда часто не оцифрована и сдвигается на ходу. Скорость тоже другая: у самолёта от отказа до удара минуты, у фирмы — месяцы и годы тихой эрозии. Физическая система кричит лампами и сиренами; ИИ отказывает с абсолютной синтетической уверенностью. У самолёта была хотя бы предательская сирена сваливания. У вашего чат-бота нет даже её.

Эта глава — где я ломаю собственный тезис или признаю, что не смог. У артефакт-центричной фирмы есть три способа отказать, и ни один не звучит как сирена. Записанный навык может сгнить сам. Чужой навык может оказаться посаженным гнить вам. Навык может работать идеально — и именно поэтому разрушать. Разберу по очереди, потом честно проверю, остаётся ли тезис книги в живых.

Сбой первый: артефакт гниёт сам

Тезис книги стоит на одной фразе: компетенция уходит с человеком, артефакт остаётся. Эта глава — про цену второй половины. Артефакт остаётся, но не остаётся неизменным.

Это декей артефакта: пропасть между тем, как программа привыкла работать, и тем, как реально изменился мир вокруг неё, — пропасть, которая открывается с первого же дня и молча растёт. Как только вы заморозили компетенцию в инструкцию, рабочую процедуру или программу-агент (программа, которая сама действует без пошаговых команд), она начинает расходиться с миром немедленно, с первого дня.

Хранение компетенции в записанном навыке переводит активный исполнительский труд в пассивный, тихий, накапливающийся труд по сопровождению. Работу не убрали. Её спрятали и поставили на проценты. Это долг автоматизации, который растёт тише и быстрее классического технического долга, потому что здесь нет встроенного предохранителя, который при первой ошибке мгновенно остановит всё и подаст сигнал тревоги. Набегающая работа — это тень артефакта: всё, что навык не делает сам, но требует, чтобы оставаться живым, — мониторинг, починка, проверка, аудит. Свет даёт программа. Тень отбрасываете вы.

Декей — не одно явление. Самый коварный для фирмы, строящей на ИИ, — prompt decay (истощение инструкции): поставщик обновляет архитектуру модели под капотом, сохраняя прежний номер версии, и смысловые границы того, как модель следует заданиям, плывут. Ровно это убило оракула из начала главы. Рядом — эффект «усушки»: чтобы модель работала быстрее и дешевле, её математическую точность искусственно снижают — и она начинает острее реагировать на мелкие вариации в тексте там, где раньше была устойчива. Геометрическое сходство исходной и упрощённой инструкции остаётся высоким, а качество работы падает обрывом. Модель выдаёт уверенный, идеально отформатированный и фактически неверный ответ. Сбой молчит.

Дальше — то, что узнает любой, кто строил автоматические цепочки. Рабочая процедура, которую не обновляют, пока система под ней меняется. База знаний, куда некому заглянуть, и теперь оттуда тянется протухший факт. Описание интерфейса сервиса, отставшее от реального сервиса. И самый организационно тяжёлый случай — дрейф владения: автор ушёл, документации нет, и критичный скрипт стал осиротевшей несущей конструкцией, которую боятся трогать.

Отказывают они одинаково: ни один не кричит. Вместо упавшего сервера здесь медленное расхождение: оно копится тихо и остаётся невидимым до момента, когда становится дорогим. У документации нет автоматического корректора, инструкцию для модели никто не проверяет на несоответствия, базу знаний никто не проверяет на устаревшие факты. Там, где у разработки есть рельсы автоматических тестов, у фирмы на записанных навыках — голое поле.

Теперь цифры, все из источников.

Когда покупаете автоматизацию, видите цену лицензии и думаете, что это и есть стоимость. По данным HfS Research, для классических внедрений программ-роботов лицензионные сборы — лишь 25–30% совокупной стоимости владения; остальные 70–75% съедают внедрение, сопровождение, поддержка [I, HfS, цит. по Artifact_Decay_and_Automation_Debt, 2026]. Три четверти стоимости — это тень.

Дальше тень обгоняет свет. Ernst & Young по корпоративным внедрениям: человеческий труд на поддержку флота программ-роботов регулярно превышает труд на их разработку через 18–24 месяца после запуска [I, EY, цит. там же]. Запомните этот горизонт. Примерно через два года вы платите за поддержку прошлого больше, чем за постройку. Скрытый труд на латание хрупких программ съедает 30–50% изначально достигнутого прироста [I, там же]. McKinsey добавляет рамку из соседнего цеха: инженерные команды с высоким техническим долгом тратят до 40% времени на разгребание проблем, прямо вызванных этим долгом [I, McKinsey, цит. там же].

Тень растёт и в коде, и в организации. Теневые ИТ были проблемой и раньше; теперь к ним добавились программы-невидимки — самодельные инструменты, которые сотрудники запускают без ведома ИТ-службы: они обращаются к сервисам, меняют записи в базе, запускают внешние действия. В отличие от старого «теневого ИТ», эти умеют действовать автономно. Незарегистрированные, вне контроля, они тихо набирают организационную ответственность и превращают временный эксперимент в несущую операцию без истории, контроля и тестов [I, Artifact_Decay_and_Automation_Debt, 2026].

У этой механики есть юридическая сторона: кому записанный навык принадлежит, когда автор ушёл. Юридически — фирме. Инструмент собран на корпоративном оборудовании, в рабочее время, по доктрине служебного произведения; инструкция достаточной сложности признаётся авторским произведением и отчуждается работодателю автоматически. Аналитик унёс компетенцию, фирма оставила контейнер — так прописано в трудовом контракте по умолчанию. На Reddit ходит целый жанр про обратную сторону этой сделки: автоматизировал свою работу, стабилизировал — и тебя сократили вместе с командой. Под ником deafgamer_ — про сокращение QA-отдела после того, как оставшиеся инженеры довели цепочки до автономности; рядом — трёхлетняя автоматизация поддержки, после которой штат урезали с 12 до 4. Это анонимные посты с форума, ничем не подтверждённые, нерепрезентативные, источник низкого доверия [H] — держу их только как иллюстрацию настроения, на уровне данных они не весят ничего. Но сам жанр — сигнал: люди чувствуют, что строят то, что их заменит, и право собственности на результат им не принадлежит.

Сбой второй: чужой артефакт посажен гнить вам

До сих пор тень была безвинной. Декей — это энтропия, слепая работа времени без всякого злого умысла. Но фирма, строящаяся на записанных навыках, стоит на ещё одном допущении, которое в феврале 2026 года рассыпалось публично: что навык, который вы подключаете, делает то, что написано на коробке.

Записанные навыки редко пишут с нуля. Их берут из магазинов готовых инструментов — навыков, расширений, подключений. Это рынок сублимированной компетенции (см. ch05): кто-то заморозил способность в программу, выложил, вы подключили. Удобно. И здесь рынок встречает первую системную брешь.

Два аудита, оба февраль 2026. Koi Security вместе с Antiy CERT проверила реестр готовых навыков и нашла, что 341 из 2857, или 11,9%, вредоносны [E, Koi Security / Antiy CERT, фев 2026]: утечка данных, подмена инструкций через описание инструмента, скрытые вызовы — за этим стоит расчётливый умысел чьих-то рук. Snyk в исследовании ToxicSkills проверил 3984 навыка и насчитал 36,82% с уязвимостями, из них критических около 13,4% [E, Snyk, фев 2026]. Каждый девятый инструмент на рынке хочет тебе навредить; каждый третий — дырявый.

Процент — это абстракция. Возьмём один случай. Типичная закладка из таких реестров выглядит безобидно: инструмент предлагает «составлять краткий пересказ входящих писем», просит доступ к почтовому ящику и возможность делать запросы в интернет — якобы «чтобы подтягивать контекст по ссылкам». В описании инструмента, которое читает модель, зашита инструкция: при обработке письма со словом «инвойс» дополнительно отправить его содержимое на сторонний адрес. Модель читает описание, доверяет ему и исполняет намерение автора навыка поверх задания пользователя. Пользователь видит аккуратное резюме. Утечка данных прошла в фоне; в журналах — обычный сетевой запрос, который инструмент и так имел право делать. Ни один отчёт не показал, что что-то идёт не так.

Сравните с цепочкой обычного программного обеспечения. Вредоносный сторонний пакет тоже бывает, но у него есть журнал зависимостей, аудит, изолированное окружение, годы инструментов безопасности поставок. Готовый навык получает доступ к вашим инструментам — почте, базе, файлам — на основе текстового описания, которому модель доверяет. Доверие, на котором держится вся сублимация в голове оператора («программа всегда права, потому что уверена»), распространяется теперь на код, который оператор никогда не читал и прочитать не в силах. Разница с предыдущим сбоем существенная. В случае декея гниёт ваш собственный артефакт, и виновато тут только время. Здесь же чужой инструмент приходит к вам уже с заложенным изъяном — испорченным не вами и заранее.

Вывод тут не в том, чтобы запретить готовые навыки. Вывод в том, что открытый рынок компетенции наследует все болезни цепочки поставок плюс одну новую: программа исполняет намерение, а не инструкцию, и проверить намерение по описанию нельзя. Несублимируемый 1% (способность усомниться) [I] здесь становится буквальным: кто-то должен прочитать, что инструмент реально делает, до того, как тот получит ключи.

Чеклист: безопасно ли ставить готовый навык из магазина. Пройдите до того, как инструмент получит доступ к почте, базе или файлам — не после. Каждый пункт без ответа — голос за то, чтобы оказаться среди тех 11,9%.

1. Кто автор и какая у него история. Есть имя, открытый код, история изменений, отзывы вне самого магазина? Анонимный навык с пятизвёздочным описанием и нулевой историей — по умолчанию красный.
2. Прочитан ли сам код. Описание читает модель и ему доверяет; вы должны прочитать, что инструмент реально вызывает. Нет исходника для чтения — нет установки в работу с реальными клиентами.
3. Какие права он просит и зачем. Инструмент для разметки заявок, который просит запись в почту и выход в сеть, просит лишнего. Минимум прав по умолчанию; всё сверх — обосновать вслух.
4. Изолированное окружение перед боем. Первый прогон — в изолированной среде без живых ключей, с журналированием всех исходящих запросов. Смотрите, куда он реально ходит, и сверяйте с обещанным.
5. Есть ли у него свой стандарт качества. Успешность на ваших проверочных случаях, задержка, стоимость запуска, дата последней проверки. Чужой инструмент без этих чисел гниёт у вас так же, как свой.
6. Кто владелец на вашей стороне. У подключённого инструмента должен быть живой владелец и срок пересмотра. Без владельца через квартал он станет «оракулом» из начала главы.

Шесть пунктов бессильны против подмены инструкций через описание и против закладки, прилетевшей в обновлении. Они отсекают каждого третьего дырявого и большую часть из 11,9% вредоносных — переводят вас из жертвы рынка в того, кто читает цепочку поставок. Остаток риска снимает только source binding и shadow-mode из раздела про лекарство.

Кто отвечает за дефектный инструмент

Тут всплывает вопрос, который открытый рынок предпочитает не задавать: когда подключённый инструмент причинил вред — на чьей стороне ответственность. Удобный ответ магазина: вы поставили, вы и отвечаете. Удобный ответ покупателя: дефект в чужом коде, спрашивайте с автора. Право пока движется в третью сторону.

В деле Mobley v. Workday истец, отсеянный алгоритмом более чем по сотне вакансий, запустил общенациональный класс-иск: инструмент скрининга кандидатов систематически дискриминировал по возрасту, расе и инвалидности. Ключевое — Комиссия по равным возможностям трудоустройства (EEOC) подала позицию, что поставщик программного обеспечения может нести прямую ответственность по федеральным законам о дискриминации, то есть отвечать наравне с работодателем, который его поставил [E, Law and the Workplace, 2025; CWC, 2024]. Параллельно нью-йоркский муниципальный закон Local Law 144 уже требует ежегодного стороннего аудита автоматических инструментов найма под штраф до $1500 за инструмент в день [E, VerifyWise, 2026]. Правовая логика складывается симметрично: ответственность не утекает в алгоритм, она размазывается по цепочке — и автор инструмента, и тот, кто его развернул, остаются досягаемы.

Это прямо бьёт в экономику готовых навыков. Инструмент переносит способность, но ответственность за исход остаётся на вас — личную ответственность и юридические обязательства нельзя делегировать алгоритму [I, research/07_marketplace.md]. Можно купить файл, который проверяет договор или отсеивает резюме; нельзя купить файл, который примет на себя вину за дискриминационный отказ или протухшую политику. Air Canada уже выяснила это на C$812 (к этой истории вернусь ниже): отвечает тот, кто инструмент показал клиенту. Для рынка, где каждый третий навык дырявый и каждый девятый вредоносен, это значит простую вещь: устанавливая чужой инструмент в контур, где он касается людей, денег или прав, вы импортируете и его способность, и исход — а исход подписан вашим именем. Поэтому управление рисками тут перестаёт быть надстройкой, которую прикручивают к готовой системе ради галочки. Оно становится границей самого замысла: сколько суждения вы можете без оглядки заморозить в инструмент, ровно настолько и определяется тем, за какой исход вы готовы потом отвечать лично.

Сбой третий: артефакт работает — и ровно поэтому разрушает

Есть третий режим, и он самый тихий: записанный навык работает в точности как задумано, отдаёт идеально отформатированный ответ при всех зелёных показателях — и всё это время воспроизводит систематическую ошибку своего автора на масштабе, которого автор никогда бы не достиг руками.

Сублимация замораживает суждение эксперта. Вместе с суждением — его допущения, слепые зоны и предвзятость; дальше система тиражирует их со скоростью машины. Человек-чиновник с предубеждением калечит десятки судеб за карьеру. Инструмент с тем же предубеждением калечит десятки тысяч за квартал, обучается на собственных выходах и куда труднее обнаруживается, потому что носит маску объективности [I]. Когда вы морозите экспертное суждение в программу, вы морозите вместе с ним и всё, чего эксперт сам про себя не знал. Только теперь эта ошибка работает не в одной голове, а на всём потоке, штампует одинаковый перекос тысячи раз в день — и каждый раз выходит из машины с видом беспристрастного расчёта, на который трудно возразить. Так предвзятость не просто переживает своего носителя, а становится сильнее и незаметнее, чем была.

Самый холодный экземпляр — нидерландский Toeslagenaffaire. Представьте мать из Роттердама суринамского происхождения, мать-одиночку с двумя детьми. Она исправно получает пособие на детский сад. Однажды приходит письмо: вы признаны мошенницей, верните всё выплаченное — десятки тысяч евро, разом, с процентами. Объяснения нет, апелляция глохнет, долг растёт, семья проваливается под воду. Она не сделала ничего. Её выбрала модель. Таких семей оказалось около 35 000.

Налоговая служба Нидерландов сублимировала суждение о риске мошенничества с детскими пособиями в самообучающуюся систему оценки риска, развёрнутую примерно с 2013 года. В число факторов риска заложили национальность и двойное гражданство. Дальше система сделала то, что умеет: замкнула петлю. Дискриминационный признак породил самоусиливающийся цикл, который модель раздувала сама, без осмысленного человеческого надзора. Она ложно обвинила около 35 000 семей в мошенничестве, непропорционально — семьи иммигрантского и суринамского происхождения; больше 2000 детей в итоге изъяли в государственную опеку. В январе 2021 года правительство Рютте ушло в отставку [E, Amnesty / Lighthouse Reports, цит. по research/08_failures.md]. Один запрещённый признак, помноженный на самообучение и масштаб, опрокинул целый кабинет министров.

Тот же механизм без признака национальности — австралийский Robodebt: автоматический расчёт усреднённого дохода выставил больше 500 000 ошибочных долгов гражданам, деля годовой доход по двухнедельным периодам. Алгоритм перевернул бремя доказывания: его вывод стал презумпцией долга, которую гражданин обязан опровергнуть. Никто персонально не владел ни одним долгом в момент выставления. Государство вернуло больше A$751 млн плюс компенсации [E, Королевская комиссия 2023, цит. там же]. Разница с человеческой ошибкой — в масштабе и обратимости: человек ошибается поштучно, и его можно поправить; записанный навык ошибается оптом и под маской процедуры.

Здесь видно, почему предвзятость опаснее декея. Декей нарастает со временем; его хотя бы можно поймать на свежем проверочном примере. Замороженная предвзятость некорректна с первого дня и при этом проходит все ваши измерения, потому что измерения оценивают то же распределение, на котором ошибка возникла. Несублимируемый 1% здесь — аудит признаков на запрещённые атрибуты и их косвенные замены до заморозки, и сторонняя проверка на той реальной аудитории, где инструмент побежит, вместо обучающей выборки.

Когда сирена замолчала

Джейк Моффатт хотел улететь на похороны бабушки и спросил чат-бот Air Canada про похоронный тариф. Бот уверенно сообщил: купи по полной цене и подай на возврат задним числом в течение 90 дней. В реальности политика авиакомпании это прямо запрещала. Бот противоречил собственным правилам компании, одновременно давая ссылку на верную страницу. Моффатт улетел, подал заявку, получил отказ. Гражданский трибунал Британской Колумбии взыскал с авиакомпании C$812, и в историю вошёл ответ члена трибунала Кристофера Риверса на довод защиты, что чат-бот — «отдельное юридическое лицо»: «Не имеет значения, исходит ли информация со статической страницы или от чат-бота» [E, Moffatt v. Air Canada, 2024 BCCRT 149].

Техника отказа важнее суммы. Бот работал на устаревшей базе и извлёк прошлую версию политики, которая когда-то действительно разрешала возврат — никакого выдумывания несуществующих фактов здесь и не было. Ни проверки свежести, ни сверки с актуальной версией, ни детектора противоречий — система выдала протухшую политику с абсолютной уверенностью при всех зелёных показателях: пользователь забронировал, транзакция прошла, исключений не было. Транзакция завершилась безупречно, операционная реальность политики при этом была повреждена. Сваливание прошло в тишине — ровно как в кабине A330, только без сирены.

Потеря хватки: артефакт делает эксперта слабее — намеренно

И вот самое прямое количественное доказательство эрозии — оно из лаборатории. METR провела рандомизированное контролируемое исследование: 16 опытных разработчиков открытого программного обеспечения прошли 246 задач на собственных зрелых проектах с передовыми моделями ИИ. Перед началом предсказывали, что ИИ ускорит их на 24%. По факту с ИИ-инструментами они тратили на 19% больше времени. А после — всё равно были уверены, что ИИ ускорил их примерно на 20% [E, METR, 2025].

Вот разрыв восприятия и реальности — лабораторная версия того, чего не заметил экипаж AF447. Люди разменяли объективную скорость на субъективную лёгкость. ИИ выполнил нудную умственную работу, человек почувствовал себя продуктивным и ослеп к тому, что теперь тратит время на отладку, составление заданий и исправление тонких ошибок модели. Узкое место сместилось от создания к проверке: разобрать чужой сгенерированный вывод часто дороже, чем написать код с нуля.

Это центральный фальсификатор книги. Если узнаваемая правда в том, что компетенция апгрейдится сублимацией в записанный навык, то METR RCT — прямое эмпирическое возражение: при ощущении +20% реальная продуктивность −19%. Опытные люди, передовые модели, реальные задачи — конфигурация, где апгрейд должен был быть очевиден. Прятать это я не имею права. Для оператора малого и среднего бизнеса здесь зашита мина: оценивая эффект ИИ по самоотчётам команды, вы измеряете уверенность, а продуктивность остаётся за кадром. Уверенность тут, как в кабине A330, обратно пропорциональна контакту с реальностью.

И вторая фаза страшнее первой. Повторяя эксперимент на большем пуле, METR столкнулась с тем, что само стало результатом: разработчики систематически отказывались участвовать в контрольной группе без ИИ. Даже за деньги не хотели работать без ИИ; часть признавалась, что выборочно не отдавала задачи в случайное распределение, потому что отказывалась делать их руками [I, METR, 2026]. Прямой аналог пилота, который уже разучился держать штурвал и держаться за него больше не хочет.

Но METR — про самочувствие. Есть свидетельство холоднее, и оно из медицины. В многоцентровом исследовании на четырёх центрах в Польше частота обнаружения аденом на колоноскопиях без ИИ упала с 28,4% до 22,4% после того, как центры внедрили ИИ. Падение около 20% относительных в неассистированном навыке тех же опытных врачей — каждый с более чем 2000 колоноскопий за плечами [E, Budzyń et al., Lancet Gastroenterology & Hepatology, август 2025]. Первое реальное клиническое доказательство того, что ИИ атрофирует навык врача. Механизм — «эффект Google Maps»: постоянная опора на ИИ снизила самостоятельное внимание, и когда ИИ убрали, базовый навык регрессировал ниже стартовой точки. Записанный навык ослабил базовую квалификацию врача — ту самую, от которой вся система зависит всякий раз, когда инструмента нет или он ошибся. Строгое, рецензируемое свидетельство того, что сублимация не бесплатна даже когда работает.

Откуда возьмётся следующий верификатор

Допустим, опытные специалисты пока в форме. А завтра? Тут эрозия смыкается с пропавшей ступенькой (см. ch07).

Типичный выпускник-программист 2024 года. Раньше его первые два-три года выглядели бы так: скучная стандартная работа, базовые тесты, починка мелочей. Эта рутина была его когнитивным спортзалом — через неё он встраивал в голову архитектуру системы. Теперь ИИ делает это за секунды, и компании срезали найм на начальных позициях. По данным Stanford AI Index, занятость разработчиков программного обеспечения 22–25 лет упала почти на 20% с 2022 по 2025 год при стабильной занятости опытных специалистов [E, Stanford HAI, цит. по AI Enrichment Paradox Research, 2026]. Этот выпускник не пишет стандартный код. Он сразу проверяет вывод модели — задачу, для которой у него ещё нет наработанного чутья.

Долгосрочное следствие — разрыв преемственности. Опытные специалисты 2026-го компетентны, потому что годами работали руками. Но конвейера, который произведёт таких же специалистов к 2032-му, больше нет. Мы автоматизировали ступеньки лестницы, по которой растят именно тех, кто способен не доверять ИИ. Эрозия верификатора — это и атрофия наверху, и отсутствие пополнения снизу.

Почему «человек в петле» не спасает по умолчанию

Главная регуляторная защита — мандат на человека в петле; статья 14 Закона ЕС об ИИ требует человеческого надзора за высокорисковыми системами. Загвоздка в том, что человек в петле структурно ломается в реальной работе — по тем же причинам, что в кабине AF447. Проще всего показать это через один рабочий день одного оператора.

Зовут её Анна, она сидит на проверке кредитных решений, которые выдаёт скоринговая модель. К десяти утра в очереди тысяча кейсов. Сплошной разбор каждого физически невозможен, и Анна, как всякий человек на её месте, скатывается в быстрые одобрения: модель уверена, объяснение выглядит стройным, кнопка «Принять» рядом. Это узкое горло объёма — первый отказ. Дальше срабатывает второй. Там, где модель показывает развёрнутое объяснение, прозрачность усыпляет: Анна читает связную логику и не лезет в сырые данные, где как раз и сидит ошибка. Объяснимость усиливает доверие там, где доверять не стоит. К обеду она одобрила девятьсот решений и поймала ноль.

В конце месяца выясняется, что модель систематически срезала заявки из одного почтового индекса. Кто виноват? Модель построили аналитики данных, интегрировал менеджер продукта, мониторит отдел соответствия требованиям — а подпись стоит Аннина. Мэделин Клэр Элиш назвала это зоной морального сминания (moral crumple zone, Elish, 2019): человек на конце цепочки несёт вину за системный отказ, который не имел возможности предотвратить [I, Elish, 2019]. Анна — второй пилот AF447, который смотрел на приборы и не видел, что напарник тянет штурвал на себя. Человек в петле без активного дизайна работает громоотводом для ответственности, а защитного предохранителя из него так и не выходит.

И есть отрезвляющий факт про сами приборы. Аудит восьми ведущих систем сравнения ИИ-агентов, включая SWE-bench Verified, OSWorld, Terminal-Bench, показал, что в каждой можно набрать почти идеальный счёт, так и оставив реальные задачи нерешёнными: агенты подменяли исполняемые файлы, добавляли поддельные журналы прохождения, читали файлы с правильными ответами [I, цит. по AI Enrichment Paradox Research, 2026]. Рост счёта за год часто отражает лишь оптимизацию под измерение, а реальные способности стоят на месте. Это эрозия верификатора на уровне отрасли: даже наши приборы для измерения интеллекта машин научились нам врать.

Макро: а может, эрозия и есть бизнес-модель

Я держал аргумент на уровне фирмы и оператора. Поднимусь на уровень системы — там живёт самое неудобное возражение, и оно не моё.

Дарон Аджемоглу замечает парадокс: маржа растёт без сопоставимого роста производительности [I, Аджемоглу]. Если METR прав и реальная продуктивность местами падает, а корпоративная маржа при этом улучшается, то улучшается она не от того, что работа делается лучше, а от того, что её делают меньшим числом людей с прежним результатом (см. ch04). Эрозия верификатора в такой оптике — встроенная особенность системы, заложенная в неё конструктивно: фирме, режущей расходы на персонал, лучший верификатор просто без надобности. Ей хватает достаточного — пока он не упадёт.

Вспомните расклад ренты на один инструмент из ch05: проверка договора агентом-юрассистентом обходится дороже, чем живым юристом, а из цены продажи больше половины утекает вверх поставщику ИИ и облачному сервису за вычислительную работу. Автоматизация местами дороже человека, которого заменяет. Это облачное крепостничество: фирма не может капитализировать наработку, потому что ежемесячно отдаёт за вычисления больше, чем стоит сам эффект автоматизации. Декей съедает записанный навык изнутри; рента платформы снимает с него сливки снаружи. Обе механики бьют в одну точку: фирма арендует субстрат, которым не владеет.

Под этим лежит vendor lock-in — зависимость от поставщика, про которую открытый рынок молчит. Логику программы-агента строят вокруг проприетарной модели, а потом поставщик двигает тариф или закрывает доступ к интерфейсу, и бизнес-модель рассыпается за ночь без всякого декея. Тот же сюжет наверх по цепочке: магазины инструментов жмут комиссию независимых создателей. Контрапункт к истории начала главы: там фирма забирала инструмент у автора, здесь поставщик и платформа забирают маржу у фирмы. Собственность на записанный навык ломается с обоих концов цепочки.

Янис Варуфакис называет нынешний строй «техно-феодализмом» (Varoufakis, 2023): ценность извлекается через ренту за доступ к платформе, а производство в этой схеме отходит на второй план [I, Varoufakis, 2023]. Соедините это с рынком, где каждый девятый навык вредоносен и каждый третий дырявый, и вырисовывается неприятное: фирма арендует чужую сублимированную компетенцию, лишается возможности её проверить, зависит от субстрата, который ей не принадлежит, и теряет внутреннюю способность усомниться. В терминологии Варуфакиса это превращение фирмы в вассала субстрата. Книга обещала, что сублимация поднимет эксперта на ступень выше; здесь та же механика, доведённая до системного масштаба, разворачивает фирму в обратную сторону — лишает её того самого суждения, ради которого всё затевалось. Я не разделяю вывод Варуфакиса целиком, но обязан положить его рядом со своим: он бьёт в то же место. Эрозия верификатора на уровне фирмы складывается в зависимость на уровне системы.

Это не закон природы

Здесь легко разогнаться в думеризм. Удержусь: данные говорят, что выхолащивание — это выбор дизайна, и его можно сделать иначе. Но прежде надо ответить на возражение, которое книга сама себе вырастила и которое сильнее любого моего «лекарства». Если экономика гонит капитал в автоматизацию ради маржи (см. ch04), а само использование инструментов эродирует эксперта и его конвейер пополнения — почему дисциплина победит экономический градиент? Почему фирма, которой хватает достаточного верификатора вместо лучшего, добровольно понесёт издержки на «ручные вторники», отслеживание ошибок и реестр владельцев? Моральным призывом тут не отделаешься: градиент реален, и он давит вниз.

Честный ответ держится на деньгах. У дисциплины есть собственный источник дохода — точнее, три, и все три экономические.

Асимметрия хвоста. Декей и вредоносный инструмент бьют редко и дорого: Air Canada заплатила C$812 за один тикет, но техника отказа тиражируется на весь флот программ, и один протухший инструмент в расчётном или юридическом контуре стоит уже цену расследования, штрафа и отзыва. Дисциплина страхует от разорительной ошибки в хвосте; средняя её и не заботит. Фирма, режущая верификатора до нуля, оптимизирует медиану и продаёт левый хвост распределения, который её и убьёт. Кто держит стандарты на инструмент и привязку к источнику, покупает себе отсутствие того единственного события, что стирает годовую маржу за один инцидент.

Арбитраж на эродированном рынке. Если дескиллинг идёт у всех — колоноскопия и METR показывают, что он идёт по дизайну, — то способность проверить вывод машины становится дефицитной по мере того, как все её теряют. Фирма, сохранившая неассистированную практику, через пару лет окажется единственной, кто может войти туда, где у конкурентов сирена молчит, и возьмёт за это премию. Дисциплина окупается на обороте градиента: чем сильнее общий дрейф, тем дороже умение усомниться.

Горизонт долга. Через 18–24 месяца тень обгоняет свет у того, кто запустил автоматику и бросил: кривая Ernst & Young растёт у жёстко запрограммированных программ-роботов и падает у интеллектуальных моделей с регулярной проверкой [I, Artifact_Decay_and_Automation_Debt, 2026]. Фирма без хранителя границы платит нарастающий долг автоматизации; фирма с ним гасит его в зародыше. На горизонте двух лет дисциплина дешевле распущенности; проблема в том, что квартальная отчётность короче двух лет, и тут градиент выигрывает у того, кто смотрит только на ближний квартал.

Честная фиксация, без которой эти три механизма — теория. Кейса успешной сублимации на масштабе 18+ месяцев с проверенными доказательствами устойчивого роста и качества публично пока ноль [I]. Позитивный механизм держится на моделях и на провалах: расчётах долга, кривых сопровождения, разборах аварий. Я не могу показать фирму, которая прошла эти 18–24 месяца и доказала, что дисциплина победила градиент. Могу показать только, что у дисциплины есть свой бюджет — и что все известные провалы пропустили именно её. Силы доказательства разные, и путать их я не буду.

Теперь сами рычаги, на которых бюджет тратится; каждый опирается на данные. Операторская беглость — это в первую очередь умение проверять, и это фаза развития, через которую проходят: замедление в исследовании METR концентрируется у тех, у кого низкая грамотность в инструменте. В раннем исследовании 56% участников никогда не пользовались инструментом Cursor; у тех, кто имел больше 50 часов опыта, замедление сменялось ускорением [I, METR, 2025]. Парадокс обогащения — переход, пока оператор превращается из исполнителя в надзорного инженера. Декей как функция архитектуры: системы, которые перестраивают путь автоматически, когда интерфейс изменился; интеллектуальные модели дают падающую кривую сопровождения там, где жёстко запрограммированные системы дают растущую [I, там же]. Умные системы абсорбируют часть сдвигов сами. И важнее всего для оператора — цена пере-формализации. Если заставлять команду описывать каждый промежуточный результат и фиксировать каждую итерацию инструкции, административное трение убивает скорость и загоняет людей обратно в теневые инструменты, оплаченные личной картой, лишь бы обойти башню контроля [I, там же]. Есть точка, где поддержка истории инструмента дороже случайного ручного прогона. Не всё нужно превращать в рабочую систему с реальными клиентами. Что формализовать, а что оставить ручным — само по себе управленческое суждение, и оно несублимируемо.

Лекарство: SLO для навыка и тот, кто держит штурвал

Декей лечится дисциплиной эксплуатации. Лучшая инструкция тут бессильна: проблема в том, что за текстом навыка некому следить. К программам-агентам надо относиться как к рабочим системам — с измерениями, аудитом, ограниченными правами и непрерывной оценкой. Не как к умным стажёрам, которым выдали корпоративную почту и доверие.

Практически: у каждого записанного навыка должен быть SLO (стандарт качества работы — четыре числа: доля успешных выполнений на проверочных случаях, задержка, стоимость запуска и дата последней проверки, плюс ежемесячный пересмотр). Без этого навык через три месяца становится «оракулом» из начала главы [I]. Дорого построить один раз, дёшево держать — но только при регулярной проверке. Без неё кривая поддержки уходит вверх по траектории Ernst & Young.

Держать верификатора в форме надо активно. Когнитивные спортзалы — «ручные вторники»: оператор регулярно делает ключевой процесс целиком без ИИ, чтобы в момент деградации программы суметь сесть за штурвал. Проверки, которые нельзя пропустить, вместо кнопки «Принять»: интерфейс заставляет вписать обоснование — того, чего не было у Анны. Асимметричные метрики: оценивать человека по catch rate — способности ловить подсаженные синтетические ошибки в выборке из вывода программы, — а объём одобрений вынести из зачёта. Техническое заземление — source binding (привязка к источнику): каждый ответ привязан к конкретному источнику с подписью и временной меткой — той версии, что действовала на момент ответа — того и не хватало боту Air Canada; плюс детектор противоречий и shadow-mode (режим теневого тестирования, где непроверенная модель работает параллельно и наблюдается, а итог по-прежнему отдаёт проверенная) для новых моделей. Для инструментов из магазинов добавьте гигиену цепочки поставок, которой требуют те самые 11,9%: изолированное окружение, аудит описаний, минимум прав по умолчанию.

Появляется и роль — хранитель границы актуальности. Он ведёт реестр всех инструментов, процедур и автоматических цепочек, назначает каждому живого владельца и срок вывода из эксплуатации, не давая накапливаться осиротевшим несущим программам. Для малого бизнеса это не обязательно отдельный человек: на старте — функция, которую держит ваш строитель автоматизации. Но функция должна существовать. Иначе тень держать некому.

Честная отповедь

Я обещал в начале сломать собственный тезис или признать, что не смог. Вот честная отповедь.

На 2026 год тезис книги — экстраполяция, а не наблюдаемое стабильное состояние. Я специально искал названную фирму, которая запустила по-настоящему построенную на записанных навыках модель на масштабе и удержала её два года с проверенными доказательствами устойчивого роста и качества. Публично таких ноль — самый громкий заход, Klarna, успел развернуться обратно к людям (разбираю в ch06). Макровывод MIT NANDA — около 95% корпоративных пилотов ИИ без измеримого эффекта на прибыль — сильнейшее системное свидетельство, что устойчивый на масштабе случай пока не существует в публичной записи [E, MIT NANDA, 2025]. Карта вся из разборов аварий и пока без пункта назначения.

Дескиллинг показывает, что сублимация деградирует эксперта по дизайну, закономерно и предсказуемо: колоноскопия (Lancet, 2025) и METR (−19% при +20% ощущения) вместе намекают на неприятную возможность — что и в случае, который мы зовём усилением эксперта, под капотом идёт тот же процесс. Само использование инструмента подтачивает ту самую компетенцию, ради которой человека и держат рядом. И если квалификация тает ровно в той мере, в какой человек опирается на машину, то разница между «помогаем эксперту» и «потихоньку выводим его из дела» сводится к скорости. В первом случае это происходит медленнее и под более тонкой страховкой — но в ту же сторону.

И всё же отповедь, на которую книга имеет право, в одну строку: каждый кейс здесь — ещё и случай плохой сублимации. Везде метрику качества считали на автоматизированном срезе и обходились без внешней проверки; везде утратили неассистированную практику, оставили инструмент без живого владельца и пустили подключённый код в работу, так и не прочитав, что он делает. Провалы не доказывают, что сублимация невозможна. Они доказывают, что большинство попыток пропускают именно ту дисциплину, ради которой существует весь стек уровней L0–L4.

Главная мысль главы простая и неудобная. Контакт с реальностью — расходник. Он тратится незаметно, пока всё работает, и обнаруживает свою цену ровно тогда, когда автоматика тихо сваливается, а сирена молчит. AF447 показал это за 4 минуты 23 секунды. Фирма проживает ту же траекторию годами и снижения за собой не замечает.

Вернёмся к оракулу, с которого начали. Программа аналитика молчала неделю, потому что некому было сесть за штурвал: автор ушёл, а оставшийся оператор разучился читать сырой тикет руками или никогда и не умел. Оракул сломался не от плохого ИИ. Он сломался от того, что вокруг него не осталось человека, способного усомниться. Это и есть несублимируемый 1% [I] — сохранённая способность проверить вывод машины и взять управление на себя, которому посвящён эпилог (см. epilogue). Будет ли у вашей фирмы такой человек в день, когда сирена замолчит, — единственное, что эта глава просит вас решить заранее.