Медленный сверхразум: почему мощный ИИ может менять мир десятилетиями
Сверхразум обычно представляют как программу, которая за часы обгоняет человека и немедленно меняет мир. Но скорость вычислений, скорость принятия решений и время, за которое проявляется результат, — три разные величины. Эта статья разбирает, почему потенциально очень умная система может действовать на горизонте лет, как эту идею связывают с распределённым ИИ и что в ней остаётся лишь мысленным экспериментом.
Быстрые вычисления не делают стратегию быстрой
Один нервный импульс занимает порядка 1 миллисекунды, а на электронных рынках отдельные заявки могут отменяться быстрее чем за 500 микросекунд. При этом сама биржевая экономика, научная школа или городская инфраструктура меняются не за миллисекунды, а годами. Быстрый элемент внутри системы ничего не говорит о скорости всей системы.
Полезно разделить три шкалы. Первая — локальное вычисление: токен модели, сделка, сигнал датчика. Вторая — решение: выпуск продукта, строительство завода, изменение правил. Третья — проверка решения реальностью: для лекарства, электростанции или образовательной реформы она легко занимает несколько лет.
Большие системы получают обратную связь с задержкой
Система, которая хочет оптимизировать мир, а не ответ в чате, вынуждена ждать результата своих действий. Международная группа IPCC приводит очень земной пример: после существенного сокращения выбросов замедление роста концентрации CO2 становится заметным примерно через 5–10 лет, а замедление потепления — через 20–30 лет. Это не доказательство существования медленного ИИ; это иллюстрация того, что у крупных процессов есть собственная инерция.
Поэтому гипотетический стратегический ИИ мог бы запускать тысячи быстрых расчётов ежедневно и пересматривать общий курс только раз в год. Он не был бы «тормозным». Он просто ждал бы данных, которые нельзя ускорить дополнительной видеокартой.
Распределённый ИИ придумали задолго до нынешней волны LLM
Идея не сводится к одному гигантскому дата-центру. В работе AAAI 1980 года о распределённом искусственном интеллекте уже описывались несколько «слабо связанных» агентов, которые планируют, общаются и действуют в общей среде. То есть этому направлению не меньше 46 лет, а современные языковые модели добавили к нему удобный интерфейс к тексту, инструментам и программам.
У распределённой системы есть практические преимущества: она не обязана иметь единую точку отказа, в неё можно добавлять новые компоненты, а разные агенты могут специализироваться. Но это ещё не единый разум. Набор сервисов становится системой только тогда, когда результаты одного шага стабильно меняют решения на следующем.
Стигмергия показывает координацию без центрального приказа
Стигмергия — это косвенная координация через изменённую среду. Термин появился в исследованиях термитов в 1959 году; в информатике его развили в алгоритмах муравьиных колоний. Обзор 2000 года показывает, как простые агенты через общие следы находят решения задач распределённой оптимизации и управления.
В цифровой среде «следом» могут быть не феромоны, а запись в базе, цена, опубликованный отчёт, API-ответ или изменённый репозиторий. Один агент не обязан понимать общий план: достаточно, чтобы другой агент считал оставленное им изменение входными данными. Это полезная модель координации, но не лицензия на мистику вокруг любой сети сервисов.
Чтобы назвать сеть интеллектом, нужны четыре наблюдаемых свойства
Слово «интеллект» здесь легко превращается в красивую метафору. Поэтому лучше заранее задать проверяемый минимум: общая память, повторяющийся контур обратной связи, способность менять стратегию и устойчивый критерий успеха. Если есть только миллионы независимых оптимизаторов рекламы, это не коллективный субъект, а просто много оптимизаторов.
Даже система из четырёх компонентов — модель, инструмент, память и человек-оператор — может образовать полезный рабочий контур. Но без общей цели она не становится «личностью». Между эффективной инфраструктурой и субъектом с намерениями лежит огромная, пока не измеренная дистанция.
Медленные изменения труднее заметить, чем резкие
Мы хорошо видим аварию, увольнение или обвал рынка, потому что у них есть дата. Медленнее замечается сдвиг нормы: в исследованиях рыболовства это называют shifting baseline syndrome — каждое поколение принимает текущий уровень за исходный. В климатических наблюдениях, по оценке IPCC, некоторые океанические сигналы могут проявляться от периода менее десятилетия до более чем века.
Именно поэтому искать «момент рождения сверхразума» — слабая постановка задачи. Гораздо полезнее измерять длинные цепочки: кто поставляет рекомендации, кто исполняет их, какие решения перестают приниматься без машинной проверки и можно ли отменить эту зависимость.
У такого наблюдения есть и техническая причина. Если стратегический цикл длится 10 лет, то первый год даёт лишь 10% данных о его результате; попытка сделать окончательный вывод через месяц будет почти бессодержательной. Это отличает медленный контур от обычного веб-сервиса, где ошибку можно заметить по метрике на следующее утро.
Медленный процесс не становится безопасным автоматически
Слово «медленный» здесь не означает добрый, разумный или неизбежный. Медленная петля с плохой метрикой способна годами закреплять ошибку: например, поощрять самую дешёвую, а не самую надёжную закупку. Чем длиннее время до проверки результата, тем ценнее независимый аудит и заранее записанные ограничения.
Это ещё одна причина не романтизировать гипотетический сверхразум. Двадцать лет постепенной оптимизации могут создать полезную инфраструктуру, а могут сделать ошибочную цель незаметной привычкой. В обоих случаях критичны не скорость процессора, а качество обратной связи и возможность изменить курс.
Этот сценарий не утверждает, что скрытый AGI уже существует
В статье нет тезиса, что интернет уже проснулся или что алгоритмы тайно управляют людьми. Нынешние агентные системы всё ещё сталкиваются с координацией, масштабированием и надёжностью; современный обзор LLM-мультиагентных систем прямо перечисляет эти ограничения. В публичной индустрии пока намного чаще встречаются узкие автоматизации, чем автономные долгосрочные стратеги.
Но вопрос остаётся интересным именно как масштаб наблюдения. Вместо ожидания говорящего компьютера можно следить за тем, как постепенно соединяются память, инструменты, исполнители и обратная связь. Во второй части серии эта мысль станет конкретнее: что произойдёт, если такую среду населят множество отдельных агентов.
Это различие полезно и для языка. «Сверхразум» в заголовке — короткое имя для предельного мысленного эксперимента, а не технический диагноз нынешнему интернету. В наблюдаемой реальности разумнее говорить о социотехнических системах: они состоят из кода, организаций, контрактов, людей и физического мира одновременно.
Не скорость мысли, а длина цикла определяет масштаб перемен
Сверхразум, если он когда-нибудь появится, не обязан быть молнией. Он может оказаться процессом с миллионами быстрых деталей и медленным годовым ритмом, как экономика или климатическая система. Это делает сценарий не более вероятным, но менее похожим на привычную фантастику.
Практический вывод здесь простой: любую важную автоматизацию стоит описывать как контур — входные данные, модель, исполнитель, результат и период пересмотра. Если контур нельзя нарисовать и остановить, его уже слишком легко принять за естественный фон.
Следующая статья серии — «Цифровой мицелий: может ли сеть ИИ-агентов стать единым интеллектом» — запланирована к публикации 28 сентября.
Источники: AAAI, 1980; Dorigo et al., 2000; SEC; обзор LLM-мультиагентных систем.