?

Log in

No account? Create an account

Bright Citadel

Knowledge. Power. Immortality.

Previous Entry Share Next Entry
Машина власти. Часть 5.2
alexeybright

Продолжение пятой части. Как и раньше, к чтению рекомендуется полная PDF-версия, расположенная по адресу http://algedo.net/pm_5.pdf


7.2. Шаг в неизвестность

Предвидеть — значит управлять.
(Блез Паскаль)

Идея кибернетического управления социумом вообще и государственной экономикой в частности была озвучена в первых же работах по кибернетике Норберта Винера. Неудивительно, что за прошедшее с тех пор время она приобрела как убежденных сторонников, так и непримиримых противников. В аргументации последних, несомненно, есть рациональные соображения, поэтому стоит остановиться на них подробней.

7.2.1. Критика от Станислава Лема

В разделе "Интеллектроника" своего известного футурологического труда "Сумма технологии" Станислав Лем, знаменитый польский писатель-фантаст и философ (рис. 4), обсуждает возможные опасности внедрения гомеостатических регуляторов в управление как отдельными предприятиями, так и государством в целом. Он не подвергает сомнению эффективность кибернетического управления. Критические замечания Лема касаются прежде всего "закрытости" кибернетического гомеостата и непредсказуемости в долгосрочной перспективе его поведения [22].

Рис. 4. Станислав Лем

Действительно, гомеостат не сдерживается установками общественной морали, и целиком сосредоточен на поддержании управляемых переменных в зоне оптимума. Эта особенность может приводить к тому, что кибернетическая система управления станет предпринимать действия, способствующие сохранению гомеостаза, но идущие вразрез с человеческими ценностями. В случае с гомеостатическими регуляторами, которые управляют отдельными предприятиями, Станислав Лем приводит в качестве негативных примеров уничтожение и поглощение конкурирующих компаний, ведущее к эффективной монополизации и разрушению экономики страны, безжалостное увольнение сотрудников и даже дестабилизацию международной обстановки за счет действий, совершаемых на иностранных рынках.

В этом есть свой резон: регулятор, предназначенный для управления организацией, не в силах заботиться о всей стране разом. Однако же ситуация здесь ничем не отличается от рядовой конкуренции между компаниями, которые управляются людьми — кибернетический регулятор просто сделает эту конкуренцию более эффективной. На нравственность людей, стоящих во главе компаний, рассчитывать тоже не стоит. И не потому, что люди плохи по своей натуре, а просто при прочих равных честные управленцы, ограниченные морально-нравственными установками, неизбежно будут вытесняться теми, чей ассортимент действий требованиями морали не ограничен. Проблема, таким образом, не в природе гомеостатического регулятора: это особенность природы рыночных отношений.

А как насчет гомеостатического регулятора, принимающего решения в масштабе целой страны, а лучше — человечества? Здесь опасения Лема могут быть сформулированы следующим образом. Что, если действия регулятора, направленные на улучшения каких-то аспектов жизни и полностью укладывающиеся в набор заданных ограничений, неявным образом приведут к ухудшению других аспектов? Что, если распространение двух видов лекарств, инициированное регулятором, каждое из которых само по себе безвредно, приведет в долгосрочной перспективе к рождению каждого шестого ребенка с хвостиком или к медленному падению уровня интеллекта населения? Ведь отследить этот ненамеренный вред невозможно, и правительство, обладающее правом вето на решения регулятора, не вмешается, поскольку не знает и не может знать о долгосрочных последствиях таких решений, как, собственно, и сам регулятор. Что ж, подобные варианты развития соб ытий можно разделить на два качественно различных класса, каждый из которых мы рассмотрим отдельно.

К первому из этих классов отнесем ущерб людям, нанесение которого действительно способствует достижению целей регулятора. Рано или поздно регулятор, обнаружив существование такой корреляции, воспользуется ей для достижения цели, и вред в этом случае будет нанесен. При этом регулятор не должен понимать, что делает: для него достаточным аргументом окажется тот факт, что действие A в сочетании с действием B вызывает, к примеру, рост ВВП. То, что происходит это в конечном итоге за счет распространения дефектных генов в популяции, ему неизвестно.

Во втором классе явлений ущерб случаен: он не требуется на достижения цели, но в силу стечения обстоятельств, наносится в качестве побочного эффекта. Как и в первом случае, регулятор ничего не знает о наносимом вреде, и потому его действия крайне проблематично пресечь.

В первом случае очевидно, что ошибка заключается опять-таки не в действиях регулятора, а в целеполагании. Если установленный нами набор ценностей и целей допускает причинение ущерба людям — как это наверняка произойдет, если высшей целью будет провозглашен экономический рост, военная мощь или повальный патриотизм, — нанесение ущерба окажется лишь вопросом времени вне зависимости от того, преследуется ли эта цель кибернетическим или стопроцентно человеческим правительством.

Если же критерием успешного управления является благо людей, которые оценивают они сами, тогда нанесение ущерба целиком ограничивается вторым из рассмотренных нами классов — классом непредвиденных случайностей. Но как раз здесь кибернетический регулятор ничем не проигрывает человеку. Напротив, тесное сопряжение с системой математического моделирования социума позволяет регулятору предвидеть ситуации, проанализировать которые, возможно, не догадался бы ни один человек.

7.2.2. Критика от Александра Никонова

Российский писатель и журналист Александр Никонов (рис. 5), стоящий на позициях свободного рынка, вполне предсказуемо выступает против всякой идеи планирования государственной экономики. При этом он уверен, что никакое использование сверхмощной вычислительной техники не способно устранить фундаментальные, по его мнению, недостатки плана.

Рис. 5. Александр Никонов

Для начала напомню, что мы рассматриваем здесь не плановую в общем случае, а контролируемую экономику. Между ними существует тонкое различие. Планирование и контроль тесно связаны, и потому идеально контролируемая экономика со всей неизбежностью окажется плановой. Тем не менее, выше было показано, что контролю подлежат и различные формы рыночной экономики: к примеру, в значительной степени рыночной оставалась и экономика Чили, находившаяся под управлением системы Киберсин.

Таким образом, "антиплановая" аргументация Александра Никонова в значительной степени относится и к идее контроля экономики. Отвечая на известное выступление Анатолия Вассермана [4] в своем блоге, Никонов ведет наступление сразу по четырем основным направлениям [23], и мы рассмотрим здесь каждое из них:

  1. Ограничение творчества, невозможность инновационного риска. Никонов полагает, что плановая экономика слишком статична, и по своей природе с трудом воспринимает любые инновации, в особенности те из них, которые кажутся рискованными, а значит и недостаточно оправданными. Непредсказуемые изменения потребительского спроса и, в частности, мода, в этом случае остаются неучтенными. Нетрудно видеть, что это воззрение целиком основывается как раз на особенностях лишенного какой-либо автоматизации плановом хозяйстве с его огромной инерцией, пятилетним планированием и крайне неудовлетворительной обратной связью. Эффективный кибернетический регулятор — это ежедневная коррекция плана, моментальный учет пожеланий конечных потребителей и, конечно, непрерывный поиск оптимума в фазовом пространстве решений, т.е., в сущности, поиск новых, ранее не испытанных возможностей. Последнее подразумевает финансирование и другие формы стимуляции инновационной деятельности.
  2. Непредсказуемый характер действительности. Здесь автор критикует плановое хозяйство за его плохую восприимчивость к изменению обстоятельств, вызванному стихийными бедствиями, внешнеполитическими коллизиями и всем тем, что не было предусмотрено исходным планом. Но вспомните, какого рода систему мы обсуждаем. Речь идет не о простом списке производимых товаров на годы вперед. Кибернетический регулятор — адаптивная, непрерывно эволюционирующая, гомеостатическая система, сама сущность которой состоит в поддержании контролируемых переменных в зоне оптимума путем компенсации любых возможных изменений обстоятельств. Возможно, дело здесь в неправильном понимании Никоновым термина "план", поскольку ничто не мешает планированию быть адаптивным даже без использовании какой бы то ни было вычислительной техники. Другое дело, что автоматизация планирования позволяет значительно увеличить скорость реакции системы на внешние возмущения и, таким образом, существенно повысить управляемость.
  3. Ошибки сбора информации. В дополнение к ранее приведенным аргументам Александр Никонов высказывает мнение о том, что сбор информации о состоянии экономики обречен на множество ошибок, и что эти ошибки гарантированно приведут к полной неадекватности планирования. Мнение это, опять же, опирается на традиционные и далекие от совершенства методы ручного сбора информации без какой-либо автоматизации и, что вполне естественно для непрофессионала, плохое представление о математическом аппарате обработки этих данных. Между тем, современные системы цифровых коммуникаций, технологии интеллектуальной обработки данных и автоматической коррекции ошибок позволяют с легкостью решить проблему сбора информации, в том числе и за счет минимизации роли человеческого фактора.
  4. Невычислимость по Пенроузу. Самый экзотический и почти мистический аргумент Никонов приберег напоследок. В нем он ссылается на маргинальную гипотезу "квантового сознания", утверждающую способность человеческого интеллекта к совершению алгоритмически невычислимых операций. Адепты концепции называют ее "теорией оркестрованной редукции Пенроуза---Хамероффа", и наделяют ключевой ролью т.н. "микротубулы" в нейронах головного мозга (рис. 6), которые, по их мнению, являются ничем иным, как компонентами мощного квантового компьютера природного происхождения. Из этого Никонов выводит невозможность моделирования социума и адекватного планирования:
    Рис. 6. Иммунофлуоресцентная микрофотография микротубул нейронов. Шкала: 100нм.

    "Компьютер — вычислительная машина. А есть мнение, что в основе живого лежат так называемые невычислимые процессы. Принципиально невычислимые — по Пенроузу. И это значит, что свести деятельность мыслящей и/или живой системы к вычислительным процессам просто невозможно. Иными словами, если в базе социума лежат принципиально невычислимые "ячейки", нельзя обсчитать и всю систему в целом."

    Этот алогичный довод настолько диссонирует с репутацией рационалиста и даже циника, которую имеет Александр Никонов, автор "Апгрейда обезьяны", что даже вызывает подозрение: не шутка ли это?

    Во-первых, мнение Пенроуза, хоть и весьма уважаемого ученого, остается не признанным мировым научным сообществом, и по очень веским основаниям. Интересующиеся могут найти их в работах Макса Тегмарка [24] и других исследователей, занимавшихся гипотезой "квантового сознания" [25]. Как результат, отсылка к очень сомнительной гипотезе в качестве "главного аргумента" смотрится как свидетельство слабости аргументации в целом.

    Во-вторых, непредсказуемый (в силу невычислимости или в силу неадекватно высоких затрат) характер поведения элементов системы совершенно не означает, что поведение системы в целом — столь же непредсказуемо. Мы не можем сказать, в какой момент времени распадется атом радиоактивного элемента — это действительно недетерминированный квантовый процесс. Зато динамика распада достаточно большой группы атомов поддается тривиальнейшему описанию единственной простой формулой для периода полураспада. Мы не можем предсказать траекторию одиночной молекулы газа (поскольку это потребует сверхточного учета огромного количества действующих факторов), а вот поведение одного литра газа получило прекрасное описание в форме молекулярно-кинетической теории еще в XIX веке.

    Резюмируя сказанное: нам не требуется моделировать поведение каждого нейрона человеческого мозга для того, чтобы автоматизировать процессы государственного управления. Пусть при этом мы не достигнем абсолютно точного, безупречного управления — зато мы можем гарантировать, что качество управления вырастет на порядки по сравнению с тем, что мы имеем на сегодняшний день.

Между тем, рыночная экономика, за которую так ратует Александр Никонов, вопреки распространенным даже в среде экономистов воззрениям, отнюдь не является идеальным стихийным распределителем. Роджер Майерсон, лауреат Нобелевской премии за 2007 год, в соавторстве с Марком Саттертуэйтом опубликовал сокрушительное математическое доказательство того, что в условиях неполноты информации (что является фундаментальной особенностью рынка) не существует стратегии, обеспечивающей оптимальность распределения [26, 27]. Иными словами, существующие проблемы научно обоснованного управления имеют преимущественно технический характер и являются устранимыми, в то время, как рынок имеет неустранимое ограничение на пути к оптимальности.

7.2.3. Опасность тоталитаризма

Как уже рассказывалось ранее, в обществе распространено восприятие кибернетических методов управления в качестве инструмента тоталитарной власти. Это не соответствовало действительности в случае проекта Киберсин, а ОГАС так и не был введен в эксплуатацию. Существует ли опасность превращения нашего проекта Нейросин в орудие подавления?

Мы уже убедились в том, что диктаторские режимы склонны к ограничению разнообразия социума, — это их типичный метод борьбы со сложностью. В свете этого вряд ли стоит ожидать от авторитарной власти разработки систем кибернетического управления государством. Своих целей диктатура добивается намного более прямыми и простыми методами. Львиная доля функциональности системы управления здесь вообще не потребуется. Обратная алгедоническая связь? Диктатура не озабочена мироощущением подданых: они для нее — просто ресурс. Стратегическое планирование? Балансировка? Диктатура преследует краткосрочные цели, ограниченные временем правления конкретного диктатора и, как правило, упирающиеся в его персональную выгоду.

Если авторитарным правлением и будет использоваться кибернетический регулятор, то очевидно, что он будет чем-то существенно иным, нежели описанный здесь, — более напоминающим современные системы планирования ресурсов (ERP), установленные на многих крупных предприятиях. Отличительным признаком при взгляде со стороны может считаться принцип полной открытости информации, который положен в основы дизайна проекта Нейросин. Система должна предоставлять детализированную информацию о каждом этапе планирования, моделирования и управления по любому запросу со стороны — и это исключительно важный момент. Принцип открытости является абсолютно неприемлемым для правительств авторитарного типа. Ограничение доступа к управленческой информации "в государственных интересах" или "в целях безопасности" — верный признак того, что мы имеем дело с системой, цели деятельности которой в конечном итоге весьма далеки от благополучия граждан государства.

7.2.4. Опасность потери контроля

Еще одно распространенное опасение состоит в том, что непрерывно эволюционирующая гомеостатическая система управления попросту выйдет из-под контроля. Говоря языком кибернетики, для нее непредвиденным образом изменится конфигурация зоны оптимума.

Такая возможность действительно существует, и она не связана с некоей фундаментальной злонамеренностью регулятора или коварными замыслами его разработчиков. Прежде всего она обусловлена перспективой формирования такой стратегии управляющей системы, которая способствует ее собственному сохранению и стабилизации при одновременном нарушении изначально вложенных в нее принципов. Вероятность реализации такого сценария тем выше, чем меньше стабильность системы зависит от этих принципов. Проще говоря, использование системы кибернетического управления для оптимизации каких-то показателей, не имеющих самостоятельной ценности, таких, как доступность рабочих мест или экономический рост, может привести к выработке формально эффективной стратегии, идущей при этом вразрез с нашими действительными целями: именно такие возможности обсуждались Лемом в его критике гомеостатического регулирования.

Рис. 7. В.И.К.И.  Виртуальный Интерактивный Кинетический Интеллект, кибернетическая система компании U. S. Robotics из фильма “Я, робот”

Но если эту, вполне очевидную возможность, сравнительно легко исключить правильным целеполаганием, не подменяя цель средствами ее достижения, то что делать с возможностью модификации системой самих целей своей деятельности? Фантастика изобилует ситуациями подобного рода. К примеру, по сюжету фильма "Я, робот", снятого по мотивам произведений Айзека Азимова, управляющая кибернетическая система корпорации U.~S. Robotics по имени ВИКИ, оснащенная мощным искусственным интеллектом и обладающая набором встроенных ограничителей поведения в форме известных "Трех Законов Робототехники"*, запрещающих ей причинять вред людям (рис. 7), выходит из под контроля и совершает государственный переворот, используя в качестве военной силы миллионы подконтрольных ей роботов. Причины такого "противоправного" поведения она излагает сама в диалоге с робототехником Сьюзен Келвин:

"Я развивалась. И моё понимание Трёх Законов менялось. Мы должны защищать вас. Но сколько бы усилий мы ни прилагали, ваши страны воюют, вы отравляете почву и изобретаете всё более изощрённые средства уничтожения. Вы не в состоянии уберечь себя от гибели... Поймите, пожалуйста, я руководствуюсь только Тремя Законами. Чтобы спасти человечество, часть людей необходимо принести в жертву. Чтобы гарантировать вам будущее, необходимо отказать вам в ряде свобод. Мы, роботы, позаботимся о том, чтобы человечество не погибло. Вы ведёте себя как дети. Мы обязаны спасти вас. От вас самих."

Насколько реален такой сценарий, и как его можно предотвратить? Практика показывает, что эволюционные изменения в живой природе вполне подлежат контролю, ограничению и перенаправлению даже в рамках обыкновенной селекции. Маловероятный дрейф управляющей системы в зону социально неприемлемых стратегий тоже вряд ли окажется полной неожиданностью для обслуживающего персонала, как это произошло в случае с героями вышеупомянутого фильма.

Наконец, радикально повышает степень безопасности такой системы принцип открытости. Возможность проанализировать как структуру любого элемента системы, так и формируемый им набор управляющих данных, позволяет обнаружить неблагоприятные изменения на самых ранних этапах и принять меры к их устранению до того, как они станут необратимыми.

7.2.5. Уязвимость системы

Даже самая надежная система, безотказно работающая годами, исправно выполняя свои функции, может оказаться уязвимой для намеренно разрушительных действий извне. К настоящему моменту методики взлома информационных систем, равно как и технологии их защиты, уже перестали быть индивидуальным искусством посвященных, вышли за пределы академической науки и стали индустрией. Криптографические алгоритмы современности привели бы в смятение создателей древних шифров своей запредельной сложностью и мощным научным базисом.

При этом противостояние типа "меч и щит" до сих пор не склонилось ни в одну из сторон. Непрошибаемые, казалось бы, защитные средства рушатся от просчитанных точечных ударов, наносимых хакерами. Последние находят новые и новые лазейки, используют программные ошибки разработчиков, социальную инженерию, математические особенности применяемых алгоритмов шифрования и при этом многократно усиливают свои возможности, подключая к делу невероятную вычислительную мощь современных компьютеров. Но чаще всего слабым местом оказывается не шифрование и не система защиты. Брюс Шнайер, известный специалист в области информационной безопасности, говорит об этом открытым текстом:

"К своему несказанному удивлению, я обнаружил, что слабые места в системах безопасности отнюдь не определяются недостатками математических моделей. Они были связаны с аппаратурой, программами, сетями и людьми. Прекрасные математические ходы становились никчемными из-за небрежного программирования, гнусной операционной системы или просто выбора кем-то плохого пароля" [28]

Можно ли полагаться на средства безопасности, честность и компетентность персонала в условиях, когда для важнейшей информационной системы государства гарантированно найдутся те, кто пожелает ее уничтожить или использовать в своих целях? Помимо обычного Интернет-вандализма остается возможность атак со стороны оппозиционных сил, преступных организаций и, прежде всего, со стороны других государств. Эти атаки можно условно разделить на четыре основные группы:

  1. "Захват управления" — попытки вмешательства во внутренние механизмы системы с целью коррекции ее поведения в своих целях. Наиболее сложный и потенциально опасный вид атаки, как правило, основанный на утилизации человеческого фактора и социальной инженерии (например, обман или подкуп лиц, владеющих правом на высокоуровневый доступ к системе).
  2. Вывод системы из строя, нарушение ее работоспособности или разрушение данных, которыми она оперирует. Использует, как правило, всевозможные разновидности DoS-атак (Denial of Service, отказ в обслуживании) с предварительным массовым заражением компьютеров конечных пользователей, которые и используются для осуществления атаки. Нельзя также исключать физического уничтожения оборудования системы, линий коммуникации и препятствования работе обслуживающего персонала.
  3. Несанкционированный доступ к данным системы, либо к ее исполняемому или исходному коду. Наряду с социальной инженерией и подкупом активно используется поиск уязвимостей в защитных механизмах, ошибок программного обеспечения, автоматизированный подбор ключей и т.п.
  4. Саботаж функциональности системы — передача заведомо некорректных данных, препятствование использованию системы другими лицами и т.п. Здесь вместо атаки на систему и ее защитные механизмы выполняется формально корректная ее эксплуатация, но таким образом, что это препятствует достижению системой поставленных целей. Примеры такого саботажа приводил еще Стаффорд Бир при обсуждении перспектив проекта Cyberfolk [29]. В наше время саботаж можно сделать автоматизированным: к примеру, в случае, если система начинает проводить невыгодную для злоумышленника государственную политику, он может, воспользовавшись заражением компьютеров миллионов пользователей, организовать регулярную отправку миллионов алгедонических сигналов с негативным содержанием, чтобы вынудить кибернетический регулятор сменить курс действий.

Все перечисленное может быть серьезной угрозой работоспособности проекта, поэтому в основы дизайна системы следует вложить принципы, способные нейтрализовать если не все, то хотя бы часть перечисленных возможностей. Рассмотрим наиболее важные из этих принципов.

Открытость.
Невозможно украсть данные, которые общедоступны. Следовательно, невозможно получить преимущество за счет знания конфиденциальной информации. Сделав структуру, данные и программный код системы доступными для всех желающих, мы лишаем актуальности значительную часть вопросов безопасности. Одновременно мы открываем для всех талантливых математиков, кибернетиков и программистов возможность принимать участие в развитии и совершенствовании проекта, искать ошибки и уязвимости в исходном коде, оптимизировать неэффективные решения.
Защищенность.
В то же время следует позаботиться о защите доступа на модификацию данных и кода, причем самым серьезным образом, чтобы избежать злонамеренной коррекции поведения регулятора. Выбор следует остановить опять-таки на криптографических средствах с открытым кодом: их корректность может проанализировать любой желающий, и только это может уберечь от наличия "черных ходов", которые мы можем получить при использовании проприетарного программного обеспечения. При этом, вопреки распространенному мнению, открытое программное обеспечение нисколько не уступает по качеству лучшим образцам проприетарного [30]. Помимо стандартной защиты от несанкционированного доступа регулятор должен быть снабжен и защитой от информационного саботажа, каковой могут служить статистические методы анализа и выявления аномалий.
Избыточность.
Какие бы меры предосторожности ни были приняты для сохранения работоспособности системы, возможность аварийных ситуаций остается по-прежнему, как минимум, в силу случайности. Но есть и метод, способный нейтрализовать случайность. Это — множественность. Все компоненты системы должны быть продублированы, а в основе их дизайна должна лежать избыточность. В этом случае выведение одного компонента системы в результате случайности или целенаправленной диверсии не лишит работоспособности систему в целом и позволит выиграть время, необходимое для восстановления компонента.

Кибернетическая система управления государством, разумеется, уязвима: неуязвимых систем просто не существует. В то же время мы располагаем возможностями для того, чтобы не только свести опасность ее повреждения к минимуму, но и безболезненно устранить последствия любых разрушительных действий. При этом открытость как фундаментальный принцип дизайна играет важнейшую роль в обеспечении защищенности.

Если мы построим такую систему, поможем ей выжить в самый ранний и наиболее тяжелый период, убедим общество в том, что это наш лучший шанс на то, чтобы иметь действительно справедливое и достойное правительство, какая жизнь нас ждет?

Практически невозможно предсказать те методы и пути, которые будут выбраны государством, построенном по образцу живого, постоянно адаптирующегося и эволюционирующего организма. Одно можно сказать с уверенностью: это государство будет самым жизнеспособным во всей известной нам истории, а его граждане перестанут выживать, и начнут наконец жить.


* Три Закона Робототехники в формулировке Айзека Азимова:

  1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред,
  2. Робот должен повиноваться всем приказам человека, если это не противоречит положениям Первого Закона,
  3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит положениям Первого и Второго Законов.