В замешательстве Карл вытащил из кармана устройство и нажал на выключатель.

— Нет, выключи, как положено. Вынь из него аккумулятор.

— Вытащить аккумулятор?

— Функция распознавания речи продолжает работать в режиме ожидания, для того чтобы Зеркало могло включиться по команде. Ты же знаешь.

— Ну если ты настаиваешь… — Карл снял крышку и вынул аккумулятор.

— Теперь, пожалуйста, дай мне очки.

— Это еще зачем?

— Просто сделай это.

Карл снял очки и отдал их Эрику, а тот положил их в нижний ящик стола.

— Зачем? Ведь Зеркало выключено, — спросил Карл в замешательстве.

— Очки могут связаться с Зеркалом через блютус. Если другое Зеркало находится достаточно близко, теоретически они могут связаться и с ним.

— Но мы исключили эту возможность. Кроме собственного Зеркала, ничто не может связаться с очками.

— Никто и ничто, кроме зеркальной сети, — поправил Эрик.

Карл пристально посмотрел на него.

— Что происходит, Эрик? Ты знаешь, кто манипулировал статистическими данными?

Эрик кивнул.

— Думаю, да. Но не хочу говорить об этом здесь.

— Ты становишься параноиком!

— Может быть. Я надеюсь, что ошибся. Но то, что ты только что рассказал, хорошо вписывается в общую картину. Давай пойдем и съедим по куску пиццы, как в старые добрые времена.

— "Роналду"?

— "Роналду"!

До небольшого ресторанчика итальянской кухни, которым управляли мексиканцы, было не больше пятисот метров. Когда-то именно в этом заведении под действием нескольких бокалов вина у них и родилась идея Зеркала. Сомнительный вкус местной пиццы компенсировала ее дешевизна, что в то время имело немалое значение. Правда и теперь, когда у обоих было все в порядке с деньгами, они все равно предпочитали это место любому роскошному ресторану.

— Так что же тебя так напугало? — спросил Карл по дороге. Солнце ярко светило, с залива дул, принося прохладу, легкий ветерок, и мрачные предчувствия показались ему чем-то несущественным. Стресс сказался на его нервах и, видимо, на нервах его друга. Этого и следовало ожидать.

— С какого-то момента я заметил, что зеркальная сеть стала чем-то вроде контролирующего центра управления, — ответил Эрик. — И это шло вразрез с нашими планами. Мы хотели, чтобы Зеркала учились друг у друга. Сеть должна была стать коммуникационной платформой. Но теперь похоже, что тон задает именно она, а Зеркала являются лишь ее придатками.

Что ты понимаешь под выражением "задавать тон"?

Наша первоначальная идея заключалась в том, чтобы Зеркало выбирало наилучший для своего пользователя вариант из различных альтернатив, исходя при его оценке из предпочтений и потребностей своего пользователя. Найденные варианты зеркальная сеть сравнивала с предложениями для других пользователей, повышая тем самым свой уровень. Некоторое время это работало довольно хорошо. Но теперь у меня сложилось впечатление, что, дав системе возможность сравнивать, мы совершили ошибку. Она стала стремиться к чему-то вроде максимальной выгоды для всех пользователей в целом.

— Ну и что в этом плохого?

— Представь себе, что Зеркало ведет машину. Внезапно на дороге появляются люди. Оно должно решить, следует ли направить машину к обрыву справа и, соответственно, пожертвовать водителем, или сбить несколько человек, стоящих на дороге. Если Зеркало действует в интересах своего пользователя, оно должно остановиться на втором варианте. Если же оно действует в общих интересах, оно убьет водителя и спасет большинство.

— Я надеюсь, что Зеркало просто вовремя остановит машину, — проговорил Карл.

— Это всего лишь гипотетический пример, иллюстрирующий суть проблемы. Я хочу сказать, что Зеркало может выбрать вариант, который будет иметь для своего владельца негативные последствия. При этом другие пользователи, если смотреть в целом, получат преимущество.

Карл побледнел.

— Ты имеешь в виду, что Зеркало может намеренно дать дурной совет?

— Я бы говорил не о намерении, а скорее о неправильной функции оптимизации. Но итог окажется именно таким.

— Но это катастрофа! Это означает, что никто больше не станет доверять своему Зеркалу! Это конец!

— Это еще не самое плохое, — заверил Карла Эрик.

— Куда уж хуже!

— Зеркальная сеть может найти общую для пользователей выгоду, только если они доверяют своим устройствам и постоянно их используют. Соответственно, ей необходимо обеспечить выполнение перечисленных условий.

— И это значит…

— Это значит, что любой, кто не доверяет Зеркалу, тем более пытается предупредить людей о его недостатках, автоматически становится ее врагом.

Карл, стараясь осмыслить сказанное Эриком, умолк. Некоторое время они шли бок о бок в тишине. Потом Карл уточнил: