Мечты роботов (Сборник рассказов и эссе)

Однако стремление к безопасности порождает усложнение системы. Робот сумеет остановить непрошенного гостя, но сигнала тревоги может оказаться недостаточно. Людям захочется наделить его способностью изгнать посетителя, даже если при этом робот причинит ему вред – собака ведь тоже может увусить вас за ноги или перегрызть глотку. Я что произойдет, если, например, глава фирмы забудет свою карточку в других брюках и, расстроившись, не успеет покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую территорию? Я подозреваю, что если робот причинит вред человеку, который не имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат задание внести соответствующие изменения, чтобы ошибка не повторилась.

Расмотрим другую крайность – разговоры об оружии. Компьютеризированные самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим упорством будут без устали сражаться с врагом. В качестве довода в защиту подобного оружия можно сказать, что таким образом мы сохраним жизнь солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим машинам воевать за нас. Если какие-то из них будут уничтожены – ну, это же всего лишь машины. Такой подход к ведению военных действий может оказаться особенного полезным, если у вас такие машины есть, а у врага – нет.

Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все наше оружие контролируют руки и мозги людей, существует проблема «дружественного огня». Американское оружие может случайно убить американских солдат или гражданских людей, что нередко происходило в прошлом. Речь идет об ошибках, которые допускали люди, однако от этого не легче. А что, если наше роботизированное оружие откроет «дружественный огонь» и начнет уничтожать американцев или даже американскую собственность? Принять такое будет еще труднее (в особенности если враг разработает специальные стратегические мероприятия, направленные на то, чтобы сбить программы наших роботов и повернуть их огонь против нас). Нет, я уверен, что попытки применения роботов без специальных защитных систем провалятся и в конце концов мы все равно вернемся к Трем законам.

Разумы, действующие совместно

Intelligences Together (1979)
Перевод: В. Гольдич

В эссе «Наши разумные инструменты» я упомянул о том, что может сложиться ситуация, когда роботы станут такими умными, что в конце концов нас заменят. Я предположил с некоторым цинизмом, что, учитывая поведение людей, подобная замена может оказаться очень даже полезной. С тех пор прошло время, и роботы начали занимать все более важное место в промышленности, и хотя они продолжают оставаться довольно тупыми (если говорить об уровне интеллектуального развития), они очень быстро развиваются.

В таком случае, пожалуй, нам следует еще раз взглянуть на возможность возникновения ситуации, когда роботы (или компьютеры, которые в действительности управляют роботами) нас заменят. Результат, разумеется, зависит от того, насколько разумны будут компьютеры и станут ли они настолько умнее нас, что наступит время, когда они будут относиться к нам как к домашним животным (в лучшим случае) или паразитам (в худшем).

Получается, что степень разумности – штука настолько простая, что ее можно измерить каким-нибудь прибором вроде линейки или градусника либо при помощи теста, а потом выразить цифрами. Если умственное развитие среднего человека можно обозначить цифрой 100 по шкале интеллектуального развития, получается, что, как только компьютер минует эту отметку, у нас появятся проблемы.

Впрочем, так ли все просто? Вне всякого сомнения, такая сложная вещь, как интеллект, должна характеризоваться множеством факторов и иметь массу разнообразных видов – если можно так сказать. Мне представляется, что нужно обладать до определенной степени развитым интеллектом, чтобы написать логично выстроенное эссе, выбрать правильные слова и поставить их в правильном порядке. Я также полагаю, что человек, изучающий сложное устройство, должен быть наделен развитым интеллектом, иначе он не поймет, как оно работает и что следует сделать, чтобы его усовершенствовать – или починить, если оно вдруг сломалось. Что касается литературного труда, я обладаю чрезвычайно высокоразвитым интеллектом; а вот в работе с разного рода машинами и устройствами я абсолютно ничего не понимаю. В таком случае, кто я – гений или идиот? Ответ таков: ни то ни другое. Просто какие-то вещи получаются у меня хорошо, а какие-то плохо. Это можно сказать про любого из нас.