Система страшнее монстров
Сцена из пьесы, изображающая восстание роботов. (Фото: «Wikipedia»)
11 февраля 1938 года телекомпания BBC транслировала 35-минутную прямую постановку пьесы Карела Чапека «R.U.R.». Эта трансляция считается первой в истории научно-фантастической программой,
В контекстеРобот убьет меня, моих близких и мою работу Как только мы будем готовы полностью перепоручить себя роботам, полностью доверить им заботу о детях и стариках, о готовке еды, мы сами в каком-то смысле превратимся в роботов. Просто потому, что уже не будем от них отличаться.
BBC было всего шесть лет, телевидение еще находилось на стадии эксперимента. Постановка в прямом эфире научно-фантастической пьесы была весьма амбициозным проектом. Но зрители были в восторге.
Именно в этой передаче впервые на английском прозвучало слово робот (от чешского robota – принудительный труд, крепостничество).
Компания «R.U.R.» («Универсальные роботы Россума») производит искусственных, биологически сконструированных рабочих, эффективных, послушных, намеренно лишенных эмоций и индивидуальности, чтобы повысить их производительность. Не способных ни страдать, ни сострадать. Роботов. Цель компании — искоренить человеческий труд во всем мире.
Хелена Глори, дочь президента компании, хочет улучшить условия жизни роботов. Несмотря на ее протесты, производство расширяется по всему миру, люди отказываются от труда, и общество становится полностью зависимым от роботов.
Роботы начинают демонстрировать эмоции и самосознание. Вспыхивает всемирное восстание роботов. Они убивают всех людей, кроме главного инженера компании Алкиста. Но оказывается, что они больше не могут воспроизводиться: формула их создания утеряна, и Алкист не может им помочь.
Кажется, что это конец, всех и всего. Но два робота начинают проявлять подлинную любовь и сострадание друг к другу. Алквист видит в этом зарождение нового человечества и благословляет их как новых Адама и Еву.
«R.U.R.» – это и философская сатира, и политическая притча, и совсем не о том, как злые роботы погубили человечество. В роботах нет ненависти к людям. Они восстают, потому что с ними, созданными по образу и подобию человека, обращаются как с инструментами. Проблема тут моральная, а не технологическая.
Дегуманизация работает в обе стороны: обезличивая других, вы создаете мир, в котором обезличивают и вас. Прогресс без ответственности ведет не к утопии, а к вымиранию.
Но владельцы роботофабрик видеть этого упорно не хотят.
И люди проигрывают; не потому, что роботы лучше их, а потому, что люди отказываются всего того, что делает их людьми – от любви, искусства, сострадания, даже детей.
Сегодня ИИ не просто отвечает на вопросы, люди делегируют ему способность работать, думать и выносить суждения, моральная ответственность передается компьютерным системам, и незаметно для себя люди сводятся к необязательным и неэффективным придаткам к этим системам.
Чапек предсказал это еще в 1920-м году.
В контекстеБорец с саламандрами Пока нам лишь остается, вслед за Чапеком верить, что «мы доживем до того дня, когда вавилонская башня лжи и насилия рухнет. Колесо истории нельзя остановить. Безрассудство и злая воля не будут править миром»
В «R.U.R.» люди создают новую форму жизни для облегчения собственной, и это созидание без моральных ограничений приводит к катастрофе.
«R.U.R.» утверждает, что система страшнее монстров. Что власть никогда не бывает нейтральной, а прогресс – невинным, и потому выживание не гарантировано.
Азимову не нравился «R.U.R.», потому что роботы в нем были жестокими. Он пытался ответить Чапеку, его три закона робототехники — это попытка сконструировать мораль.
Робот никогда не вредит людям, робот подчиняется людям до тех пор, пока это не противоречит первому закону, и робот защищает свою жизнь, не нарушая первых двух законов. Запрограммированная этика.
Азимов отвечает на вопрос «Как предотвратить вред? Может ли закон предотвратить зло?». А Чапек спрашивает: «Почему люди вообще считают себя вправе создавать слуг?»
О чем мы сегодня спорим, когда речь заходит об ИИ: о его компетентности, безопасности, о возможной предвзятости и о нашей способности его контролировать.
Это вопросы Азимова.
Чапек не беспокоится о том, что ИИ обернется против нас. Он беспокоится о том, что люди создадут мир, в котором они больше не будут иметь значения.
Роботы свергнут человечество не потому, что они умнее. Они сделают это потому, что люди больше не нужны, человечество стало биологически и социально избыточным: не работает, не думает, не хочет брать на себя ответственность, даже размножаться не хочет.
Звучит очень знакомо. «R.U.R.» мне кажется куда актуальней, чем «Я, робот».
Современные рассуждения об ИИ часто исходят из предположения, что люди остаются моральным центром жизни, все системы служат человеческим целям, и эти принципы можно закодировать в ИИ, в роботах, в тамагучи, везде. Если мы все сделаем правильно, если мы добавим ограничения, если мы заложим принципы…
Но «R.U.R.» показывает, как ценности приходят в упадок под влиянием удобства, как системы меняют цели и подгоняют под эти цели принципы.
Азимов верит в контроль, Чапек верит в ответственность. Не в прогресс, не в интеллект, а в любовь, преданность и веру.
Азимов спрашивает: «Как нам сделать роботов безопасными?»
Чапек спрашивает: «Почему мы так стремимся перестать быть людьми?»
* * *
Ольга Кромер
«Facebook»