ТОЧКА ЗРЕНИЯ
Татьяна Черниговская,
ученый в области нейронауки и психолингвистики, а также теории сознания, доктор биологических и филологических наук, профессор. Заслуженный деятель науки России. Инициатор открытия первой учебной специализации «Психолингвистика» на кафедре общего языкознания филологического факультета СПбГУ
ученый в области нейронауки и психолингвистики, а также теории сознания, доктор биологических и филологических наук, профессор. Заслуженный деятель науки России. Инициатор открытия первой учебной специализации «Психолингвистика» на кафедре общего языкознания филологического факультета СПбГУ
Искусственный интеллект научился блефовать
По-моему, за всю историю человечества не происходило изменений, сопоставимых по масштабу с теми, которые мы наблюдаем сейчас. Меня пугает даже не само «извержение вулкана», а скорость, с которой оно происходит — такого не было никогда!
Например, сегодня уже стóит бояться того, что случится, если у искусственного интеллекта появится сознание, что наши планы, скорее всего, с его планом не совпадут.
Проблема еще и в том, как именно мы узнáем, что сознание у него появилось. Удастся ли нам вовремя об этом узнать? У него ведь много возможностей, например, в геном подсунуть что-нибудь, или саранчу расплодить так, чтоб весь урожай сожрала, с электричеством можно поработать. Я не хочу ужасов нагонять, но это проблема, о которой мы можем и не узнать.
Проблема еще и в том, как именно мы узнáем, что сознание у него появилось. Удастся ли нам вовремя об этом узнать? У него ведь много возможностей, например, в геном подсунуть что-нибудь, или саранчу расплодить так, чтоб весь урожай сожрала, с электричеством можно поработать. Я не хочу ужасов нагонять, но это проблема, о которой мы можем и не узнать.
Чего ждать от искусственного интеллекта?
В 2010 году появилось первое существо, состоящее из живого и неживого. Крейг Вейнтер создал живой организм с синтетическим геномом — Cynthia. (Представляю себе, как в магазинах продаются детские наборы «Юный генетик», вроде популярного «Юного химика». И это вызывает у меня тревогу.)
Когда Deep Blue обыграл шахматиста Гарри Каспарова, человечество содрогнулось: как так?! Ведь мы привыкли считать человеческий мозг венцом творения. Правда, потом, когда всё проанализировали, все успокоились, включая самого Каспарова. Оказалось, что Deep Blue был буквально надрессирован на конкретного игрока, знал всё, что Каспаров когда-либо делал с шахматными фигурами. Более того, это была нечестная игра, так как компьютер не устает, не нервничает, у него безграничный объем памяти и гигантская скорость обработки информации.
Конечно, скорость работы компьютера несопоставима со скоростью человеческого мозга — в этой «гонке» мы проиграли давно. Но, похоже, дело теперь не только в скорости. Нам казалось, что с такой сложной игрой, как го, электронные «монстры» не справятся. Однако чемпион был с разгромным счетом повержен. То же самое произошло со всеми остальными интеллектуальными играми. Компания Deep Mind создала систему AlphaGo, победившую профессионального игрока в го высшего ранга, а совсем недавно представила более общую версию — AlphaZero, универсальный алгоритм, одинаково хорошо постигающий го, сеги, шахматы… Ему достаточно 24 часов, чтобы победить любого человека. Но он побеждает и сильные компьютерные программы, с огромной скоростью набирает знания.
Если честно, у меня была последняя надежда на покер. Ведь там же есть покерфэйс (умение блефовать). Игрок может врать в надежде, что «железка» об этом не догадается. Но она справилась! Программа Libratus в пух и прах обыграла четверых высококлассных игроков, выиграла около 1 700 000 по фишкам. Программе, конечно, ничего не дали, разделили все между игроками. Но ведь в покер мы тоже проиграли! Это говорит о том, что искусственный интеллект приобрел черты не только алгоритмические. То есть роботы на самом деле вторгаются на нашу территорию.
В 2010 году появилось первое существо, состоящее из живого и неживого. Крейг Вейнтер создал живой организм с синтетическим геномом — Cynthia. (Представляю себе, как в магазинах продаются детские наборы «Юный генетик», вроде популярного «Юного химика». И это вызывает у меня тревогу.)
Когда Deep Blue обыграл шахматиста Гарри Каспарова, человечество содрогнулось: как так?! Ведь мы привыкли считать человеческий мозг венцом творения. Правда, потом, когда всё проанализировали, все успокоились, включая самого Каспарова. Оказалось, что Deep Blue был буквально надрессирован на конкретного игрока, знал всё, что Каспаров когда-либо делал с шахматными фигурами. Более того, это была нечестная игра, так как компьютер не устает, не нервничает, у него безграничный объем памяти и гигантская скорость обработки информации.
Конечно, скорость работы компьютера несопоставима со скоростью человеческого мозга — в этой «гонке» мы проиграли давно. Но, похоже, дело теперь не только в скорости. Нам казалось, что с такой сложной игрой, как го, электронные «монстры» не справятся. Однако чемпион был с разгромным счетом повержен. То же самое произошло со всеми остальными интеллектуальными играми. Компания Deep Mind создала систему AlphaGo, победившую профессионального игрока в го высшего ранга, а совсем недавно представила более общую версию — AlphaZero, универсальный алгоритм, одинаково хорошо постигающий го, сеги, шахматы… Ему достаточно 24 часов, чтобы победить любого человека. Но он побеждает и сильные компьютерные программы, с огромной скоростью набирает знания.
Если честно, у меня была последняя надежда на покер. Ведь там же есть покерфэйс (умение блефовать). Игрок может врать в надежде, что «железка» об этом не догадается. Но она справилась! Программа Libratus в пух и прах обыграла четверых высококлассных игроков, выиграла около 1 700 000 по фишкам. Программе, конечно, ничего не дали, разделили все между игроками. Но ведь в покер мы тоже проиграли! Это говорит о том, что искусственный интеллект приобрел черты не только алгоритмические. То есть роботы на самом деле вторгаются на нашу территорию.
Человечество «заигралось» в технологии
В декабре 2017 года был опубликован доклад Римского клуба, подготовленный к его 50-летию, под названием «Come On! Капитализм, близорукость, население и разрушение планеты». (Римский клуб — это международное интеллектуальное собрание, которое анализирует глобальный мир.) В этом юбилейном докладе, в числе прочего, говорится о том, что мы — человечество — заигрались в технологические игры. А между тем они опасны не только в техническом, но и в мировоззренческом смысле: мы можем потерять контроль над ситуацией. Неизвестно, чем дело кончится.
Если мы полностью доверимся технологиям, то очевиден вопрос: что будут делать люди? Я не имею в виду замену людей, например юристов, программами — это простая история. Речь о том, что важнейшие решения будут принимать мощные суперкомпьютеры, и вся наша жизнь будет обеспечиваться ими.
Мы попали в парадоксальный мир, который, с одной стороны, открывает перед нами огромные соблазнительные возможности, а с другой — вынуждает делать выбор между этими возможностями и безопасностью. Все это — последствия технологического развития.
Еще один интересный аспект: мы боимся потерять контроль над искусственным интеллектом, а контролируем ли естественный? Мы изучаем мозг, но пока не можем увидеть, чтó в нем происходит. Магистранты приходят ко мне и говорят: «Хочу работать с мозгом». «А что ты хочешь там увидеть, если не секрет? Можно ли там увидеть этические и когнитивные способности?» — спрашиваю их я.
В голове у нас сложнейшая нейронная сеть, которую невозможно себе представить. Если вытянуть в одну линию все нейроны, которые находятся в голове — не у Эйнштейна, а у обычного человека, — получится страшная цифра: 2,8 млн км. Нейроны уложены также и в другие клетки, глиальные — они имеют собственную память, их еще в 10 раз больше. Каждый нейрон может образовать от 50 000 до 100 000 связей с другими частями мозга. Всего порядка квадрильона связей, а с учетом глиальных — вообще немыслимое количество.
Крупнейший философ, занимающийся проблемами сознания, Дэниэл Беннет, пишет, что мы не более чем совокупность триллиона нейронов. Если прав Беннет, и человек — это всего лишь программа, которую можно разобрать на нейроны, то о какой свободе воли можно говорить? Есть и другие точки зрения. Так что пока остается нерешенным вопрос: кто такие мы сами?
Гений человечества додумался до того, чтобы создать внешнюю память: вначале она существовала в виде рисунков на скалах, сообщений, теперь — в виде жестких дисков. Но и это привело к тревожным результатам. Многие сегодня не ныряют в информацию с головой, а скользят по ней, как серфингисты.
Еще более тревожная вещь — интернет-зависимость. Нейрофизиологические данные говорят о том, что у людей, зависимых от Интернета, происходят такие же изменения в мозгу, как при наркотической или алкогольной зависимости. Это называется computer illness — компьютерная болезнь.
Интернет-зависимость приводит к перестройке мозга — он вообще постоянно перестраивается. Меня поражает и ужасает эта огромная нейронная сеть, которая переписывается каждую секунду!
В декабре 2017 года был опубликован доклад Римского клуба, подготовленный к его 50-летию, под названием «Come On! Капитализм, близорукость, население и разрушение планеты». (Римский клуб — это международное интеллектуальное собрание, которое анализирует глобальный мир.) В этом юбилейном докладе, в числе прочего, говорится о том, что мы — человечество — заигрались в технологические игры. А между тем они опасны не только в техническом, но и в мировоззренческом смысле: мы можем потерять контроль над ситуацией. Неизвестно, чем дело кончится.
Если мы полностью доверимся технологиям, то очевиден вопрос: что будут делать люди? Я не имею в виду замену людей, например юристов, программами — это простая история. Речь о том, что важнейшие решения будут принимать мощные суперкомпьютеры, и вся наша жизнь будет обеспечиваться ими.
Мы попали в парадоксальный мир, который, с одной стороны, открывает перед нами огромные соблазнительные возможности, а с другой — вынуждает делать выбор между этими возможностями и безопасностью. Все это — последствия технологического развития.
Еще один интересный аспект: мы боимся потерять контроль над искусственным интеллектом, а контролируем ли естественный? Мы изучаем мозг, но пока не можем увидеть, чтó в нем происходит. Магистранты приходят ко мне и говорят: «Хочу работать с мозгом». «А что ты хочешь там увидеть, если не секрет? Можно ли там увидеть этические и когнитивные способности?» — спрашиваю их я.
В голове у нас сложнейшая нейронная сеть, которую невозможно себе представить. Если вытянуть в одну линию все нейроны, которые находятся в голове — не у Эйнштейна, а у обычного человека, — получится страшная цифра: 2,8 млн км. Нейроны уложены также и в другие клетки, глиальные — они имеют собственную память, их еще в 10 раз больше. Каждый нейрон может образовать от 50 000 до 100 000 связей с другими частями мозга. Всего порядка квадрильона связей, а с учетом глиальных — вообще немыслимое количество.
Крупнейший философ, занимающийся проблемами сознания, Дэниэл Беннет, пишет, что мы не более чем совокупность триллиона нейронов. Если прав Беннет, и человек — это всего лишь программа, которую можно разобрать на нейроны, то о какой свободе воли можно говорить? Есть и другие точки зрения. Так что пока остается нерешенным вопрос: кто такие мы сами?
Гений человечества додумался до того, чтобы создать внешнюю память: вначале она существовала в виде рисунков на скалах, сообщений, теперь — в виде жестких дисков. Но и это привело к тревожным результатам. Многие сегодня не ныряют в информацию с головой, а скользят по ней, как серфингисты.
Еще более тревожная вещь — интернет-зависимость. Нейрофизиологические данные говорят о том, что у людей, зависимых от Интернета, происходят такие же изменения в мозгу, как при наркотической или алкогольной зависимости. Это называется computer illness — компьютерная болезнь.
Интернет-зависимость приводит к перестройке мозга — он вообще постоянно перестраивается. Меня поражает и ужасает эта огромная нейронная сеть, которая переписывается каждую секунду!
Надо ли учить машину морали выбора?
Хочу подчеркнуть: я не хотела бы прослыть ретроградом. Я живу в современном мире, пользуюсь гаджетами, мне нравится, что я могу за одну секунду зайти в библиотеку Конгресса. Но с другой стороны, меня тревожит, что эти гаджеты «знают», где, с кем и что я съела за обедом, что купила…
Недавно прочла о том, что мир стал нечеловекомерным. В научном обороте появились единицы измерения, не сопоставимые с человеческим телом физически, например, наносекунды, нанометры. Нас нет в наномире, но он существует. И если мы не хотим закрывать глаза на новые опасности, значит, нам надо думать о том, как жить, какое образование получать, выработать отношение ко всему этому.
Сегодня цифровой мир во многом автономен — появились Интернет вещей, самоорганизация сетей, цифровая реальность. И соответственно возник новый принцип «естественного отбора» в обществе: востребованы те, кто умеет всем этим пользоваться. Не просто на кнопки смартфона нажимать, а ориентироваться в этом мире.
В новом, нечеловекомерном мире людям по-прежнему необходимо договариваться друг с другом. Как не потерять базовые представления о реальности и контроль над нею? Прозрачность окружающего мира неизбежно ведет к пересмотру основных этических норм, ценностей и смыслов.
Вопрос о праве и морали весьма серьезен, ведь внутри цифрового мира эти понятия имеют совершенно другие конфигурации. Например: машина-беспилотник едет по Калифорнии и сбивает пешехода. Вопрос: кто за это должен отвечать? Еще один пример: как беспилотник решит психологическую дилемму, которая предлагается в каждом учебнике: повернуть направо и сбить пять человек или налево — и сбить только одного?
Ответ на вопрос — «куда поворачивать» — должен быть заложен в машину. Это значит, что мы должны заложить в нее моральные категории. И тогда перед нами встают вопросы из области гуманитарных, а не компьютерных знаний, и опять же непонятно, кто их должен решать.
Наконец, главный вопрос: когда мы отдадим всё на откуп машинам, чем займемся сами? Уже давно возникли термины «праздная цивилизация» и «лишние люди» (последний несет совсем иной смысл, нежели в русской классической литературе). Таких людей общество будет содержать, чтобы они не умирали с голода — примеры мы уже видим в некоторых странах. Как говорится, праздный мир — кухня дьявола. И в истории человечества мы это уже наблюдали: Древний Рим пал.
Сегодня для нашей цивилизации наступило время рефлексии. Нам пора остановиться и подумать: куда мы попали, сможем ли справиться с ситуацией? Перед нами встал вопрос, который стоял перед человечеством еще в эпоху античности. Мы кто такие? Соревноваться с суперкомпьютерами в скорости решения суперзадач уже поздно. На другие вопросы надо искать ответы.
Из выступления Татьяны Черниговской на Гайдаровском форуме-2018
Хочу подчеркнуть: я не хотела бы прослыть ретроградом. Я живу в современном мире, пользуюсь гаджетами, мне нравится, что я могу за одну секунду зайти в библиотеку Конгресса. Но с другой стороны, меня тревожит, что эти гаджеты «знают», где, с кем и что я съела за обедом, что купила…
Недавно прочла о том, что мир стал нечеловекомерным. В научном обороте появились единицы измерения, не сопоставимые с человеческим телом физически, например, наносекунды, нанометры. Нас нет в наномире, но он существует. И если мы не хотим закрывать глаза на новые опасности, значит, нам надо думать о том, как жить, какое образование получать, выработать отношение ко всему этому.
Сегодня цифровой мир во многом автономен — появились Интернет вещей, самоорганизация сетей, цифровая реальность. И соответственно возник новый принцип «естественного отбора» в обществе: востребованы те, кто умеет всем этим пользоваться. Не просто на кнопки смартфона нажимать, а ориентироваться в этом мире.
В новом, нечеловекомерном мире людям по-прежнему необходимо договариваться друг с другом. Как не потерять базовые представления о реальности и контроль над нею? Прозрачность окружающего мира неизбежно ведет к пересмотру основных этических норм, ценностей и смыслов.
Вопрос о праве и морали весьма серьезен, ведь внутри цифрового мира эти понятия имеют совершенно другие конфигурации. Например: машина-беспилотник едет по Калифорнии и сбивает пешехода. Вопрос: кто за это должен отвечать? Еще один пример: как беспилотник решит психологическую дилемму, которая предлагается в каждом учебнике: повернуть направо и сбить пять человек или налево — и сбить только одного?
Ответ на вопрос — «куда поворачивать» — должен быть заложен в машину. Это значит, что мы должны заложить в нее моральные категории. И тогда перед нами встают вопросы из области гуманитарных, а не компьютерных знаний, и опять же непонятно, кто их должен решать.
Наконец, главный вопрос: когда мы отдадим всё на откуп машинам, чем займемся сами? Уже давно возникли термины «праздная цивилизация» и «лишние люди» (последний несет совсем иной смысл, нежели в русской классической литературе). Таких людей общество будет содержать, чтобы они не умирали с голода — примеры мы уже видим в некоторых странах. Как говорится, праздный мир — кухня дьявола. И в истории человечества мы это уже наблюдали: Древний Рим пал.
Сегодня для нашей цивилизации наступило время рефлексии. Нам пора остановиться и подумать: куда мы попали, сможем ли справиться с ситуацией? Перед нами встал вопрос, который стоял перед человечеством еще в эпоху античности. Мы кто такие? Соревноваться с суперкомпьютерами в скорости решения суперзадач уже поздно. На другие вопросы надо искать ответы.
Из выступления Татьяны Черниговской на Гайдаровском форуме-2018
ДРУГИЕ МАТЕРИАЛЫ НОМЕРА
