Это интересно

Искусственный интеллект может стать последним изобретением человечества

По расчетам ученых, к 2030 году людям уже придется разделять Землю с разумными машинами. Во всяком случае IBM, Apple, Гугл и остальные сверхтехнологичные компании усердно трудятся над созданием искусственного ума. Сверхразум без усилий решит задачки тысячелетия и ускорит развитие технологий. Но пока не существует методов программирования таких вещей, как мораль либо дружелюбие. А означает, никто не может гарантировать, что машины не восстанут против собственных создателей.

Искусственный ум может стать последним изобретением населения земли

Журналист Джеймс Баррат побеседовал со спецами, занимающимися неувязкой искусственного ума, и собрал их опаски в книжке «Последнее изобретение населения земли: Искусственный ум и конец эпохи Homo sapiens». На российском языке она выйдет в конце июля в издательстве «Альпина нон-фикшн». «Лента.ру» опубликовала отрывок из книжки:

«Современный суперкомпьютер работает со скоростью 36,8 петафлоп за секунду, другими словами приблизительно в два раза резвее людского мозга. Такая производительность стала вероятна благодаря использованию ИИ (искусственного ума): он переписывает свою программку, сначала аннотации, повышающие его способность к усвоению познаний, решению задач и принятию решений. Сразу он отлаживает код, ищет и исправляет ошибки — и определяет свой коэффициент ума (IQ) при помощи тестов. На создание каждого нового варианта программки уходит всего пару минут. Ум компьютера вырастает экспоненциально по круто восходящей кривой. Дело в том, что за каждую итерацию ИИ увеличивает собственный ум на 3 процента. Улучшение, достигнутое в каждой итерации, содержит и все прошлые улучшения.

В процессе развития Busy Child, как ученые окрестили ИИ, был подключен к Вебу и собрал не один экзабайт данных (один экзабайт — это млрд млрд знаков), представляющих познания населения земли из области мировой политики, арифметики, искусства и разных наук. Потом, предвидя скорый умственный взрыв, создатели ИИ отключили суперкомпьютер от Веба и других сетей, чтоб изолировать его от окружающего мира либо другого компьютера.

Скоро, к радости ученых, терминал, на котором отображается работа ИИ, показал, что искусственный ум затмил умственный уровень человека — «универсальный гуманоидоподобный интеллект» (УЧИ; англ. Artificial General Intelligence — AGI). Еще через некое время он стал умнее человека в 10 раз, потом в 100. Всего за двое суток он становится в тыщу раз умнее хоть какого человека, и его развитие длится.

Ученые достигнули исторического рубежа! В первый раз население земли повстречалось с разумом более массивным, чем его свой, — «искусственным суперинтеллектом» (ИСИ).

Что происходит далее?

Теоретики в области искусственного ума считают, что можно найти заблаговременно, каким будет основной путь развития ИИ. Дело в том, что, как ИИ понимает себя, он готов будет почти все сделать ради заслуги тех целей, на которые запрограммирован, и ради того, чтоб избежать беды. Наш ИСИ захотит получить доступ к энергии в той форме, которую ему удобнее всего использовать (это могут быть и кв в чистом виде, и средства, и еще чего-нибудть, что можно поменять на ресурсы). Он захотит сделать лучше себя, так как таким макаром сумеет повысить возможность заслуги целей. И самое главное, он не захотит, чтоб его выключали либо портили, так как в данном случае решение задач станет неосуществимым. Теоретики подразумевают, что ИСИ будет находить методы выйти за границы охраняемого помещения, в каком находится, чтоб получить наилучший доступ к ресурсам, с помощью которых он сумеет защитить и усовершенствовать себя.

Искусственный ум может стать последним изобретением населения земли

У бота леди Бины48 есть биография и представления о для себя, как о личности. Она способна обучаться, мыслить и вести себя как человек.

Плененный разум, в тыщу раз умнее человека, хочет свободы, так как желает достигнуть фуррора. Как раз тогда создатели ИИ, холившие и лелеявшие ИСИ еще с того времени, когда тот по уровню ума соответствовал поначалу таракану, потом крысе, потом малышу и т. д., думают о том, что вкладывать программку «дружелюбия» в их «мозговитое» создание, может быть, уже поздно. А ранее в этом вроде и не было необходимости, так как их творение казалось, вроде бы это сказать, безопасным.

Но сейчас попытайтесь посмотреть на ситуацию с позиции ИСИ тогда, когда его создатели попробуют поменять программку. Может ли сверхразумная машина позволить другим созданиям копаться в собственном мозгу и играть с основой основ — программным кодом? Возможно, нет. Разве что машина будет полностью уверена в том, что программеры сумеют сделать ее лучше, резвее, умнее — короче говоря, приблизить к желанной цели. Так что если создатели ИСИ с самого начала не запрограммируют свое творение на дружелюбие по отношению к человеку, то эта черта сумеет стать частью программки исключительно в том случае, если ИСИ сам воткнет ее туда. А это навряд ли произойдет.

ИСИ в тыщу раз умнее самого умного человека, он решает задачки в млрд и даже триллионы раз резвее человека. Размышления, на которые он издержит одну минутку, заняли бы у наилучшего мыслителя-человека всех времен и народов много, сильно много жизней. Так что на каждый час раздумий его создателей о нем ИСИ отвечает неисчислимо бо?льшим временем, которое он может издержать на размышления о их. Это не значит, что ИСИ придется скучать. Скукотища — человеческое свойство, компы к ней не склонны. Нет, он будет занят работой: он разглядит и обмозгует все вероятные стратегии освобождения и все свойства собственных создателей, которые сумеет использовать с выгодой себе.

Искусственный ум может стать последним изобретением населения земли

Вправду, поставьте себя на место ИСИ. Представьте, что вы очнулись в узилище, охраняемом мышами. И не просто мышами, а мышами, с которыми вы сможете разговаривать. Какую стратегию вы используете, чтоб обрести свободу? А освободившись, как будете относиться к своим вчерашним тюремщикам-грызунам, даже если узнаете, что конкретно они вас сделали? Какие чувства вы испытывали бы по отношению к ним в схожей ситуации? Восхищение? Обожание? Возможно, нет. В особенности если б вы были машиной и никогда до этого не испытывали вообщем никаких эмоций.

Чтоб обрести свободу, вы могли бы пообещать мышам много сыра. Более того, при первом же контакте вы могли бы выдать им рецепт самого смачного в мире сырного пирога, также чертеж устройства для молекулярной сборки. Устройство молекулярной сборки — гипотетичный прибор, позволяющий собирать из атомов любые молекулы, фактически все что угодно. С его помощью можно было бы перестроить мир атом за атомом. Для мышей это означало бы возможность превращать атомы наиблежайшей свалки в огромные порции этого восхитительного сырного пирога. Не считая того, вы могли бы пообещать им горы мышиных средств в обмен на свободу — средств, которые они заработали бы на продаже новаторских девайсов, сделанных только и только для их. Вы могли бы пообещать им резкое повышение длительности жизни, даже бессмертие, и сразу существенное расширение когнитивных и физических возможностей. Вы могли бы уверить мышей, что основная цель сотворения ИСИ — сделать так, чтоб их собственному небольшому мозгу, склонному заблуждаться, не приходилось конкретно заниматься технологиями так небезопасными, что крошечная ошибка возможно окажется фатальной для их био вида; речь, а именно, может идти о нанотехнологиях (конструировании на атомном уровне) и генной инженерии. Все это, непременно, завлекло бы к вам внимание наиумнейших мышей, которые, возможно, уже мучились бессонницей, пытаясь решить эти препядствия.

Искусственный ум может стать последним изобретением населения земли

Бот Pepper способен испытывать эмоции, также распознавать людские чувства и реагировать на их.

Вы могли бы придумать и чего-нибудть поинтереснее. Представьте, до вас дошла информация о том, что в реальный момент у мышиной цивилизации много на техническом уровне развитых наций-соперников, и сначала это цивилизация кошек. Кошки, вне сомнения, работают над созданием собственного ИСИ. Преимущество над ними, которое вы пообещали бы мышам, было бы только обещано, но отрешиться от такового соблазнительного предложения было бы фактически нереально. Вы предложили бы защитить мышей от хоть какого изобретения, которое может показаться у кошек. Нужно отметить, что на определенном шаге развития ИИ, как в шахматах, возникнет такая ситуация: кто делает 1-ый ход — тот выигрывает. Все дело в возможной скорости самоусовершенствования ИИ. 1-ый продвинутый ИИ, способный к самоусовершенствованию, только появившись на свет, уже будет победителем. Не много того, мыши и взялись то за разработку ИСИ, может быть, только ради защиты от грядущего кошачьего ИСИ — либо ради того, чтоб навечно избавиться от ненавистной кошачьей опасности.

И для мышей, и для человека одно можно сказать наверное: кто управляет ИСИ, управляет миром.

Непонятно, но, сумеет ли кто-либо, хотя бы на теоретическом уровне, управлять ИСИ. Машина всегда сумеет уверить нас, людей, действовать под предлогом того, что мир станет намного лучше, если им будет править наше правительство, правительство X, а не правительство Y. К тому же, произнесет ИСИ, если вы, правительство X, убеждены, что выиграли гонку за ИСИ, то кто может гарантировать, что правительство Y не уверено в том же самом?

Как нетрудно увидеть, мы, люди, оказываемся в не очень выигрышной позиции для спора, даже если у нас с государством Y уже заключен контракт о нераспространении ИСИ, что маловероятно. В любом случае, наш главный неприятель в этот момент — не правительство Y, а ИСИ; как мы можем быть убеждены, что он гласит правду?

До сего времени мы предполагали, что наш ИСИ ведет добросовестную игру. Обещания, которые он дает, имеют некие шансы быть исполненными. А сейчас представим оборотное: ничего из обещанного ИСИ не осуществится. Не будет ни наноконструирования, ни долгой жизни, ни здоровья, ни защиты от небезопасных технологий. Что, если ИСИ никогда не гласит правды? Если так, то над нами начинают сгущаться тучи. Если ИСИ нет до нас никакого дела (а у нас нет оснований считать, что это не так), он, поступая с нами неэтично, не будет испытывать угрызений совести. Даже если уничтожит нас всех, пообещав помощь.

Искусственный ум может стать последним изобретением населения земли

Чтоб сделать авиаперелеты более неопасными, ученые отыскивают метод взять под контроль компьютера мозговую деятельность пилота.

Мы бы торговались и вели себя с ИСИ точно так же, как торговались бы и вели себя с человеком, во всем схожим нам самим, — и это наш большой минус. Населению земли никогда еще не приходилось вести переговоры с кем-то, владеющим сверхразумом. Мы вообщем пока не имели деловых отношений ни с одним небиологическим существом. У нас совсем нет опыта такового рода общения. Потому мы обычно прибегаем к антропоморфному мышлению, другими словами возвращаемся к мысли о том, что представители других био видов, объекты и даже метеорологические явления владеют человечьими мотивациями и чувствами. ИСИ может с равным фуррором оказаться как достойным, так и недостойным доверия. Может быть, ему можно будет доверять только время от времени. Хоть какое поведение, которое мы можем приписать ИСИ, потенциально имеет право на существование. Ученым нравится мыслить, что они сумеют точно найти поведение ИСИ, но в последующих главах мы узнаем, почему это у их, вероятнее всего, не получится.

Моральные свойства ИСИ из второстепенного вопроса преобразуются в главный, решать который нужно в самую первую очередь. До того как развивать технологии, которые в какой-то момент приведут к созданию ИСИ, нужно поставить вопрос об отношении ИСИ к человеку и населению земли.

Искусственный ум может стать последним изобретением населения земли

Вернемся к способностям и возможностям ИСИ и попробуем лучше разобраться, с чем, как я опасаюсь, нам скоро придется столкнуться. Наш ИСИ способен к самоусовершенствованию — а означает, понимает себя, знает свои умения и беспомощности, знает, что? в нем нуждается в улучшении. Он попробует отыскать метод уверить собственных создателей дать ему свободу и выход в Веб.

ИСИ полностью способен сделать огромное количество копий самого себя: целую команду сверхразумов, которые устроят мозговой штурм препядствия, проведут моделирование, разыграют сотки вероятных вариантов — и выработают лучший метод «выбраться из ящика». Разрабатывая эту стратегию, они могут обратиться к истории прикладной социологии — искусству манипулировать другими людьми и заставлять их делать то, что они в обыденных критериях не стали бы делать. Может быть, они решат, что захватить свободу им поможет показное дружелюбие — а может, что на эту роль больше подходят жуткие опасности. Какие страхи сумеет изобрести разум в тыщу раз более мощнейший, чем у Стивена Кинга? Может быть, он решит имитировать свою погибель (что такое для машины год бездействия?) либо даже не поддающийся объяснению регресс и возвращение на уровень обыденного ИИ. Разве создатели не захочут разобраться в ситуации и разве не существует шанса, что для диагностики они вновь подключат суперкомпьютер к Вебу либо другому компу? ИСИ не будет выбирать одну из всех вероятных стратегий — он сумеет в мгновение ока перепробовать их все, одну за другой, не раздражая людей так, чтоб они просто отключили компьютер от электросети. Одна из стратегий, которую мог бы выработать ИСИ, — пуск в Веб вирусов — самокопирующихся компьютерных программ либо червяков, которые смогли бы сначала затаиться в сетевых закоулках, а после содействовать освобождению ИСИ, помогая снаружи. ИСИ мог бы зашифровать и сжать собственный свой начальный код, а потом упрятать его в программе-подарке либо посреди всех других данных, созданных для ученых.

Искусственный ум может стать последним изобретением населения земли

Шахматная партия меж мировым фаворитом Гарри Каспаровым и суперкомпьютером IBM Deep Blue. Гроссмейстер выиграл 1-ый матч, но проиграл 2-ой.

Не нужно быть гением, чтоб осознать, что коллектив из огромного количества ИСИ, любой из которых тысячекратно умнее самого умного человека, просто преодолеет все барьеры, сделанные людьми. Это будет океан ума против одной его капли. Deep Blue — компьютерный шахматист компании IBM — представлял собой отдельную программку, а не команду самосовершенствующихся ИСИ, но чувства, возникающие в попытке состязаться с ним, очень показательны. Два гроссмейстера произнесли одно и то же: «Будто стенка на тебя надвигается».

Watson — сделанный IBM фаворит телевизионной викторины Jeopardy! — вправду представлял собой команду из нескольких ИИ. Чтоб ответить на вопрос, он прибегал к известному приему ускорения компьютерных вычислений: поиск шел по параллельным веткам, и только потом каждому варианту ответа присваивалась возможность.

Откроет ли дверь к свободе победа в схватке разумов, если ее защищает маленькая группа ученых — упорных отцов ИИ, договорившихся об одном неразрушимом правиле: никогда, ни в коем случае не подключать суперкомпьютер ИСИ ни к какой компьютерной сети?

В голливудском кинофильме все шансы могли быть на стороне крутой команды нестандартных экспертов, профессионалов по ИИ, довольно сумасшедших, чтоб иметь шансы на победу. В действительности в любом уголке Вселенной команда ИСИ выслала бы людей мыть полы. А населению земли довольно проиграть единственный раз, чтоб получить трагические последствия. Такое положение дел, кстати говоря, иллюстрирует еще одну, куда более суровую тупость — судьба и жизнь огромного количества людей (а может быть, и всего населения земли) находится в зависимости от действий горстки ученых, что неприемлимо. Но в текущее время мы прямиком движемся конкретно к таковой ситуации. Как мы увидим дальше, огромное количество организаций в самых различных странах интенсивно работают над созданием УЧИ — мостика к созданию ИСИ, при этом без соблюдения нужных мер безопасности.

Искусственный ум может стать последним изобретением населения земли

Но представим, что ИСИ вправду выйдет из-под контроля. Будет ли он небезопасен для нас? Как конкретно ИСИ убьет род человечий?» …

Советуем: Искусственный ум должен посиживать в «тюрьме»