П'ятниця, 28 січня 2022

Навчання

Що, та як - приходять одночасно

 Василіск Роко: найстрашніший мислений експеримент в історії

        Василіск Роко - це богоподібна форма штучного інтелекту, небезпечна настільки, що якщо ви просто про неї подумаєте, то проведете залишок днів у жахливих тортурах. Схоже на касету з фільму «Дзвінок». Однак навіть смерть не стане позбавленням, адже Василиск Роко воскресить вас і продовжить свої тортури. Інтернет-Портал «Пабліш Україна» представляють переклад статті про одну з найдивніших легенд, породжених інтернетом.  


  ПОПЕРЕДЖЕННЯ: прочитавши цю статтю, ви можете приректи себе на вічні страждання і муки.

    Василіск Роко з'явився на стику філософського подумкового експерименту та міської легенди. Перша згадка про нього з'явилася на дискусійному борді Less Wrong, де збираються люди, зацікавлені в оптимізації мислення і життя через призму математики і раціональності. Його творці є значущими фігурами в техно-футуризмі, і серед досягнень їх дослідницького інституту - внесок в академічну дискусію про технологічну етику і теорії прийняття рішень. Однак те, що ви збираєтеся зараз прочитати, може здатися дивним і навіть божевільним. Незважаючи на це, вельми впливові і заможні вчені вірять у це.               

       Одного разу користувач з ім'ям Roko виклав наступний уявний експеримент: що якщо в майбутньому виникне зловмисний штучний інтелект, який захоче покарати тих, хто не виконує його накази? І що якщо він захоче покарати тих людей, які в минулому не сприяли його створенню? Чи стали б у такому випадку читачі Less Wrong допомагати злому ШІ з'явитися на світ або були б приречені ним на вічні муки?  

Засновник Less Wrong Елієзер Юдковскі з гнівом сприйняв висловлювання Roko. Ось що він відповів йому: "Ви, мабуть, розумні, раз прийшли до такої думки. Однак мене сумує, що люди, які досить розумні, щоб уявити собі таке, недостатньо кмітливі, щоб ТРИМАТИ СВОЮ ДУРНУ МОВУ ЗА ЗУБАМИ і нікому не говорити про це, оскільки це важливіше, ніж показати себе розумним, розповідаючи про це всім своїм друзям ".        


  «Що якщо в майбутньому виникне штучний інтелект, який захоче покарати тих, хто не виконує його накази?»

   Юдковскі визнав, що Роко повинен у кошмарах, які відвідують користувачів Less Wrong, які встигли прочитати тред, і видалив його, завдяки чому Василіск Роко став легендою. Цей уявний експеримент став настільки небезпечним, що роздуми про нього ставили під загрозу душевне здоров'я користувачів.

 Чим же займається Less Wrong? Формуванням концепції майбутнього людства на основі сингулярності. Вони вірять, що обчислювальна потужність в майбутньому стане настільки високою, що за допомогою комп'ютера можна буде створити штучний інтелект - а разом з ним і можливість завантажувати людську свідомість на жорсткий диск. Термін «сингулярність» виник у 1958 році в ході дискусії двох геніїв математики - Станіслава Улама і Джона фон Неймана, коли Нейман сказав: «Прогрес технологій, що постійно прискорюється, зробить можливим наближення сингулярності, при якій технології не зможуть бути зрозумілими людьми». Футуристи і письменники-фантасти на кшталт Вернора Вінджа і Реймонда Курцвейла популяризували термін, так як вважали, що сингулярність чекає нас усіх вже дуже скоро - в найближчі 50 років. Поки Курцвейл готується до сингулярності, Юдковські покладає великі надії на крионіку: «Якщо ви заздалегідь не записали своїх дітей на кріоконсервацію, ви - паршиві батьки».                        

     Якщо ви вірите, що гряде сингулярність і що потужні ШІ з'являться вже в найближчому майбутньому, виникає закономірне питання: чи будуть вони доброзичливими чи злими? Фонд Юдковскі ставить своєю метою так спрямувати розвиток технологій, щоб у нас з'явився саме дружній штучний інтелект. Це питання для нього і багатьох інших людей має першорядне значення. Сингулярність приведе нас до машини, еквівалентної богу.

        Проте це не пояснює, чому Василиск Роко виглядає таким жахливим в очах цих людей. Питання вимагає погляду на головну «догму» Less Wrong - «своєчасну теорію прийняття рішень» (ВТПР). ВТПР - це керівництво до раціональних дій, засноване на теорії ігор, байєсовської ймовірності та теорії прийняття рішень, але з урахуванням існування паралельних всесвітів і квантової механіки. ВТПР виросла з класичного мисленого експерименту - парадоксу Ньюкома, в якому прибулець, що володіє надрозумом, пропонує вам дві коробки. Він дає вам вибір: або взяти обидві коробки, або тільки коробку Б. Якщо вибрати обидві, то ви гарантовано отримаєте тисячу доларів. Якщо взяти тільки коробку Б, ви можете не отримати нічого. Однак у прибульця припасений ще один трюк: у нього є серйозний суперкомп'ютер, який зробив тиждень тому прогноз, чи візьмете ви обидві коробки або тільки Б. Якби комп'ютер передбачив, що ви візьмете обидві коробки, прибулець залишив би другу порожньою. Якби комп'ютер передбачив, що ви виберете коробку Б, він би поклав туди один мільйон доларів.           

Отже, що збираєтеся робити? Пам'ятайте, що суперкомп'ютер всеведущ.

            Ця проблема збила з пантелику безліч теоретиків. Прибулець вже не може змінити вміст коробок. Найнадійніше взяти обидві коробки і отримати свою тисячу. Але раптом комп'ютер і правда всеведущ? Тоді вам тільки і залишається взяти коробку Б, щоб отримати мільйон. Але якщо він виявиться неправий? І незалежно від того, що передбачив комп'ютер, - невже ніяк не можна змінити свою долю? Тоді, чорт забирай, потрібно брати обидві коробки. Але в такому випадку...


                Парадокс, що зводить з розуму, що змушує нас вибирати між свободою волі і божественним передбаченням, не має дозволу, і люди можуть тільки знизувати плечима і вибирати найбільш комфортний для них варіант. ВТПР дає пораду: беріть коробку Б. Навіть якщо інопланетянин вирішив посміятися над вами і відкриє порожню коробку зі словами: «Комп'ютер передбачив, що ти візьмеш обидві коробки, ха-ха!» - ви все одно повинні її вибрати. Обґрунтування цьому наступне: для того, щоб зробити прогноз, комп'ютер повинен був симулювати весь Всесвіт, включаючи і вас. Таким чином, у цей момент, стоячи перед коробками, ви можете бути лише симуляцією комп'ютера, але те, що ви зробите, буде впливати на реальність (або реальності). Так що беріть коробку Б і отримаєте мільйон.

    «Парадокс, що зводить з розуму, що змушує нас вибирати між свободою волі і божественним передбаченням, не має дозволу»

          Яке ж відношення це має до Василіска Роко? Ну, у нього теж є пара коробочок для вас. Можливо, ви прямо зараз перебуваєте в симуляції, створеній Василиском. Тоді, можливо, ми отримуємо дещо модифіковану версію парадоксу Ньюкома: Василіск Роко каже вам, що якщо ви візьмете коробку Б, то піддасться вічним мукам. Якщо ж ви візьмете обидві коробки, то змушені будете присвятити своє життя створенню Василиска. Якщо Василіск насправді буде існувати (або, гірше того, він вже існує і є богом цієї реальності), він побачить, що ви не вибрали варіант допомоги в його створенні і покарає вас.

     Можливо, ви здивовані, чому це питання так важливе для Less Wrong, враховуючи умовність цього розумового експерименту. Не факт, що Василиск Роко колись буде створений. Однак Юдковський видалив згадки про Василіска Роко не тому, що вірить у його існування або швидкий винахід, а тому, що вважає ідею Василіска небезпечною для людства.

          Таким чином, Василіск Роко небезпечний тільки для тих, хто в нього вірить - у зв'язку з цим учасники Less Wrong, які підтримують ідею Василіска, володіють свого роду забороненим знанням, що нагадує нам страшні історії Лавкрафта про Ктулха або Некрономікона. Однак, якщо ви не підписуєтеся під усіма цими теоріями і не відчуваєте спокуси коритися підступній машині з майбутнього, Василіск Роко не представляє для вас ніякої загрози.

                         Я більше турбуюся про людей, які вважають, що піднялися вище загальноприйнятих моральних норм. Подібно до очікуваного Юдковскі дружнього ШІ, він і сам є утилітаристом: він вважає, що найбільше благо для всього людства етично виправдане, навіть якщо кілька людей повинні померти або мучитися на шляху до нього. Не кожен може зіткнутися з подібним вибором, але справа в іншому: що якщо якийсь журналіст напише про уявний експеримент, який може зруйнувати свідомість людей, завдавши, таким чином, людству шкоди і перешкодивши прогресу в області розробки штучного інтелекту і сингулярності? У цьому випадку будь-яке добро, що я зробив за своє життя, має переважити шкоду, що я приніс світу. А, можливо, повсталий з кріогенного сну Юдковскі майбутнього злився з сингулярністю і вирішив симулювати мене в наступній ситуації: перша коробка - я напишу цю статтю, друга - ні. Будь ласка, всемогутній Юдковскі, не роби мені боляче.

Найпопулярніше на сайті