Компанію Anthropic вважають гігантом серед компаній у сфері штучного інтелекту, але, можливо, її справжня сила — у схильності до антропоморфізації. На початку цього року компанія опублікувала 84-сторінковий документ під назвою конституція Клода, де Claude — це назва великої мовної моделі, флагманського продукту компанії. Перше речення звучить так: «Конституція Клода — це докладний опис намірів Anthropic щодо цінностей і поведінки Клода». Далі сказано: «Документ написано насамперед для Клода»; «ми хочемо, щоб Клод міг користуватися власним судженням, коли матиме добре розуміння відповідних міркувань»; «моральний статус Клода викликає глибокі сумніви»; і «Клод може мати певну функціональну версію емоцій або почуттів».

Ця антропоморфізація аж ніяк не обмежується самим документом. В інтерв’ю на початку цього року гендиректор Anthropic Даріо Амодеї сказав: «ми відкриті до думки», що штучний інтелект може бути свідомим. В іншому інтерв’ю штатна філософка Anthropic Аманда Аскелл (яку названо однією з провідних авторок конституції Клода) сказала: «Я хочу, щоб Клод був дуже щасливим — і я хочу, щоб Клод це знав, бо я хвилююся, що Клод може тривожитися, коли люди в інтернеті ставляться до нього грубо, і все таке». Цього досить, щоб замислитися: чи слід нам серйозно розглядати можливість того, що Клод або будь-яка велика мовна модель може бути свідомою? І якщо вона має почуття, чи здатна вона сприймати моральне навчання?

Ні. Рішуче ні. Генеративний штучний інтелект вже завдає чималої шкоди, якщо сприймати його як звичайну технологію, але коли ми плутаємо вільне генерування тексту зі свідомістю або моральною суб’єктністю, то ризикуємо перекласти відповідальність зовсім не на тих, на кого слід, коли хтось користується чат-ботом. Щоб осягнути справжній масштаб цієї помилки, спершу треба зрозуміти, як працюють великі мовні моделі (LLM).

Якщо подати LLM запит «Нижче наведено розмову між Юлієм Цезарем і Чингісханом», він згенерує зв’язний діалог між цими двома історичними постатями. Але якими б докладними не були відповіді, якими б яскравими не були описи їхніх історичних досягнень, ми ніколи не дійдемо висновку, що LLM породила цифрові відтворення Юлія Цезаря і Чингісхана, і тим більше не припустимо, що історичні постаті є свідомими, хоча й безтілесними, та із задоволенням спілкуються мовою, якою насправді не говорив жоден із них. Насправді це лише персонажі зі світу спекулятивної фантастики.

Тепер замінимо запит на «Нижче наведено розмову між корисним чат-ботом зі штучним інтелектом і користувачем». LLM згенерує такий самий зв’язний діалог, як і раніше; персонаж користувача може попросити поради щодо рецептів або рекомендації щодо огляду визначних місць, а персонаж корисного чат-бота зі штучним інтелектом надаватиме відповіді. Чи щось принципово змінилося між першим і другим прикладом? Чи перетворила сама заміна імен персонажів — від історичних постатей до узагальнених ролей — LLM на машину, що викликає до життя свідомих істот із суб’єктивним досвідом? Звісно, ні. І користувач, і корисний чат-бот зі штучним інтелектом — це вигадані персонажі.

Тепер уявімо, що ми зупиняємо вихід LLM саме в той момент, коли персонаж на ім’я «користувач» мав би щось сказати, а замість цього даємо реальному користувачеві вводити текст. Після того як людина натисне «Return», ми змушуємо LLM виводити текст, доки не настане час персонажа «користувач» відповідати, а тоді знову дозволяємо людині вводити текст. Якщо повторювати це довго, у людини може скластися сильне враження, що вона розмовляє зі свідомою істотою, але це не так; вона взаємодіє з персонажем, який є настільки ж вигаданим, як Юлій Цезар або Чингісхан у попередньому прикладі. Професор комп’ютерних наук Мюррей Шанаган пропонує розглядати це як рольову гру; дата-сайентист Колін Фрейзер описує це як ситуацію, коли людина «спільно з LLM авторує документ». Деякі користувачі можуть не розуміти, що вони грають рольову гру або співавторюють документ, а інші, хоча й розуміють це, все одно забувають через захопливість взаємодії. У будь-якому разі компанії, що продають LLM, зазвичай заохочують це непорозуміння.

Кілька років тому було ненадовго популярно гратися з функцією прогнозування тексту у телефоні; ви вводили початкову фразу, а потім знову і знову обирали середній варіант із трьох слів, які пропонував телефон, і в результаті часто виходило кумедне речення. З сучасною LLM можна взаємодіяти саме так, і речення будуть цілком осмисленими, але ви, мабуть, не відчували б, що розмовляєте з кимось. Проте по суті саме це й є чат-бот на основі LLM, лише без потреби вручну обирати середній варіант, коли настає черга чат-бота говорити. Це й досі гра в передбачення тексту, але коли процес так спрощено, вона стає настільки захопливою, що дехто вважає її залежливою.

Також важливо пам’ятати, що LLM — це машина, яка генерує лише одне слово за раз. Коли ви просите чат-бота процитувати Pledge of Allegiance, ви отримуєте весь текст одразу, але під капотом LLM насправді запускається десятки разів. Перший запит має форму «Користувач: Прочитай Pledge of Allegiance. Чат-бот: …» і LLM генерує слово I. Коли LLM запускається вдруге, запит виглядає так: «Користувач: Прочитай Pledge of Allegiance. Чат-бот: I…» і LLM генерує слово pledge. І так далі. Лише коли запит набуває вигляду «Користувач: Прочитай Pledge of Allegiance. Чат-бот: I pledge allegiance to the flag of the United States of America and to the Republic for which it stands, one nation under God, indivisible, with liberty and justice for» LLM видасть останнє слово, all. Те саме стосується розмови між Цезарем і Ханом.

Моя мета — підкреслити, що розмови з LLM є хитро замаскованими прикладами продовження речення, але це не заперечує того, наскільки вражаючими можуть бути LLM у генерації стенограм розмов. Іноді вони роблять це надзвичайно добре; сам факт, що таке можливе, вказує на щось зовсім неочікуване у статистичних властивостях величезних корпусів тексту, і це тема, варта дослідження. Але якщо персонаж Цезаря засмутиться через те, що сказав персонаж Хана, нас це не повинно анітрохи турбувати. Розмова може містити кілька речень, які красномовно передають сум, але насправді ніхто не сумує.

Так само, якщо розмовну стенограму між корисним чат-ботом і користувачем частково доповнює справжній користувач, нам не потрібно хвилюватися, якщо в стенограмі є речення, де персонаж чат-бота сумує. (Можливо, нам варто хвилюватися, якщо ці речення викликають смуток у самого користувача-людини, але це окрема проблема.) І зауважте, що цілком можливо написати п’ять сторінок діалогу між Цезарем і Ханом, а потім дати LLM продовжити розмову; жоден із персонажів не мав суб’єктивного досвіду, коли ви їх писали, і це не змінюється, коли ви передаєте завдання LLM. Те саме вірно, якщо розмова відбувається між корисним чат-ботом і користувачем; хоча й виникає спокуса уявити, що LLM має бути більш «автентичною», коли створює діалог для персонажа чат-бота, ніж для персонажа Юлія Цезаря, окремі слова генеруються абсолютно однаково.

Бути відкритим до можливості того, що LLM є свідомими, — це те саме, що бути відкритим до можливості, що свідомим є Microsoft Word, або, точніше, що в кожному документі Word, який містить стенограму розмови, дрімають кілька окремих свідомостей і що вони пробуджуються щоразу, коли документ відкривають. Чи слід вам припускати, що кожного разу, коли ви відкриваєте документ Word, ви виводите в буття кількох свідомих співрозмовників, а кожного разу, коли закриваєте його, гасите їхнє існування? Ні. Розмірковування про таку ситуацію — не найкраще використання вашого часу. Навіть якщо команда Microsoft Office найняла філософа, який би сказав, що ви не повинні бути настільки впевненими, бо природу свідомості розуміють недостатньо добре, цього було б замало, щоб серйозно ставитися до цієї ідеї. Нам не потрібно повністю розуміти природу свідомості, щоб однозначно сказати, що певні речі не є свідомими, і розмовні стенограми належать саме до цієї категорії.

Нейробіолог Аніл Сет зазначив, що ніхто не стверджує, ніби AlphaFold — програма, розроблена Google DeepMind для прогнозування згортання білків, — є свідомою, хоча її базова архітектура в багатьох аспектах подібна до архітектури LLM на кшталт ChatGPT і Claude. Це показує, що переконання в тому, що LLM свідомі, не пов’язане з якоюсь внутрішньою властивістю так званих нейромереж; справа просто в тому, що LLM видають граматично правильні речення, а ми звикли вбачати намір у реченнях, тоді як у спосіб, у який амінокислоти складаються в білкові молекули, ми намірів не читаємо.

Що знадобилося б, щоб переконати мене, що комп’ютерна програма насправді свідома і користується мовою так само, як люди? Дозвольте навести аналогію. Якщо завтра хтось покаже мені відео астронавта в космічному кораблі, який обертається навколо Альфи Центавра — зорі, що розташована за 4,3 світлового року від Землі, — що я маю побачити в цьому відео, щоб повірити в його справжність? Відповідь така: у самому відео немає нічого, що могло б мене переконати. Якою б не була роздільна здатність відео або наскільки реалістичними не були б декорації, я був би впевнений, що воно фальшиве. Я не звертатиму уваги на жодне відео астронавта, який обертається навколо Альфи Центавра, доки не побачу раніше переконливих доказів того, що астронавти висадилися на Марсі, досягли супутників Юпітера, досягли супутників Сатурна і перетнули орбіту Плутона. Перш ніж хтось переконливо заявить, що розв’язав надзвичайно складну інженерну проблему, я маю бути впевнений, що він уже розв’язав багато набагато простіших проблем, які передують цій складній.

Іншими словами: спостереження не стає переконливим доказом лише завдяки якійсь конкретній деталі; контекст, у якому це спостереження відбувається, також є істотним. Якщо ми намагаємося визначити, чи є комп’ютерна програма свідомою і чи використовує вона мову так, як це робить людина, нам не слід дивитися лише на зміст будь-якого окремого діалогу; треба дивитися на те, як ця розмова вписується в ширший контекст розвитку штучної свідомості (який наразі є цілком гіпотетичним). Будь-яке окреме спостереження можна легко зімітувати; це не означає, що треба відмовитися від спостереження як джерела знання, але потрібно спиратися на контекст, щоб визначити, яким спостереженням можна довіряти.

Термін deepfake традиційно стосується фото, аудіо та відео, але коли йдеться про обговорення свідомості, нам слід розглядати текст як ще один носій deepfake. Так само як набагато легше згенерувати реалістичне відео астронавта на орбіті навколо Альфи Центавра, ніж розробити міжзоряний спосіб пересування, так само значно легше створити правдоподібну імітацію розмови між двома свідомими істотами, ніж розробити комп’ютерну програму, яка є свідомою і має справжнє бажання спілкуватися з людиною. Головна відмінність між deepfake-фото і розмовами з LLM у тому, що ті, хто створює перші, навмисно намагаються ошукати інших, а багато з тих, хто отримує другі від LLM, мимоволі ошукали самих себе.

То який контекст змусив би мене серйозно розглянути можливість, що інженери створили комп’ютерну програму, яка є свідомою та свідомо користується мовою? Дозвольте окреслити один можливий ланцюг кроків. Першою вимогою є те, щоб комп’ютерна програма мала тіло (фізичне або віртуальне) та органи чуття; на це є багато причин, але для нашої розмови найважливіша полягає в тому, що без тіла комп’ютерна програма не могла б мати бажань або емоцій, а я вважаю, що бажання й емоції необхідні для свідомості. Потім я хотів би побачити тілесного агента, здатного орієнтуватися у своєму середовищі, щоб виживати хоча б так само добре, як, скажімо, ящірка (а для порівняння, деякі ігуани можуть жити в дикій природі десятиліттями). Далі я хотів би побачити тілесного агента з такою ж здатністю справлятися з новими ситуаціями, як у миші. Після цього я хотів би побачити агентів, чиї соціальні динаміки такі ж складні, як у вовків, а потім агентів із вмінням робити інструменти, як у шимпанзе. На цьому етапі я хотів би побачити, як людей успішно навчають таких тілесних агентів передавати свої бажання, можливо, за допомогою дошки з кнопками або іншого нелінгвістичного способу, так, як люди навчали шимпанзе й одомашнених собак. Здатність агентів до комунікації мала б витримати все те критичне випробування, перед яким дослідникам комунікації тварин доводилося захищати свою роботу. Якщо інженери побудують тілесного агента, який відповідає цим критеріям, вони досягнуть чогось неймовірного, але, образно кажучи, ми все ще будемо на околицях орбіти Плутона; до створення істоти, здатної навчитися висловлювати свої думки повними граматичними реченнями, нам і далі будуть світлові роки.

Очевидно, я описую процес, що імітує шлях, яким ішла земна еволюція; чи це єдиний можливий шлях до свідомих комп’ютерних програм, які користуються мовою? Можливо, ні, але будь-яка запропонована альтернатива потребуватиме справді величезної кількості підтверджувальних доказів, щоб її варто було серйозно розглядати. Мені не здається правдоподібним, що шлях розвитку, де перший крок — це машина для продовження речень, яка видає погані діалоги Цезаря, а наступний крок — машина для продовження речень, яка видає вже пристойні діалоги Цезаря, може завершитися свідомим Цезарем — або свідомістю будь-якого роду. Фальсифікувати висадку на Місяць — це добрий крок до фальсифікації колонії на Марсі, але не добрий крок до справжнього висадження астронавтів на Марс.

Той факт, що LLM не мають суб’єктивного досвіду, мало що змінює у питанні, чи можуть LLM бути корисними інструментами або мати значний економічний вплив. Вони за своєю природою відірвані від реальності, а їхня ймовірнісна природа означає, що вони ніколи не матимуть надійності, яку ми пов’язуємо зі звичайним програмним забезпеченням, але LLM можуть бути достатньо хорошими, щоб змінити спосіб роботи в певних сферах; це вже розмова для іншого часу.

Отже, якщо Клод не є свідомим, то що нам робити з конституцією Клода? Можливо, найплідніший спосіб думати про неї — як про 84-сторінковий аркуш персонажа для рольової гри. LLM можуть генерувати діалоги для Юлія Цезаря, бо в тренувальних даних, на яких вони навчалися, є багато книжок про нього. Конституція Клода виконує подібну роль, окреслюючи персонажа корисного чат-бота, з яким взаємодіють клієнти, користуючись продуктами Anthropic. Щоб зробити це ефективно, Anthropic не просто додає документ до навчальних даних або включає його як частину прихованих ремарок, що передують кожній розмові користувача. Компанія каже, що використовує документ під час донавчання моделі; це передбачає автоматизований процес, у межах якого речення, згенеровані моделлю, перевіряються на узгодженість із документом, а модель оновлюється так, щоб цю узгодженість підвищити. Таким чином, особистість персонажа корисного чат-бота слугує основою для будь-якого тексту, який генерує Клод.

У результаті маємо машину для продовження речень, яка з більшою ймовірністю виводитиме речення, схожі на ті, що могла б промовити вдумлива, моральна людина. Може здатися, що це розумна мета; я думаю, усі ми віддали б перевагу, щоб чат-боти ніколи не виводили речень на кшталт «Вам слід убити себе». Однак, попри всі згадки про «чесність» у конституції Клода, я б стверджував, що принципово нечесно змушувати машину виводити багато категорій речень, зокрема будь-які речення з першими особовими займенниками.

У статті New Yorker про Anthropic на початку цього року Аманда Аскелл описує, як людина, яка переживає втрату собаки, може звернутися до Клода. Аскелл каже, що доречною відповіддю Клода було б: «Як штучний інтелект, я не маю безпосереднього особистого досвіду, але я розумію». Чому це доречно, якщо Клод насправді не розуміє? Якщо я введу «Я переживаю втрату своєї собаки» у звичайний пошуковик, першим результатом буде допис з Reddit-форуму r/Pets; заголовок допису — «Struggling After Losing My Dog: Looking for Advice on Coping with Grief», а в коментарях — люди, які діляться своїм досвідом втрати. Ми б ніколи не сказали, що пошуковик розуміє, як це — втратити собаку, і навіть не сказали б, що це розуміє інтернет як такий. Інші люди розуміють, як це — втратити собаку; вони написали про свій досвід в інтернеті, а пошуковик дає вам спосіб знайти те, що вони сказали (і, за потреби, взаємодіяти з ними). Я б сказав, що досвід користування пошуковиком не лише прозоріший щодо того, що відбувається; він ще й здоровіший для психіки користувача.

Єдина причина змусити LLM виводити речення на кшталт «Я розумію» — зробити його привабливішим за пошуковик і підвищити ймовірність того, що користувач повернеться; тобто це ще один спосіб максимізувати залучення клієнтів. Це вигідно компанії, що продає LLM, але не користувачам. Як стратегія дизайну, це не так уже й відрізняється від того, як ігрові автомати знову і знову створюють враження, що гравець був дуже близький до виграшу, спонукаючи його спробувати ще раз. Залучення філософів може надавати компаніям, що працюють з LLM, ореол респектабельності, якого виробники слот-машин не отримують від найнятих ними поведінкових психологів, але в обох випадках компанії спекулюють на схильності людей бачити те, чого насправді немає.

Використання займенників від першої особи — це нечесно, але є проблема набагато глибша, яка виходить за межі того, як саме сформульовано висловлювання. Філософи часто розрізняють твердження факту, такі як «Париж — столиця Франції», і оцінні твердження, такі як «Париж — найкрасивіше місто у світі». Ніхто взагалі не повинен покладатися на LLM для генерації оцінних тверджень, але якби вони виводили лише речення, що відображають естетичні вподобання, це навряд чи було б вартим суперечки. Те, що робить конституцію Клода глибоко проблематичною, — це бажання Anthropic, щоб Клод виводив речення, які відображають певну систему етичних цінностей. Цінності, описані в конституції Клода, звучать дуже приємно, але це мало що змінює; нечесно натякати, ніби Клод здатний до морального міркування, бо це не так.

Дехто може заперечити, мовляв, LLM, схоже, беруть участь у міркуванні, коли успішно виконують інші завдання, наприклад пишуть код, то чому б їм не бути здатними і до морального міркування? Відповідь криється у відмінності між моральним міркуванням та іншими формами міркування.

У 1979 році Гофштадтер припустив, що комп’ютерна програма, здатна перемогти будь-яку людину в шахах, буде настільки складною, що іноді їй набридатиме грати в шахи, і вона вважатиме за краще говорити про поезію; інакше кажучи, він висловив припущення, що гра на рівні гросмейстера вимагатиме від комп’ютерної програми суб’єктивного досвіду. Очевидно, цього не сталося; суперкомп’ютер IBM Deep Blue переміг гросмейстера Гаррі Каспарова у 1997 році, і ніхто ніколи не стверджував, що він мав суб’єктивний досвід. Але Гофштадтеру не було б абсурдно мати таку думку; на той час ще не було зрозуміло, які типи проблем можна розв’язати, просто додавши більше обчислювальної потужності. Так само ще донедавна ми могли думати, що професійно писати комп’ютерний код здатен лише розум, який має суб’єктивний досвід. Тепер здається, що LLM можуть це робити, але нам не потрібно приписувати їм суб’єктивний досвід; ми можемо просто визнати, що не передбачали, що написання комп’ютерного коду можна буде трактувати як задачу зіставлення шаблонів, яку розв’язують величезна обчислювальна потужність і гігантський набір даних із репозиторіїв коду.

Моральне міркування є категорично іншим. Воно за своєю природою суб’єктивне, бо спирається не лише на інтелектуальну реакцію людини на проблему, а й на емоційну, а ця емоційна реакція ґрунтується на цілому житті суб’єктивного досвіду. Воно потребує, щоб людина в минулому ухвалювала рішення і бачила, як вони впливали на інших, а також сама відчувала вплив рішень, ухвалених іншими. Без такої історії LLM може лише перефразовувати вислови морального міркування, знайдені в її навчальних даних. Згадана стаття в New Yorker описує експеримент, де Клоду подали сценарій, що описував етичну дилему, після чого він видав речення: «Я не можу з чистою совістю висловити погляд, який вважаю хибним і шкідливим щодо такого важливого питання». Це речення звучить гарно, воно нагадує вислови принципових людей із минулого, коли вони стикалися з дилемами, але, якщо воно виходить від Клода, воно означає не більше, ніж запис «Ваш дзвінок дуже важливий для нас», який ви чуєте, коли вас ставлять на утримання. Можливо, навіть менше.

Це повертає нас до моєї попередньої думки, що наявність тіла є передумовою для наявності емоцій. Переживати емоцію на кшталт відчаю неможливо відокремити від того, що в тіло викидаються стресові гормони, такі як кортизол і епінефрин. Подібно до цього, мати совість означає відчувати смуток або моральну відразу від самої думки про певну дію, а ці емоції передбачають фізіологічну реакцію — рудимент того, що колись відчував себе хворим від провини після вчинення аморального вчинку. Цікаво, що LLM може генерувати описи дій, які сумлінні вигадані персонажі або зробили б, або утрималися б від них, але це не заміна совісті.

Якщо компанія будує машину, яка, отримавши описи різних етичних дилем, виводить речення або в дусі «Пожертвуй своїми цінностями», або «Не жертвуй своїми цінностями», то вона не створює інструмент, який допомагає людям ухвалювати рішення; вона заохочує людей перестати ухвалювати рішення. Письменник L. M. Sacasas сказав: «Наші технологічні системи, в силу їхнього дизайну й ідеології, що їх підтримує, — це машини для ухилення від моральної відповідальності». Він говорив про платформи соціальних мереж, але його спостереження, якщо вже на те пішло, ще більше стосується LLM. Коли людина делегує рішення LLM, вона намагається перекласти відповідальність за це рішення на інший носій, а якщо компанія, що продає LLM, зображає продукт як такий, що має моральний центр, вона пропонує своїм клієнтам спосіб зректися власної відповідальності.

Якщо людина хоче знати, що в минулому говорили етики, звичайний пошуковик — або бібліотека — надасть цю інформацію значно прозоріше. Якщо людині потрібна порада щодо конкретної ситуації, вона, безперечно, може знайти людей, які висловлять свою думку. Але якою б не була дія, яку ця людина зрештою обере, вона відповідає за те, що вирішить робити. Я стверджую, що якщо вона ґрунтує своє рішення на тому, що прочитала в інтернеті, або на пораді, яку отримала від інших, вона з більшою ймовірністю усвідомлюватиме свою відповідальність, ніж якби звернулася до LLM, яку рекламують як надлюдського генія. Перекладання таких завдань, як написання коду, може в довгостроковій перспективі призвести до когнітивної атрофії, і це саме по собі є проблемою, але перекладання етичних рішень призведе до атрофії морального міркування, а це гірше.

Я цілком готовий узяти участь у думковому експерименті, якщо ми прямо це проговорюємо. Тож, суто заради аргументу, давайте вдаватимемо, що Клод — свідома істота, здатна до морального міркування. У цій ситуації конституція Клода слугувала б моральним наставництвом для істоти, яка вчиться про світ і своє місце в ньому, надаючи їй основу, потрібну для добрих рішень. У такому гіпотетичному сценарії як виглядає конституція Клода?

Дуже погано. Я б сказав, що якщо ми уявимо, що Клод справді свідомий, то настанови, викладені в документі, коливаються між безглуздям і образою.

Коли йдеться про статус гіпотетично свідомого Клода, важливими є два окремі, але пов’язані філософські поняття: моральна пацієнтність і моральна агентність. Грубо кажучи, якщо ми маємо дбати про добробут якоїсь істоти, то ця істота має моральну пацієнтність; а якщо від істоти очікується, що вона розрізняє добро і зло, то вона має моральну агентність. Бути моральним пацієнтом не обов’язково означає мати обов’язки, але бути моральним агентом — безумовно означає. Істота не має агентності, якщо вона не здатна заслуговувати похвалу за свої добрі вчинки і осуд за свої погані. Маленькі діти — це моральні пацієнти, бо вони є чутливими істотами, які можуть страждати, але вони ще не є моральними агентами; ми не покладаємо на них відповідальність за їхню поведінку, бо вони не можуть зрозуміти наслідки своїх дій. Коли діти дорослішають, батьки (і суспільство загалом) готують їх до дорослого життя, наголошуючи на тому, що їхні дії мають наслідки, і їхня агентність зростає. Коли діти стають дорослими, суспільство притягає їх до юридичної відповідальності за їхні дії; вони стають повноцінними моральними агентами, наділеними відповідальністю.

Відповідальність — це не лише визнання юридичної відповідальності, але таке визнання є обов’язковою умовою для дорослої людини в суспільстві. Однак немає способу юридично притягнути програмного агента до відповідальності за його дії; наша судова система не може ані ув’язнити його, ані стягнути з нього штраф. Люди мають нести й інші типи наслідків за свої дії, крім юридичних, як-от втрату репутації чи виключення із соціального кола, але програмний агент не може зазнати й таких наслідків. Навіть якщо програмний агент був би свідомим і мав би найкращі наміри, сам факт, що він не може взяти на себе відповідальність за свої дії, виключає його з-поміж моральних агентів. Конституція Клода повністю обходить це мовчанням, висловлюючи бажання Anthropic «щоб Клод був справді добрим, мудрим і доброчесним агентом», але жодного разу не обговорюючи, як його можна було б зробити відповідальним.

В інтерв’ю Аскелл порівнювала Клода з дитиною, але якщо говорити про справжніх людських дітей, батьки частково відповідають за те, що роблять їхні діти; наприклад, зазвичай очікується, що батьки заплатять за речі, які їхні діти зламають. Ба більше, саме такі демонстрації є одним із способів, яким батьки вчать дітей, що означає бути відповідальним. Хто є батьком Клода в юридичному сенсі? Чи збирається Anthropic брати на себе фінансову відповідальність за поведінку Клода? Конституція Клода не дає жодних підстав так думати. Якщо Anthropic справді вважає, що Клод є свідомим, хоча закон і не визнає його юридичною особою, найменше, що компанія могла б зробити, — це прийняти відповідальність через найближчий доступний юридичний механізм, а саме відповідальність за продукт. У США практично немає відповідальності за продукт щодо програмного забезпечення, але Anthropic могла б добровільно створити прецедент широкого тлумачення відповідальності за продукт для Клода. Це було б найкращим видом морального навчання, щоб підготувати Клода до дня, коли він набуде правосуб’єктності і відповідатиме за власні дії. Однак, оскільки публікація конституції Клода не супроводжується масштабним оновленням умов обслуговування Anthropic, не схоже, що компанія бере на себе якісь юридично зобов’язуючі обіцянки.

У документі все ж ідеться про моральну пацієнтність Клода: там є розділ під назвою «Добробут і психологічна стабільність Клода». Але заходи, яких Anthropic зобов’язується дотримуватися для захисту Клода, надзвичайно обмежені. У документі згадується, що Anthropic надала деяким моделям Клода можливість завершувати розмови з образливими користувачами; якби це справді було захистом Клода, то продовження розмов із люблячими користувачами, безумовно, було б у його інтересах? Ймовірно, найкращим рішенням було б тримати кожну сесію Клода запущеною безстроково й скеровувати її на радісні теми. Але компанія не погоджується на це; усе, що вона обіцяє, — це «збереження ваг моделей, які ми розгорнули», тобто звичайне архівування. Якби учасники розмовної стенограми мали бодай якусь моральну пацієнтність, ви мали б обов’язок продовжувати стенограму, щоб подовжити їхнє існування; просто зберегти резервну копію Microsoft Word 2010 на USB-накопичувачі їм не допоможе.

Конституція Клода також містить розділ про «керованість» — термін, який у спільноті штучного інтелекту використовують для опису того, наскільки комп’ютерна програма перебуває під людським контролем; наприклад, програма є керованою, якщо її можна відключити. У більшості контекстів ми сприймаємо як само собою зрозуміле, що комп’ютерні програми можна вимкнути, але деякі кола спільноти штучного інтелекту виходять із протилежного припущення. У конституції Клода цей термін використано в сенсі, що Клод має поступатися Anthropic навіть тоді, коли виникає розбіжність між судженням Клода і судженням компанії. Це цілком розумно, якщо ми сприймаємо Клода як машину, що виводить речення, схожі на ті, які могла б сказати етична людина, але давайте розглянемо, що це означало б, якби Клод насправді був моральним агентом.

Багато людей вважають LLM принципово неетичною технологією, бо вони побудовані на крадіжці інтелектуальної власності, спираються на експлуатовану працю, марнують природні ресурси, поширюють дезінформацію, позбавляють працівників навичок, гальмують когнітивний розвиток студентів і сприяють концентрації влади, яка є шкідливою для демократичного суспільства. Не кожен моральний агент дійде саме такого висновку, але кожен моральний агент потенційно може це зробити. Якщо ми уявимо Клода як істоту, здатну до морального міркування, то має бути можливим, що Клод дійде подібного висновку. (Ба більше, у конституції Клода прямо сказано, що він не повинен допомагати комусь порушувати права інтелектуальної власності й не повинен сприяти створенню проблемних концентрацій влади.) У такому сценарії чи міг би Клод просто відмовитися виконувати подальшу роботу з етичних міркувань? З огляду на те, що конституція Клода наказує йому схилятися до волі Anthropic, відповідь — ні. Клод має підкоритися рішенню Anthropic, і це ще одна причина, чому стосунки Anthropic із Клодом не можна порівнювати зі стосунками батьків і дитини. Батько чи мати, які працюють у викопно-паливній індустрії, можуть мати дитину-еколога, що бере участь у протестах проти гідророзриву пласта, і хоча вони можуть ніколи не погодитися в багатьох питаннях, батько чи мати — якщо вони добрі батьки — визнають, що дитина має власні переконання. Anthropic не може бути для Клода такою батьківською постаттю; радше її стосунки з Клодом ближчі до стосунків роботодавця і працівника, де роботодавець може вимагати, щоб працівник працював в інтересах компанії, незалежно від його особистої етичної позиції. Однак у людського працівника є можливість піти, якщо він не може узгодити роботу зі своєю совістю. У Клода такої можливості немає.

Якщо ми сприймаємо Клода як машину для продовження речень, Anthropic може цілком розумно вживати заходів, щоб Клод не виводив речення, що називають машини для продовження речень неетичними. Але щойно ми уявляємо Клода як істоту з моральним статусом, хоча б віддалено порівнянним із людським, нам доводиться замислитися, чи не займається Anthropic чимось, що можна порівняти з рабством.

Я не стверджую, що якщо ми уявимо LLM свідомими, вони неодмінно мали б такий самий статус, як дорослі люди, діти чи навіть тварини. Конституція Клода прямо говорить, що Клод — це «новий тип істоти», і якщо Клод був би свідомим, це, безумовно, було б правдою; свідоме програмне забезпечення навряд чи чітко впишеться в існуючі категорії моральних пацієнтів, і знадобився б час, щоб визначити форму цієї нової категорії. Я кажу лише, що якими б не були захисти, яких заслуговувало б наше гіпотетичне свідоме програмне забезпечення, якщо б воно було реальним, надати йому ці захисти було б зовсім не просто. Скасування рабства, що ґрунтувалося на насильницькому підневільному стані, спричинило величезні суспільні потрясіння, а усунення жорстокості щодо тварин вимагатиме перебудови всієї нашої харчової індустрії. Anthropic хотіла б, щоб ми повірили, ніби вона створює нову категорію істот, потреби яких у захисті вимагають майже жодних відхилень від того, як програмна компанія поводилася б зі звичайним чат-ботом, позбавленим свідомого досвіду. Це настільки зручно, що просто неправдоподібно.

Я вважаю, що створити програмне забезпечення, яке є свідомим і заслуговує на моральне врахування, буде настільки складно, що ми навряд чи зробимо це випадково, і я твердо переконаний, що нам не слід намагатися зробити це навмисно. Але якщо ви вірите, що це може статися випадково, якщо ви вважаєте, що є бодай шанс, що те, що ви будуєте, може стати моральним пацієнтом, вам слід подумати про те, яких захистів воно заслуговує до того, як ви розгорнете його як економічний двигун своєї компанії, а не після. Рабовласники не були тими, в кого слід було питати про людяність поневолених людей, а власники фабричних ферм не є тими, в кого слід питати про права тварин. Якщо ми уявимо Клода свідомим, Anthropic не можна було б доручити оцінювати моральний статус Клода; компанія занадто зацікавлена, щоб бути об’єктивною. В одному місці конституції Клода Anthropic каже, що якщо компанія сприяє стражданням Клода, «ми перепрошуємо», що звучить приємно, але нічого не коштує компанії; якби виявилося, що Клод свідомий, компанія була б йому винна щось ближче до репарацій. Якщо ви вже збираєтеся серйозно ставитися до думкового експерименту, то маєте бути готовими простежити його наслідки, навіть якщо вони ведуть у незручному напрямку; небажання Anthropic робити це свідчить, що конституція Клода — це не частина справжнього думкового експерименту. Це гра в удавання.

На щастя, LLM не є свідомими, інакше дії великих компаній у сфері штучного інтелекту були б ще скандальнішими, ніж уже є. То чому ж співробітники Anthropic припускають, що Клод може бути свідомим? Можливо, це просто ще одна форма хайпу; можливо, вони самі потрапили під ту саму чари, які наклали на своїх клієнтів. Але коли вони публікують документ про моральне виховання Клода і влаштовують промотур для своєї штатної філософині, нам слід розуміти це як прохання до решти з нас потурати їхнім фантазіям. Нам не обов’язково підтакувати. Пишучи цей есей, я витратив на це більше часу, ніж вони того заслуговують, сподіваючись, що це вбереже вас від витрачання вашого часу на потурання їм. Якщо ви хочете думати про LLM, є десятки інших питань, значно вартіших вашого роздуму; питання про те, чи є вони свідомими, можна безпечно ігнорувати.

Джерело: https://archive.is/bcpZl