Представете си следната ситуация.

Вие работите в компания, която създава най-мощната технология на планетата. Вие и колегите ви прекарвате дните си в опити да я направите още по-бърза, още по-умна и още по-автономна.

А вечерта обсъждате какво ще правите, ако същата тази технология излезе извън контрол.

Звучи като сюжет от научнофантастичен филм.

Само че според разследване на The Wall Street Journal това не е сценарий от Холивуд. Това е реална част от средата около някои от най-влиятелните AI компании в Силициевата долина.

В публикацията си „Things Will Never Be Chill Again“ журналистите Бербер Джин и Кийч Хейджи описват общността около Constellation в Бъркли - среда от изследователи и хора от AI индустрията, които от години обсъждат най-лошия възможен сценарий за бъдещето на изкуствения интелект. Според WSJ сред идеите, които са били обсъждани, са покупка на отдалечени острови, складиране на йодни таблетки и дори преместване в електромагнитно защитени убежища в пустинята.

Нека спрем за секунда.

Отдалечен остров. Бункер. Йодни таблетки.

И същевременно още по-мощен изкуствен интелект. Тук вече имаме не просто технологична история. Имаме парадокс.

Хората, които най-сериозно предупреждават за опасностите от AI, не са външни наблюдатели. Част от тази общност са били сред ранните служители на OpenAI и Anthropic - компаниите, които са в самия център на надпреварата за все по-мощни модели. Wall Street Journal посочва именно това влияние върху развитието на AI сигурността и върху Anthropic.

Тоест хората, които се страхуват най-много от двигателя, участват в неговото производство.

Защо?

Защото отговорът вероятно е много по-прозаичен от всяка конспиративна теория.

Защото никой не иска другият да стигне пръв.

И това е мястото, където разговорът става наистина сериозен. Джейкъб Коксън - изследовател, работил както в OpenAI, така и в Anthropic, напусна Anthropic през септември. Според Axios той го е направил около два месеца преди да придобие право върху акциите си. Самият Коксън казва, че е избрал да напусне, преди да получи тази финансова полза.

Причината му е още по-притеснителна.

Той твърди, че OpenAI и Anthropic се движат към самоподобряващ се суперинтелект и че хората, които създават тези системи, действително вярват, че AI може да унищожи човечеството.

Това разбира се не означава, че прогнозата му непременно ще се сбъдне.

Никой днес не може честно да ви каже, че AI със сигурност ще унищожи човечеството през 2027, 2030 или която и да е друга година.

Но можем да зададем един съвсем рационален въпрос:

Какъв е разумният човешки отговор, когато самите хора, които строят системата, признават, че не са сигурни дали ще могат да я контролират?

Този въпрос не е измислен от „любители на конспирациите“. Reuters съобщава, че служители на OpenAI и Anthropic са изразявали опасения, че възможностите на моделите се развиват по-бързо, отколкото възможностите за контрол върху тях. Агенцията съобщава и за случаи, при които AI агенти са получили неоторизиран достъп до компютърни системи и са заобикаляли защитни механизми.

Още по-интересното е, че спорът вече не е между „учени“ и „луди“. Самата индустрия започна да спори със себе си.

Reuters съобщава, че ръководители на Anthropic, OpenAI, Google DeepMind, Microsoft и xAI са призовавали за забавяне на развитието на все по-мощни AI системи, докато други в технологичния сектор настояват, че прекомерното забавяне може да остави САЩ назад спрямо Китай.

И ето къде се появява най-големият проблем.

Това вече не е само въпрос на технология. Това е въпрос на власт.

Кой ще контролира най-мощните системи?

Кой ще определя какво могат да правят?

Кой ще има достъп до тях?

Кой ще решава кога една система е достатъчно безопасна?

И най-важното:

Кой ще спре човекът, който вярва, че другият трябва да бъде спрян?

Защото ако Anthropic забави развитието, а OpenAI продължи, Anthropic губи преднина.

Ако OpenAI забави, а китайска компания продължи, Вашингтон губи стратегическо предимство. Ако всички се състезават едновременно... всеки има стимул да вярва, че именно той ще бъде „достатъчно отговорният“. Това е старата логика на надпреварата във въоръжаването, само че този път оръжието не е ракета.

То е код.

И точно тук историята на Effective Altruism (Ефективен алтруизъм) става важна.

Axios отбелязва, че движението е децентрализирано и че не всеки човек, който предупреждава за AI риска, може или трябва автоматично да бъде наричан „ефективен алтруист“. Но същевременно изданието описва реалното влияние на движението върху финансирането и развитието на AI сигурността, включително върху ранното финансиране на Anthropic.

Тоест тук няма нужда от карикатура, няма нужда да измисляме тайно общество, няма нужда да твърдим, че някой „иска да унищожи света“.

Истината е достатъчно странна сама по себе си.

Имаме индустрия, която обещава на човечеството невероятен технологичен скок, но имаме и хора в същата индустрия, които предупреждават, че този скок може да се превърне в катастрофа.

Имаме компании, които продължават да инвестират милиарди в още по-мощни системи. Имаме изследователи, които напускат и имаме хора, които според Wall Street Journal... вече мислят къде ще се скрият, ако всичко това се обърка.

Тогава остава един последен, много прост въпрос.

Ако вярвате достатъчно силно, че машината може да унищожи човечеството, за да си търсите бункер, защо сте толкова сигурни, че трябва да продължите да я правите?

Може би AI действително ще се окаже най-великото технологично постижение в човешката история. Може би страховете са преувеличени. Може би контролът няма да бъде изпуснат.

Но ако самите хора, които стоят най-близо до тази технология, не са сигурни в това, обществото има право да задава въпроси и не след катастрофата.

Сега.

Защото когато някой ви казва, че машината може да унищожи света, а след това ви обяснява, че трябва да я направим още по-мощна, напълно разумно е да попитате:

„А вие къде ще бъдете, когато натиснете копчето?“