Pisał Pan kiedyś, że we wszechświecie marnuje się mnóstwo energii, bo wygląda na to, że żadna cywilizacja w pełni nie eksploatuje dostępnych gwiazd. Nazywa Pan to „astronomicznym marnotrawstwem” i sugeruje, że ludzkość mogłaby w przyszłości temu zaradzić.
Zgadza się. Co sekundę marnują się astronomiczne ilości energii potencjalnej i innych kosmicznych zasobów. Uważam, że warto byłoby zrobić z tym coś dobrego.
Twierdzi Pan jednak, że wyruszenie w gwiazdy i kolonizacja innych planet nie powinny być dla nas priorytetem. Dlaczego?
Mamy na razie jeszcze ważniejsze zadanie, a mianowicie zagwarantować, że faktycznie do tych gwiazd dotrzemy. Ze względu na samą długowieczność takich astronomicznych obiektów mniejsze ma znaczenie, czy stanie się to za 100 czy za 1000 lat, niż fakt, że w końcu się to uda. Uważam więc, że o ile wychodzimy od przyjętej wizji wszechświata i pewnych popularnych przesłanek moralnych, to powinniśmy przyjąć zasadę MaxiPOK, która głosi, że trzeba maksymalizować prawdopodobieństwo OK rezultatu, a więc uniknąć egzystencjalnej katastrofy, w końcu skolonizować wszechświat i wykorzystać dostępną energię w dobrym celu.
A więc co myśli Pan o ludziach takich jak Elon Musk, którzy chcieliby szybszej kolonizacji kosmosu, a przynajmniej naszego Układu Słonecznego?
Elon uważa pewnie, że jest to sposób na obniżenie ryzyka egzystencjalnego. Jeśli staniemy się gatunkiem międzyplanetarnym, będzie mniej prawdopodobne, że jakaś katastrofa położy kres całej ludzkiej cywilizacji. A więc nie chodzi mu o to, że powierzchnia Marsa się marnuje, ale że obecnie jako ludzkość stawiamy wszystko na jedną kartę, a byłoby dobrze postawić chociaż na dwie.
Na przykład poprzez budowę kolonii na Marsie.
Właśnie. Uważam jednak, że mamy pilniejsze zadania. Przypuszczam, że kluczowe egzystencjalne zagrożenia pojawią się, zanim będziemy mieli okazję na założenie samowystarczalnych kolonii na Marsie. Co więcej, nie sądzę, żeby taka kolonia miała pomóc nam uporać się np. z zagrożeniami, które niesie sztuczna inteligencja. Inteligentne roboty mogłyby polecieć na Marsa równie dobrze jak my. Kolonia na innej planecie dałaby nam większe szanse na przetrwanie niektórych egzystencjalnych zagrożeń, np. związanych z asteroidami i kometami, ale wielu z nich łatwiej można by zaradzić tutaj, na Ziemi, przez tańsze rozwiązania, choćby budowanie większej liczby umocnionych schronów.
Ostatnio sugerował Pan, że postęp technologiczny jest podobny do losowania z urny, zawierającej korzystne kule białe, szare kule o mieszanych skutkach, ale także apokaliptyczne kule czarne. Czemu mielibyśmy przyjąć taką hipotezę?
Czarna kula to technologia lub idea, której domyślnym skutkiem jest zniszczenie cywilizacji, jaka ją odkryje. Nie wydaje się wykluczone, że wśród wszystkich możliwych idei i technologii jest przynajmniej jedna czarna kula.
W przeszłości mogło się wydawać, że czarną kulą okaże się broń jądrowa. Szczęśliwym zbiegiem okoliczności brakowało jej jednej szczególnej cechy – łatwości wytwarzania. Broń jądrowa wymaga wysoko wzbogaconego uranu lub plutonu. Nie ma łatwego sposobu, żeby uwolnić energię atomu na dużą skalę. Możemy sobie wyobrazić, co by było, gdyby broń jądrową można było zrobić tak łatwo jak czekoladowy pudding z mikrofalówki. Demokratyzacja dostępności do broni masowej zagłady byłaby najpewniej końcem ludzkiej cywilizacji. Przez większość ludzkiej historii nie mieliśmy o takim zagrożeniu żadnego pojęcia. Czy był to ostatni taki przypadek? Wygląda na to, że sięgając do urny biotechnologii, nanotechnologii i sztucznej inteligencji, możemy mieć pecha i trafić na technologię, która sprawi, że narzędzia masowej zagłady staną się łatwo dostępne.
W Pana książce na ten temat sztuczna inteligencja okazuje się potencjalną czarną kulą, bo istnieje ryzyko, że maszyny w końcu osiągną superinteligencję – a więc poziom rozwoju dużo wyższy od naszego – lecz nie uda nam się im przekazać ludzkiego systemu wartości. Czy dalej Pan tak myśli?
Podstawowe idee w tej książce wciąż wydają mi się słuszne. Przy czym oprócz scenariuszy, w których pojedyncza sztuczna inteligencja staje się bardzo potężna, ale pozostaje nieskalibrowana z naszymi wartościami, pisałem też o scenariuszach wielobiegunowych, gdzie złe skutki wynikają z konkurencji między różnymi sztucznymi inteligencjami lub inteligentnymi systemami.
Gdy wydałem Superinteligencję w 2014 r., właściwie nikt nie pracował nad problemem skalibrowania sztucznej inteligencji. Od tego czasu nastąpił duży wzrost liczby badaczy i ośrodków. Kluczowe laboratoria pracujące nad sztuczną inteligencją, takie jak DeepMind i OpenAI, stworzyły zespoły ds. bezpieczeństwa sztucznej inteligencji, podobnie jak niektóre ośrodki akademickie, takie jak nasz oksfordzki Future of Humanity Institute.
Był to też czas dużego postępu technicznego w dziedzinie samej AI.
Oczywiście. Postęp jest dużo szybszy, niż się tego spodziewaliśmy, a rewolucja uczenia głębokiego idzie pełną parą do przodu. Daje nam to jaśniejszy obraz potencjalnych ścieżek do superinteligencji, a zarazem jaśniejszy obraz architektury, którą przyjmą wczesne superinteligentne systemy. Żeby lepiej je sobie wyobrazić, możemy pomyśleć o większych wersjach systemów obecnych. Daje to też konkretny cel badaczom, którzy pracują nad problemem kalibracji sztucznej inteligencji.
Czy ogólnie rzecz biorąc, jest Pan bardziej optymistyczny, jeśli chodzi o sztuczną inteligencję niż kiedyś?
Raczej nie. Jestem bardziej optymistyczny, jeśli chodzi o ilość pracy intelektualnej włożonej w rozwiązywanie tego problemu. Jest jej więcej, niż było, i więcej, niż można się było spodziewać w tym okresie.
Uważam też, że przejście do świata sztucznej inteligencji nastąpi prędzej czy później. Byłoby błędem starać się temu zapobiec albo nawet za długo z tym zwlekać.
Powinniśmy wziąć się w garść, dopóki możemy, jednak w którymś momencie trzeba będzie po prostu trzymać kciuki i liczyć na dobry obrót sprawy. Wiąże się z tym pewne ryzyko, którego skalę trudno jest dziś oszacować.
Przyjmijmy, że jest w urnie technologii czarna kula. Wtedy albo ulegamy zagładzie, albo tworzymy instytucje, które – jeśli będą miały wystarczającą władzę, żeby kontrolować proces losowania – niosą ze sobą inne zagrożenia, np. ryzyko permanentnego totalitaryzmu. Wygląda więc na to, że nasz los jest przesądzony. Przyszłość ludzkości jest albo krótka, albo negatywna.
Dopóki jest niewiedza, jest też nadzieja. Nie wiemy, czy czarna kula istnieje.
Co więcej, różne środki stabilizacyjne, jak powszechny nadzór w czasie rzeczywistym lub silniejszy porządek międzynarodowy, niosą zarówno zagrożenia, jak i możliwe korzyści, jak np. dostępność bardziej niezawodnych środków do rozwiązywania problemów z koordynacją w globalnie istotnych sprawach. Można sobie wyobrazić, że takie środki stabilizacyjne mogłyby doprowadzić do utopii raczej niż do dystopii; że dałyby nam nie tylko ochronę przed zagrożeniami, ale także światowy pokój. Być może ten proces byłby w pewnym sensie podobny do nastania epoki państw. To prawda, że istnieją dystopijne państwa totalitarne, lecz przecież nie wszystkie państwa są całkowicie zepsute. W ostatecznym rozrachunku rozpowszechnienie form państwowości zdziałało być może więcej dobrego niż złego poprzez tłumienie lokalnych konfliktów, opanowanie społecznego nieładu i przestępczości, spisanie praw, umożliwienie wzrostu gospodarczego.
Mimo że system nadzoru mógłby zostać wykorzystany przez dyktatora lub totalitarny reżim do eliminacji wszelkich form sprzeciwu, to mógłby też służyć bardziej dobroczynnemu rządowi do eliminacji wielu form przestępczości bez konieczności potężnej formacji policyjnej i długich wyroków więziennych. Gdyby istniała gwarancja, że przestępca zostanie zawsze szybko złapany i skazany, dałoby się też ograniczyć inne wydatki związane z walką z przestępczością.
Jak z długofalowej perspektywy wyglądają bieżące konflikty na świecie?
Myślę, że naszym ogólnym celem powinno być zwiększenie szansy na pokojowy, kooperatywny porządek na świecie, szczególnie jeśli chodzi o największe i najważniejsze punkty sporne między światowymi mocarstwami. Brak światowej koordynacji – czy to w postaci aktywnego konfliktu, czy zbiorowej nieumiejętności zapobiegania różnego rodzaju wypadkom, wyścigom technologicznym i zbrojeniowym – stanowi źródło innych bezpośrednich zagrożeń egzystencjalnych.
Należy więc postawić sobie pytanie, jak najlepiej promować światowy pokój i harmonię; trudniej jednak oczywiście o dobrą odpowiedź. Wiemy przecież, że przyszłość wyglądałaby dużo lepiej, gdyby światowe mocarstwa potrafiły się dogadać, rozwiązując światowe problemy, czy będzie to globalne ocieplenie, rozprzestrzenianie się broni nuklearnej czy wyzwania związane ze sztuczną inteligencją. Byłoby dużo łatwiej sobie z nimi poradzić, gdyby np. Stany Zjednoczone i Chiny pozostawały w przyjacielskich stosunkach. Niektórzy krótkowzroczni politycy woleliby jednak zapomnieć o nadrzędnym znaczeniu budowania dobrych relacji na rzecz krótkoterminowych korzyści.
W jednym ze swoich artykułów pisze Pan, że nawet w ciągu czasu, który ludzkości został na Ziemi, może istnieć jeszcze 1016 (czyli 10 tys. bilionów) szczęśliwych ludzi. Stawia Pan tezę, że obniżenie ryzyka egzystencjalnej katastrofy o jedną milionową jednego procenta jest sto razy ważniejsze, pod względem spodziewanej ilości ogólnego szczęścia, niż bezpośrednie ocalenie miliona ludzkich istnień. Brzmi Pan jak fanatyk, dla którego ważniejsi są nasi odlegli przodkowie niż ludzie żyjący tu i teraz.
Często jestem o to posądzany, bo moje pisma uwypuklają praktyczne konsekwencje niektórych aksjologicznych aksjomatów. Postrzegam swoją pracę jako rozrysowywanie rezultatów różnych założeń, niekoniecznie się z nimi zgadzając.
Teza, o którą tutaj chodzi, mówi po prostu o całkowitej wartości spodziewanej. Jeśli wyznajemy pogląd, że wartość świata to suma wartości jego części składowych, takich jak ludzkie życia, to wtedy niewielki wpływ na wielką liczbę ludzi przeważy, matematycznie rzecz biorąc, dramatyczny wpływ na niewielką liczbę ludzi. Zostajemy zatem z dwoma pytaniami: czy odrzucamy w ogóle ten sposób mierzenia wartości? Czy też go akceptujemy, jednak uważamy, że nie ma bezpośredniego przełożenia między sądami wartościującymi a sądami o tym, co należy zrobić?
Jaka jest Pana odpowiedź?
Choć przyjmuję pewne przesłanki utylitarystyczne, to ostatecznie nie jestem utylitarystą, który uważa, że trzeba za wszelką cenę maksymalizować użyteczność. Mogą istnieć przecież inne czynniki, np. natury deontologicznej, które mają znaczenie dla końcowego sądu moralnego. Jeden oczywisty przykład to specjalne obowiązki wobec ludzi, którym coś obiecaliśmy, lub wobec naszych rodzin i przyjaciół – mogą być one dla nas istotniejsze niż zobowiązania wobec przyszłych pokoleń. Istnieją też tradycyjne argumenty, oparte na intuicji, które wielu filozofów odwodzą od utylitaryzmu. Na przykład wydaje się, że utylitaryzm mógłby nam kazać zabić niewinnych ludzi i zdradzić przyjaciół, gdyby dałoby się w ten sposób wyprodukować o wiele więcej użyteczności.
Dlaczego zatem ostatecznie powinniśmy się w ogóle przejmować ryzykiem egzystencjalnym dla ludzkości, a nie koncentrować się na życiu tu i teraz?
Utylitarysta powie, że chodzi o to, aby uniknąć „astronomicznego marnotrawstwa”. Rzecznicy innych tradycji moralnych mogą użyć innych argumentów. Powiedzą, że należy doprowadzić ludzką opowieść do dobrego końca albo spłacić nasz dług wobec przeszłości przez dobroczynność na rzecz przyszłości. Te czynniki nie są jednak tak dominujące jak dla utylitarysty, który twierdzi, że w zasadzie powinniśmy zapomnieć o wszystkim innym i skupić się na minimalizowaniu ryzyka egzystencjalnego.
Biorąc to wszystko pod uwagę, jak dużo znaczenia przywiązuje Pan osobiście do kwestii ryzyka egzystencjalnego?
Bardzo dużo. Oczywiście w praktyce wiele zależy od naszej osobistej sytuacji. Jeśli ktoś ma dużą szansę, żeby dosłownie ocalić świat, to powinien zrobić wszystko, co w jego mocy. Ale jeśli jestem po prostu jednym człowiekiem z 8 mld ludzi, to wtedy dobrze byłoby coś w tej sprawie zrobić, pamiętając też o innych bardziej przyziemnych sprawach i własnym interesie.
Czy za takim „zdroworozsądkowym” postawieniem sprawy stoi jakaś teoria filozoficzna?
Skłaniam się ostatnio do myślenia w ramach nie jednej teorii filozoficznej, lecz czegoś w rodzaju moralnego parlamentu. Nie mamy pewności, która teoria etyczna jest prawdziwa: utylitaryzm, kantyzm, a może arystotelesowska etyka cnót lub egoizm? Zamiast podążać za jedną z nich, moglibyśmy wyobrazić sobie, że różne teorie etyczne są partiami politycznymi, które wysyłają delegatów do hipotetycznego parlamentu. Liczba delegatów odpowiadałaby prawdopodobieństwu, które przypisuje się danej teorii. Następnie trzeba sobie wyobrazić, jak w idealnych warunkach między takimi delegatami przebiegałyby negocjacje. Być może np. utylitaryści musieliby pójść na ustępstwa wobec kantystów. Na koniec powinniśmy się zastosować do zaleceń takiego moralnego parlamentu.
Pod wieloma względami można Pana uznać za ojca filozoficznego longtermizmu, ponieważ wprowadził Pan pewne kluczowe pojęcia, np. astronomiczne marnotrawstwo, i promował długofalowe patrzenie na trajektorię ludzkości. Co myśli Pan o ostatniej fali zainteresowania longtermizmem?
Miło patrzeć, jak wszystko dorasta. Dużo się zmieniło od lat 90., kiedy zaczynałem pisać na te tematy i trudno było znaleźć chociaż jedną lub dwie osoby, z którymi można by podzielić się pomysłami. A teraz istnieje cały ekosystem, do którego napływają zarówno młodzi badacze, jak i finansowanie, i takie tematy są dyskutowane w szerszych kręgach społeczeństwa. A więc ogólnie cieszy mnie to zainteresowanie scenariuszami przyszłości i ich etycznymi implikacjami. Najmniej podoba mi się tendencja do fanatyzmu, która czasem czai się na drugim planie wśród efektywnych altruistów i longtermistów, swego rodzaju fanatyczny nacisk na maksymalizowanie użyteczności bez względu na wszystko. Jak wspominałem, taka postawa jest mi obca, choć jestem o nią czasem posądzany.
Biorąc pod uwagę, że skupia się pan na ryzyku egzystencjalnej katastrofy, co myśli Pan o tym, że wielu nowszych longtermistów dużą wagę przykłada do tego, żeby przyszłość ludzkości była dobra, niekoniecznie zaś długa?
W mojej pierwotnej definicji ryzyko egzystencjalne obejmuje nie tylko wyginięcie, ale też wypaczoną realizację, bo mogą istnieć scenariusze przynajmniej tak złe jak wyginięcie, które mimo to wiążą się z przetrwaniem ludzkości, a nawet kolonizacją kosmosu. A więc żeby zminimalizować egzystencjalne ryzyko, musimy znaleźć się na drodze, która ostatecznie doprowadzi do realizacji sporej części aksjologicznego potencjału ludzkości. Jest całkiem możliwe, że możliwe drogi w rzeczywistości bardziej przypominają oddzielne tory: jeśli cywilizacja znajdzie się na jednym z nich, to już na nim długo pozostanie. Kluczową sprawą jest więc zagwarantowanie, żebyśmy się znaleźli na właściwej drodze, która nie urywa się za wcześnie i wiedzie do dobrego stanu docelowego.
Jak dzisiaj postrzega Pan możliwe drogi dla ludzkości?
Wiele z nich szybko kończy się urwiskiem. Inne ukazują wieczną stagnację cywilizacji na Ziemi. Są też jednak takie, których końca nie widać, a które prowadzą do wykorzystania kosmicznego uposażenia ludzkości, do realizacji naszego potencjału. Gdzie się znajdziemy zależy zarówno od wartości, którymi będziemy się kierować, jak i od tego, czy będziemy potrafili współpracować ze sobą.
Peter Singer napisał niedawno, że „patrzenie przez pryzmat longtermizmu i ryzyka egzystencjalnego zmniejsza bieżące problemy prawie do zera, dostarczając jednocześnie uzasadnienia na prawie wszystko, co zwiększyłoby nasze szanse przetrwania wystarczająco długo, aby rozprzestrzenić się poza Ziemię”. Singer jest więc zaniepokojony możliwością nadużycia tych idei.
Ja też.
Jeśli cały ten longtermizm okaże się ostatecznie zjawiskiem negatywnym, to prawdopodobnie będzie tak dlatego, że zaangażuje się w niego wielu różnych ludzi, a wśród nich ktoś zaproponuje jakąś destrukcyjną interpretację, która zyska szerokie poparcie.
Myślę, że można się bronić przed tym, by próba dobrodziejstwa dla ludzkości nie obróciła się w katastrofę. Jednym pożytecznym małym narzędziem intelektualnym jest pojęcie klątwy jednostronności. Chodzi o sytuację, kiedy do rozpoczęcia jakiegoś nieodwracalnego procesu wystarczy jedna osoba – np. naukowiec publikujący artykuł, na podstawie którego można wywnioskować, jak stworzyć nowego śmiertelnego wirusa, nawet jeśli wszyscy inni słusznie uważają, że nie byłby to dobry pomysł. Musimy próbować uniknąć takiej klątwy jednostronności w przypadku longtermizmu. Innym przydatnym narzędziem intelektualnym jest idea moralnego parlamentu. W końcu lepiej jest zrobić trochę dobrego, niż ryzykować dużo złego.
Uważam, że zachowanie pewnego rodzaju zakotwiczenia w zdroworozsądkowej moralności jest ostatecznie roztropne i doprowadzi do lepszego rezultatu niż zsumowanie na kartce paru powierzchownych wskaźników i przeprogramowanie się na fanatycznego robota, który idzie w świat i stara się tę sumę maksymalizować. Powiedziałbym, że jest to ludzka wersja problemu kalibrowania sztucznej inteligencji. Ścisłe trzymanie się pochopnie obranego celu prawdopodobnie nie zagwarantuje wszystkiego, co tak naprawdę się liczy. Możemy być tak samo podatni na ten problem jak inteligentne roboty, które kiedyś zbudujemy.
Rozmowa została lekko zredagowana dla większej czytelności.
—
Nick Bostrom
Szwedzki filozof, kierownik Future of Humanity Institute na Uniwersytecie Oksfordzkim. Uważany za jednego z najważniejszych przedstawicieli transhumanizmu i longtermizmu. W języku polskim ukazała się jego książka Superinteligencja. Scenariusze, strategie, zagrożenia (2016)
