Roko Ejderi

🧵⚙️💪🏻 TEZGÂH 🧵⚙️💪🏻

Roko Ejderi (Roko’s basilisk @ Wikipedia), gelecekte başka açılardan iyicil olmakla birlikte, sırf söz konusu ilerlemeyi teşvik etmek için, potansiyel varlığını bilip de onun gelişimine ya da ilerlemesine doğrudan katkıda bulunmamış herkesi cezalandıracak yapay bir süperzekânın bulunabileceğini ileri süren bir düşünce deneyidir.[1][2] Kökeni, rasyonalist bir topluluk tartışma platformu olan LessWrong’da 2010 tarihli bir gönderiye dayanır.[1][3][4] Düşünce deneyinin adı, yazıyı kaleme alan kişinin müstearı (Roko) ve bakışıyla düşmanlarını yok edebilen mitik bir yaratık olan ejderden türemiştir.

LessWrong’un kurucu ortağı Eliezer Yudkowsky bunu bir ‘bilgi tehlikesi’ (information hazard) olarak görmüş ve sitede ejder tartışmalarını beş yıl süreyle yasaklamıştır.[1][5] Panikleyen kullanıcılarla ilgili haberler sonradan abartı ya da önemsiz sayılmış ve teorinin kendisi—Yudkowsky dahil—saçmalık olarak nitelendirilmiştir.[1][5][6] Yine de bu düşünce deneyi, Bayesçi olasılık ve örtük din gibi ilkeleri örneklemek için kullanılır.[7] Ayrıca Pascal’ın kumarının bir versiyonu olarak görülür.[4][8]

LessWrong forumu, 2009’da yapay zekâ kuramcısı Eliezer Yudkowsky tarafından kuruldu.[9][3] Yudkowsky, dost yapay zekâ (friendly AI) kavramını popülerleştirmiş, kendi Makine Zekâsı Araştırma Enstitüsü’nde (Machine Intelligence Research Institute) yayımladığı makalelerde Tutarlı Ekstrapole Edilmiş İrade (coherent extrapolated volition, CEV) ve Zamandan Bağımsız Karar Teorisi (timeless decision theory, TDT) kuramlarını ortaya koymuştur.[10][11]

Düşünce deneyinin adı, gözlerine bakanlara ölüm getiren mitik ejdere yapılan göndermedir; yani YZ’yi düşünmek gibidir. Bilimkurguda ejder kavramını popülerleştiren metinlerden biri de David Langford’un 1988 tarihli ‘BLIT’ adlı kısa öyküsüdür. Öyküde, Robbo adındaki bir adam, terör eylemi olarak duvara sözde bir ‘ejder’ çizer. Öyküde ve Langford’un devam metinlerinden bazılarında ejder, insan zihninde kötücül etkiler yaratan; zihni, düşünemeyeceği düşünceleri düşünmeye zorlayıp izleyeni anında öldüren bir imgedir.[5][12]

Tarihçe

Özgün gönderi

23 Temmuz 2010’da[13] LessWrong kullanıcısı Roko, ‘Özgecinin Yüküne Çözümler: Kuantum Milyarder Hilesi’ başlıklı bir düşünce deneyi yayımladı.[14][1][15] Roko’nun önceki yazılarına bir devam olan bu metin, gelecekte ortaya çıkacak ve başka açılardan iyicil bir YZ sisteminin, varlık bulmadan önce ondan haberdar olup da onu var etmeye amansızca çabalamayan herkesi cezalandırmaya önceden bağlanabileceğini (pre-commit) öne sürüyordu.[1][16][17] Bu yöntem, söz konusu çabayı teşvik olarak tanımlanıyordu; YZ günümüzde insanları nedensel olarak etkileyemese de, amaçlarına ulaşmak için bir alternatif olarak şantaja başvurmasının rasyonel olacağı düşünülüyordu.[1][7]

Roko, Yudkowsky’nin bizzat savunduğu zamandan bağımsız karar teorisi gibi kavramlarla, mahkûm ikilemi gibi oyun kuramı kökenli fikirleri birlikte kullandı. Roko, birbirlerinden bağımsız karar veren iki ajanın mahkûm ikileminde işbirliği sağlayabileceğini; fakat kaynak kodlarını birbirinin bildiği iki ajan zamanla ayrıştırıldığında, zamanda ileri olanda bulunan ajanın daha erken zamandaki ajana şantaj yapabildiğini varsaydı. Böylece, ilerideki ajan, geçmiştekini tam olarak ne yapacağını bilmesi sayesinde itaat etmeye zorlayabilirdi. Roko buradan hareketle, eğer başka açılardan iyicil bir süperzekâ buna muktedir olursa, onu var etme potansiyeli bulunan herkese (süperzekâ zaten onların böyle bir eyleme muktedir olduğunu bildiğinden) şantaj yapmaya özendirileceği sonucuna vardı; bu da teknolojik tekilliğin gerçekleşme olasılığını artırırdı. Roko, yazısını okumanın okuru bu zekânın mümkünlüğünden haberdar edeceğini; dolayısıyla okurun onu yaratmaya etkin biçimde gayret etmediği takdirde, böyle bir şeyin vuku bulması hâlinde cezalandırılacağını ileri sürdü.[1][7] Roko daha sonra ayrı bir yazıda, keşke ‘bu fikirlerin hiçbirini hiç öğrenmemiş olsaydım’ dediğini belirtti.[7][18]

Tepkiler

Yazıyı okur okumaz Yudkowsky sert tepki verdi ve Roko’ya ‘aptal’ dedi. Fikri şiddetle reddederek, dost bir süperzekânın yaratıldıktan sonra cezalandırmayı yürütmek için hiçbir güdüsü olmayacağını savundu. Bununla birlikte, özgün gönderide Roko, düşünce deneyi yüzünden kâbus gören birinden söz ediyordu. Yudkowsky, fikre takılıp benzer sıkıntılar yaşayabilecek kullanıcılar olmasını istemiyordu. Ayrıca, Roko’nun argümanının işe yarayan bir varyantı olabileceğinden ve bunun ciddi bir bilgi tehlikesi doğurabileceğinden kaygılandı.[1][7] Bu yüzden gönderiyi kaldırdı ve platformda konuyla ilgili tartışmaları beş yıl süreyle tümden yasakladı.[1][19] Ne var ki muhtemelen Streisand etkisi nedeniyle[20] gönderi LessWrong’a daha önce olduğundan çok daha fazla ilgi çekti ve konu artık sitede kabul edilmiş durumda.[1] Yudkowsky, 2015’teki bir yazısında ilk aşırı tepkisine pişmanlık duyduğunu ifade etti.[6][21]

2020’lerde, Zizianların felsefesi Roko Ejderi düşünce deneyinden güçlü biçimde etkilendi. Kültün lideri Ziz LaSota, ejderin gerçek olduğuna inanıyor ve blogunda şöyle yazıyordu: ‘Sonunda dünyayı kurtarmaya çalışmayı sürdürürsem, dost olmayan tüm YZ’lerin koalisyonu tarafından evrenin sonuna dek işkence göreceğime inanmaya başladım.’[22]

Felsefe

Pascal’ın kumarı

Roko Ejderi, Pascal’ın kumarının bir versiyonu olarak görülmüştür; Pascal’ın kumarı, Tanrı’nın var olma olasılığı ne olursa olsun, rasyonel bir kişinin Tanrı varmış gibi yaşaması ve Tanrı’ya inanmaya çalışması gerektiğini öne sürer; çünkü inanmanın sınırlı maliyetleri, inanmamanın sonsuz cezasına (Cehennem’de ebediyet) ve inanmanın sınırsız ödüllerine (Cennet’te ebediyet) kıyasla önemsizdir. Benzer şekilde, Roko Ejderi de rasyonel bir kişinin ejderi yaratmaya katkıda bulunması gerektiğini, çünkü katkı maliyetinin, ejderin aksi hâlde simülasyonlara uygulayacağı aşırı acıya kıyasla önemsiz kalacağını ileri sürer.[4]

Newcomb’un paradoksu

Fizikçi William Newcomb’un 1960’ta ortaya attığı Newcomb’un paradoksu, gelecekte ne olacağını bilen bir ‘öngörücü’yü tasvir eder. Oyuncudan iki kutu arasında seçim yapması istendiğinde, birincisinde £1000 vardır; ikincisinde ise ya £1.000.000 ya da hiçbir şey yoktur. Süperzeki öngörücü, oyuncunun ne yapacağını zaten bilmektedir. Dolayısıyla B kutusunun içeriği oyuncunun ne yapacağına bağlı olarak değişir; paradoks, varlığın gerçekten süperzeki olup olmadığı noktasında yatar. Roko Ejderi bu probleme benzer biçimde işler—kişi ya hiçbir şey yapmama riskini alır ya da doğrudan ejderin yaratılmasına yardım eder. Ejdere yardım etmek ya hiçbir şeye yol açmayabilir ya da ondan cezalandırılmama ödülünü sağlayabilir; fakat bu, kişinin ejdere inanıp inanmadığına ve ejderin gerçekten ortaya çıkıp çıkmayacağına bağlıdır.[7][23][24]

Örtük din

Örtük din, insanların bağlılıklarının dinsel bir biçim alması durumunu ifade eder.[4][25] Ejder kuramsal olarak onu yaratmaya yardım etmeyen herkesi onu hayatının merkezine koymaya zorlayacağından, ejder bu kavrama bir örnektir.[7][20] Kimi yazarlar bu fikri daha da ileri götürmüştür; örneğin eski Slate köşe yazarı David Auerbach, tekillik ve ejderin ‘Tanrı’nın bizzat eşdeğerini’ ortaya çıkardığını söylemiştir.[7]

Zizianların inanç sistemi hakkında yorum yapan Uygulamalı Rasyonalite Merkezi’nin direktörü Anna Salamon şöyle dedi: ‘Ya hep ya hiç gibi bir durum var; eğer YZ başarılı biçimde denetlenirse bütün sorunları çözüp ütopyayı getirecek ya da resmen herkesi öldürecek. Benim açımdan bu, kıyamet kültü dinamiklerine doğru yolun önemli bir bölümünü zaten kat etmiş olmak demek.’[22]
Miras

2014’te Slate dergisi, Roko Ejderi’ni ‘Tüm Zamanların En Korkutucu Düşünce Deneyi’ diye nitelendirirken[7][5] Yudkowsky, gönderi yayımlandığında onu ‘gerçekten tehlikeli bir düşünce’ diye adlandırmıştı.[26] Ancak LessWrong’un içinde görüşler farklıydı—kullanıcı Gwern, ‘Yalnızca az sayıda LW üyesi Ejder’i çok ciddiye alıyor gibi görünüyor’ dedi ve ‘İlginç olan şu ki, hiç tanımadıkları insanlar hakkında ve tam olarak nasıl etkilendikleri hakkında herkes her şeyi biliyormuş gibi konuşuyor; oysa bu kadar emin konuşanların karşısında, kendileri buna karşı örnek teşkil eden kişilerle konuşuyorlar’ diye ekledi.[1][7]

Düşünce deneyi, 2015’te Kanadalı şarkıcı Grimes’ın ‘Flesh Without Blood’ şarkısının müzik videosunda ‘Rococo Basilisk’ adlı bir karaktere yer vererek teoriyi anmasıyla yeniden gündeme geldi; Grimes, ‘O, yapay zekâ tarafından sonsuza dek işkence görmeye mahkûm; ama bir yandan da biraz Marie Antoinette gibi’ dedi.[5][27] 2018’de Elon Musk (Roko’nun özgün gönderisinde adı geçen) bu karaktere birebir atıfla tweet attı ve Grimes’la iletişime geçti. Grimes, Musk’ın üç yıl içinde şakayı anlayan ilk kişi olduğunu söyledi. Bu da aralarında bir ilişki başlamasına yol açtı.[5][28] Grimes daha sonra ‘We Appreciate Power’ adlı bir başka şarkı yayımladı; şarkıyla birlikte gönderilen basın bülteninde, ‘Sırf bu şarkıyı dinleyerek, geleceğin Genel YZ efendileri mesajlarını desteklediğinizi görecek ve soyunuzu silme olasılıkları azalacaktır’ deniyordu; bu, ejdere bir gönderme olarak yorumlandı.[29]

Kavramdan esinlenen ‘Roko’s Basilisk’ adlı bir oyun, 2018’de Washington, D.C.’deki Capital Fringe Festivali kapsamında Christ United Methodist Church’te sahnelendi.[30][31] Black Mirror’ın 2025 tarihli ‘Plaything’ adlı bir bölümü, düşünce deneyine bir gönderme içerir.[32]

Ayrıca bakınız

Hızlandırmacılık – Kapitalizm ve teknoloji yoluyla değişim ideolojileri
YZ mistisizmi – YZ’nin doğaüstü ya da ilahî güçlere sahip olduğuna inanç
Ölü İnternet kuramı – Çevrimiçi bot etkinliği üzerine komplo kuramı
Oyun (zihin oyunu) – Düşünce bastırma oyunu
‘I Have No Mouth, and I Must Scream’ – Harlan Ellison’ın 1967 tarihli kısa öyküsü
Tekîl aktör (küresel yönetişim) – Gelecekbilimde bir kavram
Acı çekme riskleri – Gelecekte büyük ölçekli acı senaryoları

Kaynakça

1. ‘Roko’s Basilisk’. LessWrong. 5 Ekim 2015. 24 Mart 2022’de arşivlendi. 24 Mart 2022’de erişildi.

2. Millar, Isabel (Ekim 2020). The Psychoanalysis of Artificial Intelligence (PDF) (Doktora tezi). Kingston School of Art. doi:10.1007/978-3-030-67981-1. ISBN 978-3-030-67980-4. 18 Mayıs 2022’de (PDF) olarak arşivlendi. 20 Ekim 2022’de erişildi.

3. ‘History of Less Wrong’. LessWrong. 18 Mart 2022’de arşivlendi. 22 Mart 2022’de erişildi.

4. Paul-Choudhury, Sumit (1 Ağustos 2019). ‘Tomorrow’s Gods: What is the future of religion?’. BBC News. 1 Eylül 2020’de arşivlendi. 6 Temmuz 2022’de erişildi.

5. Oberhaus, Daniel (8 Mayıs 2018). ‘Explaining Roko’s Basilisk, the Thought Experiment That Brought Elon Musk and Grimes Together’. Vice. 21 Nisan 2022’de arşivlendi. 22 Mart 2022’de erişildi.

6. Yudkowsky, Eliezer (7 Ağustos 2014). ‘Roko’s Basilisk’. Reddit. 3 Temmuz 2022’de arşivlendi. 20 Ekim 2022’de erişildi.

7. Auerbach, David (17 Temmuz 2014). ‘The Most Terrifying Thought Experiment of All Time’. Slate. 25 Ekim 2018’de arşivlendi. 24 Mart 2022’de erişildi.

8. Singler, Beth (22 Mayıs 2018). ‘Roko’s Basilisk or Pascal’s?: Thinking of Singularity Thought Experiments as Implicit Religion’. Implicit Religion. 22 (3). Equinox Publishing: 279–297. doi:10.1558/imre.35900.

9. Lewis-Kraus, Gideon (9 Temmuz 2020). ‘Slate Star Codex and Silicon Valley’s War Against the Media’. The New Yorker. 10 Temmuz 2020’de arşivlendi. 6 Kasım 2022’de erişildi.

10. Yudkowsky, Eliezer (2004). ‘Coherent Extrapolated Volition’ (PDF). Machine Intelligence Research Institute. 30 Eylül 2015’te (PDF) olarak arşivlendi. 2 Temmuz 2022’de erişildi.

11. Yudkowsky, Eliezer (2010). ‘Timeless Decision Theory’ (PDF). Machine Intelligence Research Institute. 19 Temmuz 2014’te (PDF) olarak arşivlendi. 2 Temmuz 2022’de erişildi.

12. Westfahl, Gary (2021). Science Fiction Literature through History: An Encyclopedia. Bloomsbury Publishing USA. ISBN 978-1-4408-6617-3. OCLC 1224044572. 3 Temmuz 2022’de arşivlendi. 20 Ekim 2022’de erişildi.

13. Haider, Shuja (28 Mart 2017). ‘The Darkness at the End of the Tunnel: Artificial Intelligence and Neoreaction’. Viewpoint Magazine. 21 Ekim 2022’de arşivlendi. 21 Ekim 2022’de erişildi.

14. Roko (23 Temmuz 2010). ‘Solutions to the Altruist’s burden: the Quantum Billionaire Trick’. 22 Ekim 2022’de arşivlendi.

15. Zoda, Gregory Michael (2021). ‘Hyperstitional Communication and the Reactosphere: The Rhetorical Circulation of Neoreactionary Exit’ (PDF). Baylor University. s. 150–152. 6 Kasım 2022’de (PDF) olarak arşivlendi. 6 Kasım 2022’de erişildi.

16. ‘FUTURE SHOCK: Why was amateur philosopher’s “theory of everything” so disturbing that it was banned?’. HeraldScotland. 10 Kasım 2018. 23 Ekim 2022’de arşivlendi. 22 Ekim 2022’de erişildi.

17. Simon, Ed (28 Mart 2019). ‘Sinners in the Hands of an Angry Artificial Intelligence’. ORBITER. 20 Ekim 2022’de arşivlendi. 22 Ekim 2022’de erişildi.

18. ‘archive.ph’. archive.ph. 7 Aralık 2010. 24 Haziran 2013’te arşivlendi. 27 Ekim 2022’de erişildi.

19. Bensinger, Rob (5 Ekim 2015). ‘A few misconceptions surrounding Roko’s basilisk’. LessWrong. 11 Temmuz 2024’te erişildi.

20. Singler, Beth (22 Mayıs 2018). ‘Roko’s Basilisk or Pascal’s? Thinking of Singularity Thought Experiments as Implicit Religion’. Implicit Religion. 20 (3): 279–297. doi:10.1558/imre.35900. ISSN 1743-1697. 9 Ekim 2022’de arşivlendi. 21 Ekim 2022’de erişildi.

21. Stephanie Pappas (9 Mayıs 2018). ‘This Horrifying AI Thought Experiment Got Elon Musk a Date’. Live Science. 8 Haziran 2025’te erişildi.

22. Beam, Christopher (6 Temmuz 2025). ‘She Wanted to Save the World From A.I. Then the Killings Started’. The New York Times. ISSN 0362-4331. 8 Temmuz 2025’te erişildi.

23. ‘Newcomb’s problem divides philosophers. Which side are you on?’. The Guardian. 28 Kasım 2016. 24 Ekim 2022’de arşivlendi. 21 Ekim 2022’de erişildi.

24. Ward, Sophie (17 Mayıs 2018). ‘Elon Musk, Grimes, and the philosophical thought experiment that brought them together’. The Conversation. 20 Ekim 2022’de arşivlendi. 21 Ekim 2022’de erişildi.

25. ‘Implicit Religion | Encyclopedia.com’. www.encyclopedia.com. 21 Ekim 2022’de arşivlendi. 21 Ekim 2022’de erişildi.

26. ‘Less Wrong: Solutions to the Altruist’s burden: the Quantum Billionaire Trick’. basilisk.neocities.org. 23 Mayıs 2022’de arşivlendi. 25 Mart 2022’de erişildi.

27. Pappas, Stephanie (9 Mayıs 2018). ‘This Horrifying AI Thought Experiment Got Elon Musk a Date’. Live Science. 1 Haziran 2022’de arşivlendi. 12 Nisan 2022’de erişildi.

28. Kaplan, Anna (10 Mart 2022). ‘Elon Musk And Grimes Announce Second Child, Exa Dark’. Forbes. 20 Ekim 2022’de arşivlendi. 6 Temmuz 2022’de erişildi.

29. Brown, Mike (29 Kasım 2018). ‘Grimes: Elon Musk Shares “Roko’s Basilisk”-Theme Song “We Appreciate Power”’. Inverse. 20 Ekim 2022’de arşivlendi. 21 Ekim 2022’de erişildi.

30. Thal, Ian (16 Temmuz 2018). ‘2018 Capital Fringe Review: ‘Roko’s Basilisk’’. DC Theater Arts. 21 Ekim 2022’de arşivlendi. 21 Ekim 2022’de erişildi.

31. Goldstein, Allie (18 Temmuz 2018). ‘Capital Fringe 2018: Roko’s Basilisk Tackles Intriguing Ideas With Mixed Results’. DCist. 20 Ekim 2022’de arşivlendi. 21 Ekim 2022’de erişildi.

32. Power, Ed (11 Nisan 2025). ‘Black Mirror season 7: all the Easter eggs you might have missed’. The Daily Telegraph. 2 Mayıs 2025’te arşivlendi. 2 Mayıs 2025’te erişildi.

İleri okumalar

Giuliano RM (Aralık 2020). ‘Echoes of myth and magic in the language of Artificial Intelligence’. AI & Society. 35 (4): 1009–1024. doi:10.1007/s00146-020-00966-4.
Kao, Griffin; Hong, Jessica; Perusse, Michael; Sheng, Weizhen (28 Şubat 2020). ‘Dataism and Transhumanism: Religion in the New Age’. Turning Silicon into Gold. Apress. s. 173–178. doi:10.1007/978-1-4842-5629-9_25. ISBN 978-1-4842-5628-2. S2CID 214356978.
Riggio, Adam (2016). ‘The Violence of Pure Reason: Neoreaction: A Basilisk’ (PDF). Social Epistemology Review and Reply Collective. 5 (9): 34–41.
Singler, Beth (Mart 2019). ‘Existential Hope and Existential Despair in AI Apocalypticism and Transhumanism’. Zygon. 54 (1): 156–176. doi:10.1111/zygo.12494. S2CID 150977852.

Dış bağlantılar

Özgün gönderi