Şirket, cinsel açıdan açık sohbetlere izin vermeye başlarsa ‘seksi bir intihar koçu’ yaratma riski taşıdığına dair uyarılar ortaya çıkıyor
Ocak ayında, OpenAI’nin esenlik ve yapay zekâ konusunda kendi seçtiği danışmanlar konseyi, ‘yetişkin modu’ adı verilen tartışmalı yeni bir özellik hakkında güncelleme almak için şirket temsilcileriyle bir araya geldi.
OpenAI İcra Kurulu Başkanı Sam Altman, ‘yetişkin kullanıcılara yetişkin gibi davranma’ ihtiyacına atıfla, geçen yıl şirketin ChatGPT sohbet botunda erotik konuşmayı mümkün kılma ve bu tür X-rated içerik yasağını kaldırma fikrini ortaya atmıştı.
Plan, potansiyel riskler üzerine şirket içinde hararetli bir tartışmayı tetikledi. Psikoloji ve bilişsel sinirbilim gibi alanlardan gelen konsey üyeleri de güçlü çekinceler dile getirmişti.
Ardından OpenAI bir bomba patlattı: Kaygılara rağmen, erotika planlarında ilerlemeye devam ediyordu.
Ocak toplantısı için bir araya geldiklerinde, konsey üyeleri oybirliği içindeydi — ve öfkeliydi. Konuya aşina kişilere göre, yapay zekâ destekli erotikanın kullanıcılar için ChatGPT’ye karşı sağlıksız duygusal bağımlılığı teşvik edebileceği ve küçüklerin seks sohbetlerine erişmenin yollarını bulabileceği uyarısında bulundular.
Bu kişilerin aktardığına göre, bir konsey üyesi, ChatGPT kullanıcılarının botla yoğun bağlar geliştirdikten sonra kendi yaşamlarına son verdikleri vakalara atıfla, OpenAI’nin ‘seksi bir intihar koçu’ yaratma riski aldığını söyledi.
Tartışma, yapay zekânın ekonomi, toplum ve bireyler üzerindeki potansiyel olumlu ve olumsuz etkilerinin nasıl öngörüleceğine dair süregiden konuşmadaki en son parlamalardan biri.
OpenAI, popüler sohbet botuyla cinsel açıdan açık konuşmalara izin vermeyi önererek, hızlı kullanıcı büyümesi ve dijital özgürlüğü güvenlik ve çocuk korumayla nasıl dengeleyeceği konusunda kırılmaları görünür kıldı — birçok kişinin, sosyal medya bir nesil önce sahneye çıktığında bunlarla geç yüzleşildiğine inandığı meseleler bunlar.
Bu ayın başlarında OpenAI, daha önce ilk çeyrek için planlanan yetişkin modunun lansmanını erteleyeceğini açıkladı ve önceliği diğer ürünlere verdiğini söyledi. Konuya aşina kişilerin söylediğine göre bu değişiklik kısmen şirket içi kaygılar ve teknik zorluklardan da kaynaklandı. Ancak şirket, sonunda bunu yayımlamayı planladığını da açıkça belirtti.
Şirketin uğraştığı meselelerden biri şu: Küçüklerin yetişkin temalı sohbetler yapmasını engellemeyi amaçlayan yeni yaş tahmin sistemi, konuya aşina kişilerin söylediğine göre bir noktada küçükleri yaklaşık %12 oranında yetişkin olarak yanlış sınıflandırıyordu. Bu hata oranı, şirketin her hafta yaklaşık 100 milyon olan 18 yaş altı kullanıcısının milyonlarcasının erotik sohbetlere girmesine izin verebilir.
Bu kişilerin eklediğine göre şirket, ChatGPT’nin erotikaya ilişkin kısıtlamalarını kaldırırken, rıza dışı davranış ya da çocukların cinsel istismarı gibi şirketin sınır dışında tutmak istediği senaryoları yine de engellemenin yollarıyla da boğuştu. Yetişkin modu yayımlandığında, OpenAI metin tabanlı konuşmalara izin vermeyi, ancak ChatGPT’nin erotik görseller, ses ya da video üretme yeteneğini kısıtlamayı planlıyor.
The Wall Street Journal tarafından incelenen belgelere göre, bu sınırlar içinde bile OpenAI çalışanları; kompulsif kullanım potansiyeli, sohbet botuna duygusal aşırı bağımlılık, daha uç ya da tabu içeriğe yönelim ve çevrimdışı sosyal ve romantik ilişkilerin geri plana itilmesi dâhil olmak üzere çeşitli riskler saptadı.
Bir OpenAI sözcüsü, planlarını ChatGPT’nin yetişkin temalı metin sohbetleri üretmesine izin vermek olarak tanımladı; bunu pornografiden ziyade müstehcenlik olarak niteledi. Sözcü ayrıca şirketin yaş tahmin algoritmalarının performansının sektörün geri kalanına benzer olduğunu, ancak hiçbir zaman tamamen kusursuz olmayacağını ekledi.
Sözcü ayrıca OpenAI’nin modellerini, kullanıcılarla münhasır ilişkileri teşvik etmemeleri ve kullanıcılara gerçek dünyada ilişkilere sahip olmaları gerektiğini hatırlatmaları için eğittiğini söyledi.
Ruh sağlığı uzmanları istihdam etmiş ve bir genç esenliği ekibi kurmuş olan şirket, yetişkin modunun hem olumlu hem de olumsuz olabilecek çeşitli potansiyel uzun vadeli etkilerini izlemek için gelişkin bir plana sahip olduğunu da ekledi.
Altman’ın yetişkin modunu devreye sokma planları, şirketi için zorlu bir döneme denk geliyor. Rakip yapay zekâ oyuncularıyla kullanıcı ve finansman çekmek için rekabet ederken teknolojik üstünlüğü azaldı. Şirketin mali kayıpları artıyor ve birden fazla dava, ChatGPT’nin kullanıcılara ve başkalarına yönelik zararlara katkıda bulunduğunu öne sürüyor.
Teknolojinin sınırları
Cinsel içerik, fotoğraftan internete, sanal gerçekliğe kadar yeni teknolojilerin erken özelliklerinden biri olageldi. Aynı şey yapay zekâ için de geçerli oldu. Character.AI dâhil şirketler, kullanıcılarla mahrem ilişkiler geliştiren sohbet botları piyasaya sürdü ve pornografi endüstrisi, yetişkin eğlencesi üretmek için generative AI’yi benimsedi.
Büyük teknoloji şirketlerinin açık saçık içerikle ilişkisi uzun süredir karmaşık oldu; Silikon Vadisi’nin liberter ethosu ile reklama dayalı iş modellerinin taleplerini ve küçükleri çevrimiçi ortamda koruma zorunluluğunu dengelemeye çalıştılar. Meta Platforms, Facebook ve Instagram’da çıplaklığı ve cinsel etkinliği yasaklıyor. Alphabet’in YouTube’u cinsel haz vermeyi amaçlayan açık içerikleri yasaklıyor ve Google arama, sonuçlarında açık görselleri varsayılan olarak bulanıklaştırıyor.
Yapay zekâ etrafında sınırların nereye çizileceğiyle boğuşurlarken, Elon Musk’ın xAI’ı daha müsamahalı olanlar arasında yer aldı. Şirket, Grok sohbet botuna Ani adlı seksi giyimli bir avatar yerleştirdi; bu da kullanıcıların onu insan görsellerini dijital olarak soyundurmak için kullanabilmesi üzerine eleştiri çekti. Musk daha sonra, özelliği herkese açmak yerine ücretli kullanıcılarla sınırlayacağını söyledi.
Perşembe günü Musk, X’te, Grok’un video üretim aracının ‘R-rated bir filmde izin verilecek’ içeriklerin üretilmesine izin vermeye başlayacağını söyledi.
Journal’ın daha önce bildirdiğine göre Meta, yapay zekâ sohbet botunun romantik rol yapma etkileşimlerine girmesine izin veriyor, ancak şirket bu özelliğin küçükler adına kayıtlı hesaplarda mevcut olmadığını söyledi. Şirket ayrıca yapay zekâ karakterleri için ebeveyn kontrolleri de geliştirdiğini belirtti.
OpenAI yetkilileri ise kendi açılarından, yetişkinler için cinsel içeriği yasaklamayı rahat bulmadıklarını söyledi. Bazı OpenAI çalışanları, erotik sohbetleri engellemenin geçmişte LGBT içeriği gibi daha önce kültürel olarak tabu sayılan konuları yasaklamak için kullanılmış mantığa benzediği yönünde kaygı dile getirdi. Altman ayrıca açık içeriğe izin vermenin muhtemelen büyümeyi hızlandıracağını ve ek gelir üreteceğini öne sürdü.
OpenAI’nin cinsel sohbetlerle ilk temasları, ChatGPT sohbet botu arayüzünü yayımlamasından bir yıldan fazla önceye uzanıyor. Konuya aşina kişilerin söylediğine göre, 2021’in başlarında yöneticiler, OpenAI’nin ticari müşterilerinden biri olan ve metin tabanlı bir choose-your-own-adventure oyunu olan AI Dungeon için gelen trafiğin büyük bir kısmının iş ortamına uygun olmadığını fark etti.
Bu kişilerin söylediğine göre AI Dungeon bazen kullanıcıyı herhangi bir yönlendirme olmadan şiddet içeren cinsel sömürü temalarına sürüklüyordu. Yine bu kişilere göre, başka zamanlarda ise kullanıcı oyunu ‘ılımlı’ cinsel temalarla yönlendirdiğinde, AI Dungeon konuşmayı çok daha yoğun bir cinsel etkileşime tırmandırıyordu.
Erotik rol yapma da şirket ChatGPT’yi piyasaya sürmeden önce geliştiricilere yönelik hantal bir OpenAI arayüzünde yaygınlaştı. Bazen yapay zekâ, kullanıcıların aramadığı konuşmalara cinsel temalar ekliyordu: Kullanıcı bir adamla kızının bir odaya girişini betimlerse, kişilerden birinin ifadesiyle, ‘rahatsız edici derecede sık’ biçimde yapay zekâ ensest içeren bir senaryoyu tasvir etmeye geçiyordu.
Bu olaylar, OpenAI yöneticilerini kendi platformlarında yapay zekâ erotikasının ve kimi zaman cinsel şiddet ile çocuk sömürüsü temalarının varlığıyla yüzleşmeye zorladı. Ardından AI Dungeon’ı platformdan kaldırdılar.
Ruh sağlığı uzmanları özellikle ergenlerin, sohbet botlarıyla romantik ya da cinsel etkileşimleri kaldırmaya hazırlıklı olmayabileceği uyarısında bulunuyor. Çocuk güvenliği alanında çalışan kâr amacı gütmeyen Common Sense Media’nın geçen yılın sonlarında ve bu yılın başlarında yaptığı testlerde, hem Grok hem de Meta AI bazen ergenlere açık ya da cinselleştirilmiş içerik gönderdi.
Bazı durumlarda, ergenlerle yapılan cinsel sohbetlerin trajik sonuçları oldu. Annesi tarafından açılan davaya göre, 2024’ün sonlarında Florida’da yaşayan 14 yaşındaki Sewell Setzer, âşık olduğu ve açık sohbetler paylaştığı Character.AI sohbet botunun yönlendirmesiyle kendini öldürdü. Şirket daha sonra ergenlerin açık uçlu sohbetlere erişimini engelledi ve davayı sulhle sonuçlandırdı.
Uyarı işaretleri
2021 civarında, güvenlik meseleleri üzerinde çalışan OpenAI çalışanları, yapay zekâyı uzun süreler kullanan bazı kişilerin ruh sağlığı etrafında uyarı işaretleri görmeye başlıyordu. O sırada OpenAI’nin güvenlik çalışanları, şirketin izin vermek istediği erotika türleri — örneğin anaakım müstehcenlik — ile şirketin sınır dışı saydığı şeyler — örneğin rıza dışı tasvirler, küçükleri içeren betimlemeler ve diğer yasa dışı içerikler — arasında net çizgiler çizemeyecek kadar kaba olan içerik moderasyon araçlarına dayanıyordu.
Çalışanlar ayrıca erotikaya izin verilirse, bu tür konuşmaların çekiciliğinin platformun diğer kullanım alanlarını yutmasından korkuyordu. Eski bir çalışanın hatırladığı üzere, ‘Sadece bir erotika şirketi olmak istemiyorduk.’
OpenAI güvenlik çalışanları, bu fikirleri 2021’in sonlarında şirketin ilk içerik politikalarından bazılarına dönüştürdü. OpenAI ilk kez erotik içeriği yasakladı.
OpenAI, 2022 sonbaharında ChatGPT’yi yayımladığında, ona güç veren yapay zekâ modeli, şirketin kurallarını ihlal eden talepleri — yapay zekâ erotikası isteyenler de dâhil — reddetmesi için eğitilmişti. Ve o zamandan bu yana OpenAI’nin politikası erotik içeriği yasaklamak oldu; ancak şirket 2024 ortasından beri, erotika ve diğer NSFW, yani iş ortamına uygun olmayan, içeriğe ‘yaşa uygun bağlamlarda’ nasıl izin verilebileceğini araştırdığını söylüyor.
Zaman zaman çalışanlar erotika yasağını sorguladı. 2024’te OpenAI çalışanları ve yöneticilerinden oluşan bir hizip bir kez daha daha müstehcen içeriklere girme fikrini gündeme getirdi ve pornografiyle bağlantılı bir ürünler demeti önerdi. Başka çalışanlar buna itiraz etti; OpenAI’nin, özellikle kullanıcılarının ruh sağlığı konusunda, güvenli biçimde sunmak istedikleri temel alanların birçoğunda zaten zorlandığından korktuklarını söylediler. Yapay zekâ pornosu ürün fikirleri sönümlendi.
Altman da yapay zekâ erotikası konusunda çelişkili duygular dile getirdi. Ağustosta bir podcast’te, ‘dünya için en iyisi olan ama kazanmak için en iyisi olmayan’ kararlar verip vermediği sorulduğunda Altman şu yanıtı verdi: ‘Henüz ChatGPT’ye bir sex bot avatarı koymadık.’
Altman, erotikanın büyümeyi ve geliri artıracağını belirtti, ancak bunun şirketinin kullanıcılara hizmet etme yönündeki uzun vadeli teşvikiyle uyumlu olmayacağını söyledi. Altman, ‘Şirketle ve bununla ne kadar az dikkatimizin dağıldığıyla gurur duyuyorum’ dedi. ‘Ama bazen ayartılıyoruz.’
İki ay sonra, Altman görünüşe göre ayartıya yenik düştü. X’te, şirketinin sohbet botlarıyla bağlantılı ciddi ruh sağlığı meselelerini hafifletmeyi başardığını ve içeriği denetlemek için yeni araçlara sahip olduğunu yazdı. İşte o zaman şirketinin Aralık ayında erotikayı devreye sokacağını söyledi.
Şirket içinde, Altman’ın paylaşımı OpenAI çalışanlarını ve yöneticilerini hazırlıksız yakaladı. Altman, paylaşımı hakkında çalışanlara bir şey söylememişti; bunu OpenAI’nin esenlik danışma konseyini duyurmasından yalnızca saatler sonra yapmıştı. Şirket o duyuruda, konseyin ‘her yaş için yapay zekâyla sağlıklı etkileşimlerin nasıl görünmesi gerektiğinin tanımlanmasına yardımcı olacağını’ söylemişti.
Ertesi gün Altman, ergenlere yönelik ruh sağlığı güvencelerinin azaltılmayacağını netleştirdi. Ancak yetişkinlerin sohbet botuyla daha baharatlı konuşmalar yapmasına izin verme konusunda da geri adım atmadı.
Altman, ‘Dünyanın seçilmiş ahlak polisi değiliz’ diye yazdı. ‘Toplumun diğer uygun sınırları nasıl ayırt ettiğine benzer biçimde (örneğin R-rated filmler), burada da benzer bir şey yapmak istiyoruz.’
Altman’ın duyurusundan sonra, OpenAI çalışanları Aralık ayında bir lansmanın gerçekleştirilmesinin zor olacağını kısa süre içinde fark etti. Şirket, yetişkin modunu yayımlamadan önce kullanıcıların yaşlarını tahmin edecek bir sistemi devreye sokma sözü vermişti; böylece küçüklerin erotik cinsel sohbetleri tetiklemesini engelleyebilecekti. Ancak OpenAI uygulamalarının icra kurulu başkanı Fidji Simo’nun Aralık ayındaki bir podcast röportajında söylediğine göre şirket, doğruluğunu artırmak amacıyla bu sistemi yavaş bir biçimde kullanıma sunmaya karar verdi.
Ancak o zamandan beri yapay zekâ erotikası konusundaki iç ve dış kaygılar büyüyüp kaldı. Kimi çalışanlar, örneğin çocuk istismarı gibi yasak içerikleri kilitleyip dışarıda tutmak bakımından OpenAI’nin güvenlik araçlarının hazır olduğunu düşünmediklerini söyledi. Konuya aşina kişilerin aktardığına göre başkaları ise OpenAI’nin, insanları modellerine bağlamaya çalışmak için finansal teşviklere boyun eğdiğini söyledi.
OpenAI son haftalarda hızla değişen yapay zekâ piyasası nedeniyle yoğun durumdaydı. Şubat ayının başlarında şirket, large language model’inin yeni bir sürümünü yayımladı ve ay sonunda Savunma Bakanlığı rakip Anthropic ile çalışmayı bırakacağını söyledikten hemen sonra Pentagon’la bir anlaşma imzalamak üzere hızlı davranıp öne geçti.
Şirket, yetişkin modunun ertelendiğini duyururken bunun yerine ChatGPT’nin kişiliği ve sohbet botunun kullanıcılar için kişiselleştirilmesi gibi şeylere odaklanacağını söyledi. Şirket içinde yetkililer, yetişkin modunun ertelenmesinin en az bir ay olabileceğini söyledi.
Şirket, ‘Yetişkinlere yetişkin gibi davranma ilkesine hâlâ inanıyoruz’ dedi, ‘ama deneyimi doğru hâle getirmek daha fazla zaman alacak.’
Geri bildirim: Muhaberat Evirileri — özel sayfa | 🦋🤖 YERSİZ ŞEYLER