Ücretsiz yapay zeka (AI) hizmetlerini kullananlar, önemli bir avantaj elde etmiş oluyor. Microsoft, Google ve Anthropic gibi şirketler, bu hizmetlerin temelini oluşturan Büyük Dil Modellerini (LLM) geliştirmek için yüz milyarlarca dolar yatırım yaptı. Bu nedenle, ChatGPT, Claude veya Gemini gibi yapay zeka araçlarından konuşma veya tatil planlaması gibi konularda yardım almak oldukça ekonomik bir seçenek olarak görülüyor.
Ancak, bu şirketler yaptıkları yatırımları geri kazanmak istiyor ve bu doğrultuda ekstra özellikler sunan ücretli sürümlerini piyasaya sürüyor. Bu ücretli sürümler, kodlama veya faturalama gibi özel görevler için kullanılabiliyor. Diğer yandan, LLM'ler üzerine kurulu, belirli görevleri yerine getirmek üzere eğitilmiş yapay zeka ajanlarını kullanan üçüncü taraf firmalar da hizmetler sunuyor.
Bu hizmetler için fiyat belirlemek ise beklenenden daha zorlu bir süreç olarak karşımıza çıkıyor. Kimlik yönetim şirketi Saviynt'ten Simon Gooch, "Önümüzdeki 12 ay, iki yıl, üç yıl için bir maliyet modeline insanları bağlamaya çalışmak dürüst olmak gerekirse anlamsız, çünkü ne olacağını bilmiyoruz" diyor. Gooch, bu zorluğun temel nedeninin, LLM'lerin ve ajan yapay zekanın temel yapı taşları olan 'token'lar etrafındaki hızla değişen ekonomi olduğunu belirtiyor.
Bir kullanıcı, ChatGPT veya Anthropic'in Claude'u gibi bir LLM'den bir soruya yanıt vermesini, yazılım kodu üretmesini veya bir süreci otomatikleştirmesini istediğinde, bu komut 'token' adı verilen matematiksel parçalara ayrılıyor. LLM'nin yanıtı da tokenlar şeklinde geliyor ve bunlar metin, yazılım kodu veya bir süreci otomatikleştirmek için komut setlerine dönüştürülüyor. Ancak bu süreç tam olarak öngörülebilir değil; komuttaki küçük değişiklikler farklı sonuçlar doğurabiliyor.
Ajan sistemlerinde ise şirketler, karar vermek ve eyleme geçmek için birden fazla yapay zeka ajanını bir arada kullanıyor. Bu durum, hem token kullanımını hem de öngörülemezliği artırıyor. Goldman Sachs analizine göre, son yıllarda bireysel tokenların maliyeti düşmüş olsa da, şirketler ve tüketiciler tarafından tüketilen token miktarı katlanarak arttı. Banka, şirketlerin yapay zeka ajanlarını kullanmaya yönelmesiyle birlikte, 2026 ile 2030 yılları arasında aylık harici token tüketiminin 24 kat artarak 120 katrilyon tokena ulaşacağını öngörüyor.
Yapay zeka sistemlerini kullanan şirketler ve bireyler, genellikle ne kadar token harcadıklarının tam olarak farkında olmuyorlar; ta ki tokenları tükenene veya aylık faturalarını alana kadar. Hatta Microsoft'un mühendislerinin bazı üçüncü taraf kodlama araçlarını kullanmasını kısıtladığı, Uber'in ise bu yılın başlarında bir yıllık yapay zeka kodlama token bütçesini birkaç ayda tükettiği rapor ediliyor.
London School of Economics'ten Dijital İnovasyon ve Bilgi Sistemleri Doçenti Will Venters, şirketlerin yapay zekayı dahili olarak denerken veya uygularken, personelin tokenları hızla tüketmesiyle beklenmedik durumlarla karşılaşabileceğini belirtiyor. Venters, "İnsanlar bu maliyeti yönetmekte gerçekten zorlanıyorlar... çıktı belirlenmemiş olduğu için değeri de belirlenmemiş oluyor" diyor.
Şirketler bu duruma çözümler bulmaya çalışıyor. Mühendislik yazılım firması smartR AI'ın kurucusu Oliver King-Smith, daha küçük kuruluşların "gözden uzak kalabildiğini ve [sabit ücretli] kişisel hesapları kullanabildiğini, ki bunun büyük satıcıların hoşuna gitmediğinden eminim" ifadesini kullanıyor. Ancak King-Smith, "Bu durumun bir noktada sona ermesi gerekiyor, çünkü büyük oyuncular bu hesaplardan zarar ediyor" diye ekliyor. Büyük yapay zeka platformları, hissedarlara kar gösterme baskısı hissetmeye başladığında, "kısıtlamalara başlayacaklar" tahmininde bulunuyor.
King-Smith, şirketlerin hangi yapay zeka modellerini kullanacakları konusunda daha dikkatli düşünmeleri gerektiğini söylüyor. İngiltere merkezli muhasebe yazılım firması iplicit'in CFO'su Rob Steele, şirketlerin komutlarını daha kesin bir şekilde vermeleri gerektiğini belirtiyor. Steele, "Ailedeki birini, alışveriş sepetinde ne beklediğinize dair ayrıntılı talimatlar olmadan haftalık alışverişe gönderir misiniz?" diye soruyor.
Venters, şirketler yapay zekayı binlerce kullanıcıya sunulabilecek bir ürüne entegre ettiğinde durumun kontrol altına alınmasının zorlaşabileceğine dikkat çekiyor. Yapay zeka maliyetleri hızla artmaya başlayabilir. Örneğin, yöneticiler tokenlara yalnızca temel yazılım geliştirme için değil, aynı zamanda test, güvenlik veya koruyucu önlemlerin uygulanması gibi diğer görevler için de ihtiyaç duyabileceklerini fark edebilirler.
Venters, "Özellikle ajan süreçlerine bakıldığında bu durum daha da zorlaşıyor" diyor. Daha fazla yapay zeka ajanı istihdam etmek tek bir tıklamayla yapılabilirken, insan gücünü genişletmek istihdam ve işe alım konusunda dikkatli tartışmalar gerektiriyor.
Venters, token maliyetleri öngörülemese de, şirketin nihayetinde yapay zeka ile token kullanımından daha fazla değer elde edebileceğini belirtiyor. "Bu tam olarak...
