Son birkaç yıldır spot ışıkları hep “üretken yapay zekanın yarattığı mucizevi verimliliğin” üzerindeydi. Ancak ışıklar biraz kısıldığında, masanın gölgede kalan tarafında sessizce biriken ve tam adı henüz konmamış bir “dijital tortu” göze çarpıyor.
Sektör, bu duruma çok manidar bir isim taktı bile: “Spaghetti Prompt.”
Token ekonomisindeki gizli vergi
Çok daha iyi bildiğiniz üzere, yapay zeka modelleri kelimelerle değil, “token”larla çalışıyor. Ve bu token ekonomisinde sadece output’a değil, input’a da para ödüyorsunuz.
Şirketlerin AI kullanım alışkanlıklarına baktığımızda ise şunu görüyoruz: Çalışanlar, yapay zeka araçlarını bir arama motoru rahatlığında kullanıyor. Bir pazarlama uzmanı veya bir yazılımcı, meramını anlatmak için sisteme sayfalarca doküman yüklüyor, context’i gereğinden fazla uzatıyor ve optimize edilmemiş, “geveze” bir istem gönderiyor.
Sonuç? Model belki doğru cevabı veriyor ama arka planda çalışan taksimetre, olması gerekenden 3-4 kat daha fazla yazıyor.
Eskiden kötü kod yazıldığında sistem yavaşlardı. Şimdi kötü prompt yazıldığında, şirket sessizce para kaybediyor. “Optimize edilmemiş her prompt, bulut faturasına eklenmiş gizli bir vergi” olarak yansıyor.
“Çıkarım” maliyetleri eğitimi geçiyor
Yapay zeka yatırımlarında ilk başta model eğitimi maliyetlerine odaklanıldı. Oysa son raporlar, asıl maliyet bloğunun “Inference” tarafına, yani modelin günlük kullanımına kaydığını gösteriyor.
Şirketinizde, günde binlerce kez tekrarlanan o küçük, verimsiz sorguları düşünün. Tıpkı damlayan bir musluk gibi. Tek başına önemsiz görünebilir, ama ay sonunda havuzu doldurmaya yetiyor.
Burada asıl tehlike, “spaghetti prompt”ların yarattığı teknik borç. Eğer ekipleriniz promptları bir mühendislik disipliniyle değil de deneme-yanılma yöntemiyle, kopyala-yapıştır yaparak oluşturuyorsa; gelecekte model değiştirmek istediğinizde veya maliyetleri kısmak istediğinizde elinizde yönetilemez bir yığın kalabilir.
Ferrari ile bakkala gitmek
Model seçimi konusundaki bonkörlük de bir başka konu. Herkes en yeni, en güçlü, en “akıllı” modeli kullanmak istiyor. GPT-4, Claude 3 Opus gibi devasa modeller… Peki, basit bir e-posta sınıflandırması veya metin özeti için gerçekten bu “ağır siklet” modellere ihtiyaç var mı?
IT liderleri için burada “model routing” önem kazanıyor. Zor soruları pahalı modele, rutin işleri ucuz modele yönlendiren bir mimari… Ancak bunu yapabilmek için önce, içerideki “dijital gevezeliğin” boyutunu ölçmek gerekiyor. Çünkü bu, IT bütçesini doğrudan etkileyen bir “kaynak yönetimi” sorunu.