Yapay zeka kullanımını ölçen araçların çoğu konuşma veya oturum sayısı raporlar. Bu birim yanlış ve neden yanlış olduğunu kendi verimizde net biçimde gördük.
Sekiz oturum, 739 görev
Ölçüme oturum bazında başladık. Elimizdeki kayıtlarda sekiz oturum vardı. Sekiz veri noktasıyla anlamlı bir dağılım çıkarılamaz.
Ama asıl sorun sayı azlığı değildi.
Uzun oturum tek konu değildir
Modern yapay zeka kullanımında bir oturum saatlerce, hatta günlerce açık kalabilir. O süre boyunca konu defalarca değişir.
Gerçek bir oturumun akışı şöyle görünür:
- Fatura modülündeki hesaplama hatası ayıklanıyor — şirket işi
- Sunucuda bir sertifika yenileniyor — şirket işi
- Bir tatil rotası soruluyor — iş dışı
- Tekrar koda dönülüyor — şirket işi
- Bir arkadaşın CV'sine bakılıyor — iş dışı
Bu oturuma tek bir etiket verirseniz iki şeyden biri olur: ya iş dışı kısımlar tamamen kaybolur (çoğunluk şirket işi olduğu için oturum "iş" etiketi alır), ya da tüm oturum haksız yere iş dışı işaretlenir.
İkisi de yanlış. Birincisi ölçümü işe yaramaz kılar, ikincisi çalışanı haksız yere suçlar.
Karışık oturum istisna değil, kuraldır. İnsanlar çalışırken tek konuya kilitlenmez. Oturum bazlı ölçüm, bu gerçeği görmezden geldiği için sistematik olarak yanlış sonuç üretir.
Doğru birim: görev
Bir görev, tek bir kullanıcı istemi ve onu yanıtlamak için harcanan tüm kaynaklardır.
Kullanıcı bir şey ister. Model çalışır, araçlar çağırır, dosya okur, kod yazar. Bir sonraki kullanıcı istemine kadar harcanan her token o göreve aittir.
Bu tanım iki şeyi aynı anda çözer:
Konu ayrımı. Her istem kendi konusuna sahiptir. Karışık oturum, doğru sınırlarından parçalanır.
Maliyet atfetme. Token maliyeti onu tetikleyen isteme yazılır. "Bu iş dışı konuşma şirkete kaça patladı" sorusunun cevabı doğrudan hesaplanabilir hale gelir.
Görev bazının kendi tuzağı
Görev bazına indiğinizde yeni bir sorunla karşılaşırsınız: istemlerin büyük bölümü tek başına anlamsızdır.
Ölçümümüzde görevlerin %42'si "devam", "evet", "tamam" gibi bağlamsız istemlerdi. Bunlar konu taşımaz ama token yakar.
Bu sorunun çözümü ve neden önemli olduğu ayrı bir yazının konusu: "devam" demenin faturası.
Uygulamada dikkat edilecekler
Sentetik istemleri ayıklayın
Yapay zeka istemcileri, kullanıcı rolüyle makine üretimi metinler enjekte eder. Araç sonuçları, sistem hatırlatmaları, dosya bağlamları, komut çıktıları.
Bunlar kullanıcı istemi değildir ve sınıflandırılırsa saçma sonuçlar üretir. Kendi boru hattımızda somut bir örnek yaşadık: bir yetenek (skill) çağrıldığında o yeteneğin tüm tanım dosyası kullanıcı mesajı olarak kayda giriyordu. Sınıflandırıcı bunu okuyup yeteneğin konusunu çalışanın isteği sandı ve yanlış rapor üretti.
Filtrelemeden önce hangi metinlerin gerçekten insan tarafından yazıldığını belirleyin.
Sarmalayıcıları soyun, isteği atmayın
Bazı istemciler gerçek istemi bir etiket içine sarar. Örneğin editörün açık dosyasını bildiren bir bağlam etiketi, ardından kullanıcının gerçek cümlesi gelir.
Bu tür kayıtları tamamen atmak yanlıştır — içinde gerçek bir istem vardır. Sarmalayıcıyı soyup kalan metni kullanın.
Ardışık görevleri bloklaştırın
Bir çalışan iş dışı bir konuda on tur konuştuysa, bu on ihlal değil bir olaydır. Raporda ardışık ve aynı kategorideki görevleri tek blok olarak gösterin.
"3 iş dışı blok, toplam 26 dolar" cümlesi bir yönetici için hem daha doğru hem daha kullanışlıdır. "31 iş dışı görev" cümlesi ise bir suçlama yığını gibi okunur ve tartışmayı yanlış zemine taşır.
Diğer araçları değerlendirirken
Bir AI kullanım analitiği aracına bakıyorsanız şu üç soruyu sorun:
- Ölçüm birimi nedir? Cevap "konuşma" veya "oturum" ise karışık kullanımı kaçırıyor.
- Kısa devam istemlerini nasıl ele alıyorsunuz? Cevap yoksa maliyetin önemli bir bölümü raporda görünmüyor demektir.
- Maliyeti neye göre atfediyorsunuz? Token verisi yoksa oran hesaplayamazlar; görev sayısına düşüp bunu açıkça söylemeleri gerekir.
Özet
- Oturum yanlış birimdir; uzun oturumlar birden çok konu içerir.
- Doğru birim görevdir: bir kullanıcı istemi artı onu yanıtlamak için harcanan kaynaklar.
- Görev bazı hem konu ayrımını hem maliyet atfetmeyi çözer.
- Bağlamsız devam istemleri ayrıca ele alınmalıdır.
- Sentetik ve makine üretimi metinler ölçümden ayıklanmalıdır.
Ölçümün tamamı ve diğer bulgular için 739 görevi ölçtük yazısına bakabilirsiniz.