metodoloji
Bu etikete sahip 5 yazı.
Ölçüm
739 gerçek görevi sınıflandırdık — çıkan tablo beklediğimiz gibi değildi
Kendi yapay zeka kullanımımızı görev bazında ölçtük. En değerli bulgu iş dışı kullanım değil, sızmış üretim anahtarları oldu.
Ölçüm
Bağlamsız istemler faturanın üçte biri
Ölçtüğümüz istemlerin %42'si tek başına anlamsızdı ama token yakıyordu. Ayrı sayılınca faturanın üçte biri "bilinmiyor" kovasına düşüyor.
Güvenlik
Sır tespitini dil modeline bırakmayın — 7'ye 4 farkı
Aynı veride desen taraması 7 sızmış kimlik bilgisi buldu, dil modeli 4'ünü fark etti. Aktif üretim anahtarını sıradan iş sandı.
Ölçüm
Yanlış pozitiflerin tek büyük sebebi — şirket tanımınız
Aynı veri, aynı model, iki farklı şirket tanımı. Sonuç 16 işaretten 1 işarete düştü. Denetimin en kırılgan noktası burası.
Ölçüm
Neden oturum değil görev bazında ölçmelisiniz
Sekiz oturumdan 739 görev çıktı. Uzun bir yapay zeka oturumu tek bir konu değildir ve oturuma tek etiket vermek karışık kullanımı gizler.