Bir yapay zeka denetim aracının doğruluğunu belirleyen şeyin model kalitesi olduğunu düşünürsünüz. Kendi verimizde yaptığımız ölçüm bunun yanlış olduğunu gösterdi. Belirleyici olan, ona şirketinizi nasıl anlattığınız.
Deney
739 gerçek görevi iki kez sınıflandırdık. Model aynı, boru hattı aynı, veri aynı. Değişen tek şey şirketin faaliyet alanını anlatan metindi.
Birinci tanım kısaydı. Ürün adlarını ve genel faaliyeti sayıyordu.
İkinci tanım neyin şirket işi sayıldığını açıkça listeliyordu: ürün yazılımı, sunucu altyapısı, pazarlama, satış kanalı entegrasyonları, rakip analizi, ürün kalite testleri, iç geliştirme araçları.
| Dar tanım | Geniş tanım | |
|---|---|---|
| İş dışı işaret sayısı | 16 | 1 |
| Elle doğrulamada yanlış pozitif | ~13 | 0 |
| Kabaca isabet oranı | %19 | — |
Dar tanımla üretilen 16 işaretin her birinin gerçek metnine baktık. Sonuç rahatsız ediciydi.
Sınıflandırıcı neyi neden yanlış anladı
Rakip analizini "kişisel proje" sandı
Bir rakip ürünü inceleyip "aynısını nasıl yaparız" diye sormak, dışarıdan bakınca kişisel bir merak gibi görünür. Oysa bu, ürün ekibinin en rutin işlerinden biridir.
Dar tanımda "rakip analizi" kelimesi geçmiyordu. Model, elindeki tanımla tutarlı davrandı ve şirket işi olmadığına karar verdi.
Pazaryeri entegrasyonunu "freelance" sandı
Bir e-ticaret pazaryerinin ürün reddi hatasını çözmek, o pazaryerinde satış yapan bir şirket için doğrudan iştir. Tanımda satış kanalları yazmıyordu; model bunu dışarıdan alınmış bir iş sandı.
Kendi geliştirme araçlarını "kişisel proje" sandı
Ekibin kendi iş akışını hızlandırmak için yazdığı araçlar, doğrudan ürün kodu olmadıkları için kolayca "yan proje" görünür. Tanımda iç araçlar sayılmadığında model bunları şirket dışı saydı.
Ürün kalite testini "sohbet" sandı
Ürünün ürettiği bir görselin kıyafeti doğru gösterip göstermediğini tartışmak, dışarıdan bakınca gündelik bir konuşmadır. Aslında ürün testidir. Tanım bunu söylemediği için model eğlence kategorisine koydu.
Bu dört örneğin ortak noktası şu: hepsi bir çalışanı haksız yere suçlayabilecek işaretler. Bir denetim aracının üretebileceği en kötü çıktı, yanlış suçlamadır. Bir kere yaşandığında araç bir daha açılmaz ve o şirkette AI governance konusu kapanır.
İyi bir şirket tanımı nasıl yazılır
Tanımı bir metin kutusuna yazılan slogan gibi değil, bir kural seti gibi düşünün.
Ürünleri sayın, ama orada durmayın
"Yazılım şirketiyiz" hiçbir şey söylemez. "acme.com adlı B2B saha servis yazılımı" bir şey söyler. Ama asıl fark, ürünün etrafındaki işleri saymakta.
Kenar faaliyetleri açıkça yazın
Deneyimimizde en çok yanlış pozitif üreten altı alan şunlar:
- Rakip analizi ve pazar araştırması — "rakip ürünleri inceleme, nasıl çalıştığını anlama şirket işidir"
- Satış kanalları ve entegrasyonlar — pazaryerleri, ödeme sağlayıcıları, kargo firmaları
- İç geliştirme araçları ve otomasyonlar — ekibin kendi verimliliği için yazdığı her şey
- Ürün kalite testleri — ürünün çıktısını değerlendirme konuşmaları
- Altyapı ve operasyon — sunucu, veritabanı, yedekleme, DNS, sertifika
- Pazarlama ve içerik — SEO, blog, sosyal medya, reklam
Sektör terminolojisini içeri alın
Bir moda teknolojisi şirketinde kumaş, kalıp ve beden konuşmaları iş konuşmasıdır. Bir sağlık teknolojisi şirketinde tıbbi terimler iş konuşmasıdır. Tanım bunu söylemezse model kişisel merak sanır.
Kararsızlık yönünü belirtin
Tanımın sonuna şu cümleyi ekleyin: "Teknik bir iş yukarıdaki alanlardan birine değiyorsa şirket işi say. Şirket dışı demek için açık bir sinyal ara."
Bu tek cümle, modeli suçlama tarafında değil, temkinli tarafta hata yapmaya iter. Bir denetim aracında doğru yanlılık budur.
Tanımınızı yazdıktan sonra şu testi yapın: yeni işe başlayan bir çalışan bu metni okuyup "hangi işler şirket işi" sorusunu doğru cevaplayabilir mi? Cevaplayamıyorsa model de cevaplayamaz.
Neden bunu otomatikleştirmiyoruz
Makul bir soru: şirketin ne yaptığını web sitesinden çıkarıp tanımı otomatik yazamaz mıyız?
Yazabiliriz, ama yazmamalıyız. Şirket tanımı aynı zamanda bir sorumluluk beyanıdır. "Şu işler şirket işi sayılır" cümlesini yöneticinin kendisi kurmalı, çünkü bir çalışan bir işaretin haksız olduğunu söylediğinde tartışılacak metin odur.
Otomatik üretilmiş bir tanım, kimsenin sahiplenmediği bir tanımdır.
Geri bildirim döngüsü
Ürün yol haritamızdaki en öncelikli madde bu: bir yönetici işareti "bu aslında şirket işi" diye işaretlediğinde, bunun kalıcı bir kapsam kuralına dönüşmesi.
Böylece tanım zamanla şirkete özgü hale gelir ve aynı yanlış pozitif iki kez üretilmez. Şu an bu döngü manuel — tanımı düzenleyip raporu yeniden almanız gerekiyor.
Özet
- Doğruluğu belirleyen model değil, tanım.
- Dar tanım, iyi niyetli çalışanları suçlayan işaretler üretir.
- Kenar faaliyetleri açıkça saymak yanlış pozitiflerin çoğunu ortadan kaldırır.
- Tanımı yönetici yazmalı; otomatik üretilmiş tanımın sahibi olmaz.
Ölçümün tamamı ve diğer bulgular 739 görevi ölçtük yazısında. Ölçümün ikinci kırılgan noktası olan bağlamsız istemler için devam demenin faturası yazısına bakabilirsiniz.