Yapay zekâ projeleri ilk modelden sonra çoğunlukla modelin çevresindeki işlerin sahibi olmadığı için durur: karar, veri akışı, entegrasyon ve izleme. İstanbul merkezli uygulamalı makine öğrenmesi danışmanlığı Data Department, operasyon ve BT (bilgi teknolojileri) yöneticilerinin bu dört sorumluluğu canlıya almadan önce planlamasına destek olur; böylece çalışan bir model, haftalık bir kararın parçası hâline gelir.
Duran bir yapay zekâ projesi nasıl görünür?
Sektörde sık görülen tipik bir örnek şöyledir. Model mart ayında teslim edilir. Testlerde doğruluk beklendiği gibidir, gösterge paneli beğenilir ve yönlendirme komitesi onay verir. Haziran ayına gelindiğinde ise modeli kullanan kimse kalmamıştır.
Modelde bir sorun yoktur. Projeyi sahiplenen planlama uzmanı başka bir göreve geçmiştir. Haftalık veri güncellemesinin sahibi olmadığı için girdiler fark edilmeden eskimiştir. Öneriler, siparişlerin girildiği ERP (kurumsal kaynak planlama) sisteminde değil, ayrı bir ekranda durmaktadır. Birkaç tutarsız öneriden sonra kullanıcılar Excel tablolarına dönmüştür. Kullanım ölçülmediği için bu durumu fark eden de olmamıştır.
Bu etkenlerin hiçbiri model değerlendirmesinde görünmez; ancak projenin kendini amorti edip etmeyeceğini belirleyen tam olarak bu etkenlerdir.
Bu durum yaygındır. Gartner, 2024 yılında üretken yapay zekâ projelerinin en az %30'unun 2025 sonuna kadar kavram kanıtı aşamasından sonra bırakılacağını öngörmüş; gerekçe olarak düşük veri kalitesini, yetersiz risk kontrollerini, artan maliyetleri ve belirsiz iş değerini göstermiştir (Gartner, 2024). Bu dört gerekçeden yalnızca biri doğrudan modelle ilgilidir.
Darboğaz model mi?
Çoğu zaman değildir. Her birkaç haftada bir yeni model yayımlanmaktadır ve iş problemlerinin büyük kısmı için yeterli bir yöntem zaten mevcuttur. Asıl zaman alan işler başka yerdedir: doğru veriye erişmek, iyi bir sonucun ne olduğu konusunda anlaşmak ve çıktının hangi sisteme gideceğine karar vermek.
Sıklıkla gözden kaçan bir nokta daha vardır: Bir modeli kurabiliyor olmanız, o modelin kurulmaya değer olduğu anlamına gelmez. Bir fabrikada her makine için arıza tahmin modeli kurmak teknik olarak çoğu zaman mümkündür. Asıl soru, arızayı birkaç gün önceden bilmenin hangi kararı değiştireceğidir. Yedek parça stokta değilse, bakım ekibi planı öne çekemiyorsa veya duruşun maliyeti modeli kurma, izleme ve süreci değiştirme maliyetini karşılamıyorsa, model ne kadar doğru olursa olsun kendini amorti edemez.
Çalışan modeller neden kullanılmaz hâle gelir?
Deneyimimize göre nedenler altı grupta toplanır. Her birinin, canlıya almadan sonraki ilk haftalarda kontrol edilebilecek bir erken işareti vardır.
| Neden | Erken işaret | Canlıya almadan önce yapılması gereken |
|---|---|---|
| Kararın sahibi yok | Çıktı "bilgi amaçlı" olarak paylaşılıyor | Çıktıya göre her hafta işlem yapacak bir yönetici |
| Veri akışının sahibi yok | Girdiler güncellenmiyor ve kimse haberdar edilmiyor | Adı belli bir sorumlu, güncelleme takvimi ve uyarı mekanizması |
| Çıktı iş akışının dışında | Ayrı bir pano veya dosya | Sonuçların ERP, planlama veya CRM (müşteri ilişkileri yönetimi) sistemine yazılması |
| İlk hatalardan sonra güven kaybı | Kullanıcılar önerileri sessizce değiştiriyor | Kısa bir paralel çalışma dönemi ve her çıktı için anlaşılır bir açıklama |
| Kullanım ölçülmüyor | Modeli kimin kullandığı bilinmiyor | Aylık olarak gözden geçirilen bir kullanım kaydı |
| Model kayması fark edilmiyor | Hata aylar içinde yavaş yavaş artıyor | Hata ve girdi verisinin izlenmesi, gözden geçirmeden sorumlu bir kişi |
Canlıya almadan önce hangi dört sorumlu belirlenmelidir?
Bir model canlıya alınmadan önce dört metrik yerine dört kişinin adını belirlemenizi öneririz:
- [ ] Karar sahibi: Çıktıya göre her hafta kim işlem yapacak?
- [ ] Veri sorumlusu: Veri akışı kesildiğinde sorunu kim giderecek?
- [ ] İzleme sorumlusu: Model kaymasını ve kullanımı kim, hangi sıklıkla takip edecek?
- [ ] Müdahale sorumlusu: Bir kullanıcının modelin önerisini değiştirmesine kim karar verecek ve bu değişiklik nasıl kaydedilecek?
Bu dört sorunun herhangi birinin cevabı "proje ekibi" ise, model büyük olasılıkla proje ekibi ayrıldığında kullanılmaz hâle gelecektir. Sorumluların bir yıl sonra da şirkette görev yapacak kişiler olması gerekir.
Yalnızca doğruluk değil, kullanım nasıl ölçülür?
Model doğruluğu bir ara göstergedir. Kullanımın da proje başında üzerinde anlaşılan kendi ölçüleri olmalıdır:
- Kullanım oranı: Kapsamdaki kararların ne kadarının modelin çıktısı kullanılarak verildiği.
- Müdahaleler: Kullanıcıların öneriyi ne sıklıkla değiştirdiği ve bu değişikliklerin daha iyi sonuç verip vermediği.
- İş sonucu: Mali işler veya operasyon ekibinin zaten takip ettiği gösterge; örneğin stok taşıma maliyeti, bekleme süresi veya marj.
Projeyi haklı kılan üçüncü ölçüdür ve bu ölçü ancak ilk ikisi sağlıklı olduğunda iyileşir. Bir otomotiv dağıtım grubuyla yürüttüğümüz projede, eski yönteme göre yaklaşık %30 daha iyi tahmin doğruluğu elde edildi; ancak yaklaşık %10 daha düşük stok taşıma maliyeti, olasılıksal tahminler stok kararlarına yansıtıldığı için gerçekleşti (proje detayı). Bu farkı talep tahmini doğruluğu neden tek başına yeterli değildir yazımızda ayrıntılı olarak ele aldık.
Kullanımda kalan bir proje nasıl kurgulanır?
Böyle bir proje en baştan tek bir karar etrafında kurulur; bu yaklaşımı üretimde ilk yapay zekâ projesinin nasıl seçileceğini anlattığımız yazıda açıkladık. Pilot aşamasının bir bitiş tarihi, ilk gün üzerinde anlaşılan bir iş metriği ve sonrası için yazılı bir planı bulunur: barındırma, izleme, entegrasyon ve sistemi sahiplenecek ekibin eğitimi.
Böyle bir proje kurum içinde yetkinlik de bırakır. Bir teknoloji grubunda dört ekibe model yaşam döngüsünün tamamında mentorluk yaptık ve 30 kişiyi aşan bir yapay zekâ bölümünün kurulmasına destek verdik; 7 sektörde 20'den fazla model geliştirildi (proje detayı). Modellerin kullanımda kalması, onları işleten kişilerin danışmanlık firmasında değil, şirketin içinde olmasına bağlıdır.
Çalışan ancak kullanılmayan bir modeliniz varsa, altı nedenden hangisinin geçerli olduğunu ücretsiz 30 dakikalık yapay zekâ fırsat değerlendirmesinde birlikte inceleyebiliriz. Danışman seçimi aşamasındaysanız yapay zekâ danışmanı seçerken sorulacak sorular yazımız da yararlı olabilir.
Sık sorulan sorular
Yapay zekâ projeleri kavram kanıtından sonra neden başarısız olur?
Projelerin çoğu modelleme aşamasında değil, kullanım aşamasında başarısız olur. En sık görülen nedenler kararın sahibinin olmaması, veri akışının bakımsız kalması, çıktının kullanıcıların çalıştığı sistemlerin dışında kalması ve kullanımın ölçülmemesidir.
Canlıdaki bir yapay zekâ modelinin sahibi kim olmalıdır?
Barındırma ve veri konularında BT desteğiyle, kararın sahibi olan yönetici. Yalnızca veri ekibinin sahiplendiği modeller, bu ekip bir sonraki projeye geçtiğinde genellikle kullanılmaz hâle gelir.
Canlıya aldıktan sonra kullanım ne zaman gözden geçirilmelidir?
İlk ay boyunca kullanım ve müdahaleler haftalık, sonrasında aylık olarak kontrol edilmelidir. İş metriği ise her planlama döneminin sonunda, örneğin üç ayda bir gözden geçirilmelidir.
Yeni bir model yayımlandığında geçiş yapmalı mıyız?
Yalnızca kendi gerçek örneklerinizden oluşan test setinde daha iyi sonuç veriyorsa. Model değiştirmek kullanım sorunlarını nadiren çözer; çünkü bu sorunların kaynağı sahiplik, veri ve entegrasyondur.