Data Department, bir mobil oyun stüdyosu için ilk gün oyuncu kaybı (churn) tahmin modeli geliştirdi. Model, yeni oyunculardan hangilerinin ilk günden sonra oyunu bırakma ihtimalinin yüksek olduğunu tahmin ediyor. Model 0,82 AUC (area under the curve, eğri altındaki alan) değerine ulaştı. Paylaştığımız tek sonuç budur.
Karar neydi?
Mobil oyunlar oyuncularının önemli bir kısmını çok erken kaybeder. Genel olarak yeni bir oyuncu, oyuna geri dönmeye değip değmeyeceğine ilk gün karar verir. Oyunu bırakacak oyuncuları erkenden fark eden bir stüdyo, oyuncu henüz oyundayken harekete geçebilir: Örneğin oyuna giriş akışını, zorluk seviyesini ya da yeni oyuncuya gösterilen teklifleri değiştirebilir.
Bu çalışmanın sorusu basitti: Yeni oyuncuların ilk davranışlarına bakarak, ilk günden sonra hangi oyuncuların geri dönmeyeceği kullanılabilir bir güvenilirlikle tahmin edilebilir mi?
Ne geliştirdik?
Her yeni oyuncuya ilk günden sonra oyunu bırakma riski atayan bir sınıflandırma modeli geliştirdik. Burada oyuncu kaybı, oyunu oynamayı bırakan oyuncu anlamına geliyor. Çıktı, en yüksek riskli oyuncuların en üstte yer aldığı sıralı bir listedir.
Bu tür modeller genellikle nasıl kurulur? Aşağıdaki tablo, ilk gün oyuncu kaybı modellerinin genel yapısını anlatır. Bu stüdyonun verisinin ya da değişkenlerinin tarifi değildir.
| Adım | Genellikle ne yapılır |
|---|---|
| Kaybı tanımlamak | "Geri dönmedi" ifadesinin tam olarak neyi ve hangi süreyi kapsadığı netleştirilir |
| Erken sinyalleri toplamak | Yeni oyuncunun ilk oturumda ya da ilk gün yaptıkları kullanılır |
| Eğitmek ve doğrulamak | Model geçmiş oyuncularla eğitilir, hiç görmediği oyuncularla test edilir |
| Sıralama kalitesini ölçmek | Bırakanları kalanlardan ne kadar iyi ayırdığını gösteren AUC raporlanır |
| Aksiyonu belirlemek | Stüdyonun yüksek riskli oyuncular için neyi farklı yapacağı kararlaştırılır |
0,82 AUC ne anlama geliyor?
AUC, eğri altındaki alan demektir. Bir modelin kişileri riske göre ne kadar iyi sıraladığını 0,5 ile 1,0 arasında bir ölçekte gösterir.
- 0,5, modelin rastgele tahminden daha iyi olmadığı anlamına gelir.
- 1,0, modelin oyunu bırakan herkesi kalan herkesten daha riskli gösterdiği anlamına gelir; gerçek davranış verisinde bu neredeyse hiç görülmez.
- 0,82 ise şu demektir: Oyunu bırakan bir oyuncu ile kalan bir oyuncuyu rastgele seçtiğinizde, model yaklaşık %82 olasılıkla bırakan oyuncuya daha yüksek risk puanı verir.
0,82 AUC, erken sinyallerin kimin ayrılacağı hakkında gerçek bilgi taşıdığını gösterir. Ancak bu değer tek başına stüdyonun ne kadar gelir ya da oyuncu tutma kazanımı elde edeceğini göstermez. Bu, stüdyonun puanlarla ne yapacağına bağlıdır ve bu çalışmanın kapsamı dışındaydı.
Sonuçlar
- İlk gün oyuncu kaybı modeli için 0,82 AUC.
Bu proje için oyuncu tutma, gelir ya da etkileşim artışı raporlamıyoruz, çünkü bunlar ölçülmedi. Oyuncuları iyi sıralayan bir model bir başlangıç noktasıdır, iş sonucu değildir.
Çıkardığımız dersler
Bu dersler, müşteri kaybı projelerine genel yaklaşımımızdan geliyor.
İyi bir skor henüz bir karar değildir. Oyuncuları riske göre sıralamak, ancak bu sıralamaya göre aksiyon alındığında değer üretir. Genel olarak böyle bir modelden sonraki adım, yüksek riskli oyunculara yönelik bir aksiyonu kontrol grubuyla test etmektir.
Ölçülen metriği olduğu gibi raporlayın. AUC sıralama kalitesini anlatır; ölçmediğimiz bir gelir iddiasına dönüştürmüyoruz. Ayrıntılar için talep tahmini doğruluğu neden tek başına yeterli değildir yazımıza ve müşteri kaybı (churn) tahmini sayfamıza bakabilirsiniz.
Sık sorulan sorular
Mobil oyun oyuncu kaybı modeli ne sonuç verdi?
İlk gün oyuncu kaybı modeli 0,82 AUC (eğri altındaki alan) değerine ulaştı. Başka bir sonuç ölçülmedi.
0,82 AUC sade bir dille ne anlama gelir?
Oyunu bırakan bir oyuncu ile oyunda kalan bir oyuncu rastgele seçildiğinde model, yaklaşık %82 olasılıkla bırakan oyuncuya daha yüksek risk puanı verir.
Model oyuncu tutma oranını artırdı mı?
Bu yönde bir iddiada bulunmuyoruz. Bu çalışma, modelin puanlarına göre harekete geçmenin etkisini değil, oyuncuları ne kadar iyi sıraladığını ölçtü.