ROC Eğrisi:

Klinik çalışma analizlerinde bir olayın öngörülmesi veya makine öğrenmesinde, öngörü performansını değerlendirmek kritik bir adımdır. Sınıflandırma modellerinin başarısını ölçmek için birçok yöntem bulunmaktadır; bunlardan biri de ROC (Receiver Operating Characteristic) eğrisidir. ROC eğrisi bir modelin performansını değerlendirmede güçlü bir araçtır. Bu yazıda, ROC eğrisinin ne olduğunu, nasıl çalıştığını ve uygulama alanlarını inceleyeceğiz.

ROC Eğrisi Nedir?

ROC eğrisi, bir sınıflandırma modelinin farklı eşik değerleri için duyarlılık (sensitivity) ve 1 - özgüllük (specificity) oranlarını karşılaştıran bir grafik olarak tanımlanabilir. Bu grafik, modelin performansını görsel olarak değerlendirmeyi sağlar.

• Duyarlılık (Sensitivity/True Positive Rate): Modelin doğru pozitif olan örnekleri doğru bir şekilde sınıflandırma oranıdır. Yani, doğru pozitiflerin (DP), toplam pozitifler [DP + YN] üzerindeki oranını ifade eder. Duyarlılık= DP/[DP + YN]
• Özgüllük (Specificity/True Negative Rate): Modelin doğru negatif olan örnekleri doğru bir şekilde sınıflandırma oranıdır. Yani, doğru negatiflerin (DN) toplam negatifler [DN + YP] üzerindeki oranı olarak tanımlanır. Özgüllük = DN/(DN + YP)

Eğri Altı Alan AUC (Area Under the Curve)

ROC eğrisinin altında kalan alan (AUC - Area Under the Curve), modelin genel performansını özetleyen önemli bir metriktir. AUC değeri 0 ile 1 arasında bir değere sahiptir:

• AUC = 1: Model mükemmel bir sınıflandırıcıdır.
• AUC = 0.5: Model, rastgele tahmin yapıyormuş gibi performans göstermektedir. Eğer yazı tura atarsak yüzde elli doğru bilmek ile aynı anlama gelir. (yani, sınıflandırma yapamıyor).
• AUC < 0.5: Modelin performansı kötü; aslında, negatif tahminleri pozitif gibi sınıflandırıyor demektir.

ROC Eğrisi Ne Zaman Kullanılır?

ROC eğrisi, genellikle aşağıdaki senaryolar için kullanılır:

• Bir olayı öngörmede bir değişkenin öngörü düzeyini göstermek için kullanılabilir: Örneğin, hastalık tespiti gibi kritik durumlarda, araştırdığımız değişkenin hastalığı ne kadar oranda doğru tespit ettiğini gösterir.
• Birden fazla değişkenden hangisinin olayı daha iyi öngördüğünü belirlemek için kullanılabilir: Eğri altı alanlar (AUC) değişkenlerin öngörü düzeyini göstermektedir. Eğri altı alanı yüksek olan değişkenin öngörü düzeyi daha yüksektir.
• Hali hazırda kullanılan bir algoritmaya yeni değişken eklediğimiz veya çıkardığımızda öngörü performansını göstermek için kullanılabilir: Bir hastalığın teşhisinde kullanılan bir kılavuza yeni bir marker eklediğimiz zaman hastalığın doğru teşhisi artıyor mu? Veya bir hastalığın teşhisinde kullanılan bir kılavuza ulaşılması zor pahalı bir marker çıkardığımız zaman hastalığın doğru teşhisi çok etkileniyor mu?

Sonuç

ROC eğrisi, sınıflandırma modelinizin performansını değerlendirirken güçlü bir araçtır. Duyarlılık ve özgüllük arasındaki dengeyi anlamanızı sağlar ve AUC değeri, modelinizin ne kadar etkili olduğunu özetleyerek size bilgi verir. ROC eğrisi, model karşılaştırmalarında ve modeli iyileştirmede önemli bir rol oynar. ROC eğrisi lojistik regresyon tarzında analizlere tamamlayıcı rol üstlenir. ROC eğrisi konusunda daha detaylı bilgiler eğitimlerimizin içerisinde uygulamalı olarak bulunmaktadır. Sorularınız veya katkılarınız varsa bize ulaşabilirsiniz!

Ertan Koç