Bu yazı, The Economist’in Bartleby köşesinde yayımlanan “Returns policy — How to measure the benefits from AI” değerlendirmesindeki tartışmadan yola çıkıyor. Oradaki argümanı Türkiye’deki şirketler için yeniden düşündük; üç katmanlı çerçeve, Türkiye’ye özgü notlar ve 90 günlük plan bize ait. Kaynaklar yazının sonunda. “Yapay zekâ ve yönetim” dizisinin dördüncü ve son yazısı; öncekiler: panik değil hazırlık, faturayı kontrol etmek, çalışanlara anlatmak.
Son iki yılda pek çok şirkette yapay zekâ stratejisi tek cümleye indi: herkes kullansın. Kullanım panoları kuruldu, birimler arası tüketim sıralamaları paylaşıldı. Kullanım gerçekten arttı. Sonra finans birimi bütçeyi açtı, dövizle faturalanan kalemi gördü ve yönetim kurulundaki soru değişti: bunun karşılığında tam olarak ne aldık?
İkinci soru birincisinden çok daha zor. Kullanım kolay sayılır, getiri sayılmaz. Ölçemediğiniz bir yatırımı da üçüncü çeyrekte savunamazsınız.
Kullanımı ölçmenin üç kusuru
Kullanımı izlemek büsbütün anlamsız değil. Yaygınlaştırma aşamasındaysanız, teknolojiye kimin hiç dokunmadığını bilmek işe yarar. Bir yazılım mühendisinin bir finans analistinden kat kat fazla harcaması olağandır; finans biriminde rakamın sıfır olması olağan değildir. O sıfır, üzerinde durulacak bir sinyaldir.
Sorun, bu veriyi başarı göstergesi saymaya başladığınızda çıkar.
- Kullanım bir girdi ölçüsüdür. Elektrik faturasının yüksek olması fabrikanın çok ürettiği anlamına gelmez. Token tüketimi de ne kadar harcandığını gösterir, karşılığında ne üretildiğini değil.
- Gösterge hedefe dönüşünce gösterge olmaktan çıkar. Ekipler arasında tüketim sıralaması yayımlarsanız çalışanlar sıralamada yükselmeyi öğrenir, işi iyileştirmeyi değil. İktisatçılar buna Goodhart Yasası der.
- Kazanç dağılır ve kaybolur. Faydanın önemli bölümü bireylere dağınık zaman tasarrufu olarak yansır. Bir çalışanın gün içinde kazandığı kırk dakika, başka bir işe yönlendirilmediği sürece şirkete geri dönmez.
Kazanılan zaman, yeniden bir işe yönlendirilmediği sürece getiri değildir.
Üç katmanlı ölçüm çerçevesi
Tek bir sayı aramaktan vazgeçin. Yapay zekâ yatırımı birbirinden farklı üç soruya aynı anda cevap vermeli; üçünün göstergesi de farklı olmalı.
1. Girdi: teknoloji yayılıyor mu?
Yalnızca ilk 6–12 ay için ve yalnızca yaygınlaştırma amacıyla anlamlı. Amaç performans değerlendirmesi değil, kör noktaları bulmak.
İzlenecekler: birim bazında aktif kullanıcı oranı, kullanımın hangi görevlerde yoğunlaştığı, teknolojiye hiç dokunmamış ekipler.
Kaçınılacak: bu verileri performans kriterine çevirmek.
2. Çıktı: değer üretiliyor mu?
Asıl mesele burada. Ancak çıktı göstergeleri teknolojinin hem olumlu hem olumsuz etkisini aynı anda yakalamalı; yoksa sizi yanlış sonuca götürür. Google’ın mühendislik ekiplerinin yıllardır kullandığı üç ölçüt iyi bir şablon: hız (iş ne kadar sürüyor), kolaylık (süreçte ne kadar engel var) ve belirleyici olan kalite. Hızlı ve kolay biçimde kötü iş üretmek başarı değildir.
Kaliteyi atlamanın bedelini akademik yayıncılık örneği gösteriyor. Surrey Üniversitesi’nden bir ekibin incelediği bir sağlık ve beslenme veri setinden 2014–2021 arasında yılda ortalama dört makale üretilmiş; 2024’ün ilk dokuz ayında bu sayı 190’a çıkmış. Çıktı sayısı kırk katına ulaşmış, üretilen bilimsel değer aynı oranda artmamış.
İzlenecekler: tamamlanan iş başına maliyet, çevrim süresi, hata ve yeniden işleme oranı, müşteri memnuniyeti, ilk temasta çözüm oranı.
Kaçınılacak: hacim ölçmek. “Daha çok teklif hazırlandı” gösterge değildir; “kazanılan teklif oranı yükseldi” göstergedir.
3. Organizasyon: öğreniyor muyuz?
Teknolojinin nereye evrileceğini kimse kesin bilmiyor. Bu belirsizlik, değişimin ne kadar iyi yönetildiğini ölçen üçüncü bir katmanı zorunlu kılıyor.
İzlenecekler: çalışanların uygulama biçiminden memnuniyeti, yapay zekânın otomatikleştiremeyeceği alanlarda kurum içi uzmanlığın gelişimi, yeni bir aracı devreye alma süresi, bağımlı olunan tedarikçi sayısı.
Kaçınılacak: bu katmanı “yumuşak konu” sayıp gündemden düşürmek. İki yıl sonraki rekabet avantajınız büyük ölçüde burada birikecek.
Getiri ilk çeyrekte görünmez
Faydanın görünür olması zaman alır. Çalışanlar aracı öğrenirken üretkenlik geçici olarak düşer; bir birimde artan çıktı başka bir birimde darboğaz yaratır. Toronto Üniversitesi’nden bir ekibin ABD imalat sanayii üzerine yaptığı çalışma bu “J eğrisini” doğruluyor: verimlilik önce düşüyor, sonra başlangıç seviyesinin üzerine çıkıyor. Düşüşün bir nedeni, şirketin performansı izlemek için yıllar içinde kurduğu mekanizmaların yeni iş akışına uymaması.
Bunun pratik karşılığı şu: üç aylık bir pilotun sonunda “olmadı” demek erken bir karardır. Getiri projeksiyonlarınıza en az iki ya da üç çeyreklik bir geçiş dönemi ekleyin ve bunu baştan yönetim kuruluna söyleyin. Beklenen bir düşüşü sonradan açıklamak, önceden söylemekten çok daha pahalıdır.
Hangi getiriyi hedefliyorsunuz?
Yöneticilerin çoğu zaman ertelediği asıl soru bu. Zaman tasarrufunu finansal getiriye çevirmenin en kısa yolu kadro küçültmek; bazı işlerde, belirli koşullarda bu makul olabilir. Ancak bedeli çalışan bağlılığından ödenir ve ayrılan kişiyi daha verimli bir göreve yönlendirme imkânı da kalmaz.
Daha savunulabilir hesap şu: yapay zekâ sayesinde açmak zorunda kalmadığınız pozisyonların maliyeti. Büyüyen bir işte artan hacmi mevcut kadroyla karşılayabiliyorsanız getiri zaten oradadır ve kimseyi kaybetmeden raporlanabilir.
Gelir tarafında ise ek cironun ne kadarının teknolojiden geldiğini söylemek bir yorum işidir. Bunu iddia edebilmek için sağlam bir başlangıç verisi ve karşılaştırmalı test alışkanlığı gerekir. İkisi de yoksa raporladığınız rakam ölçüm değil, tahmindir.
Türkiye’ye özgü 5 gerçek
Maliyet dövizle, tasarruf lirayla. Yapay zekâ faturası dolar bazlı, kazanç kalemi Türk lirası. Kur hareketi getiri hesabının içinde kaybolur. Karşılaştırmayı sabit kur üzerinden yapın; yoksa başarılı bir projeyi tabloda başarısız gösterirsiniz.
Başlangıç verisi çoğu şirkette yok. “Bu iş daha önce ne kadar sürüyordu?” sorusunun cevabı yoksa hiçbir getiri hesabı yapılamaz. İlk adım yapay zekâyı yaygınlaştırmak değil, dokunacağınız üç sürecin bugünkü süresini, maliyetini ve hata oranını kayıt altına almak. Bu iş yaklaşık iki hafta sürer ve projenin en değerli iki haftasıdır. Kendi operasyonumuzdaki günlük satış raporu vakasında da böyle yaptık: önce “günde yaklaşık üç saat” yazıldı, sistem sonra kuruldu.
Üst yönetim istekli, orta kademe temkinli. Türkiye’de üst yönetim desteği genellikle hazır; direnç orta kademede birikir. Çoğu zaman da haklı gerekçelerle, çünkü olası hatanın sorumluluğu onların üzerinde kalır. Göstergeleri müdürlerle birlikte tanımlayın. Yukarıdan dayatılan bir gösterge paneli, kısa sürede doldurulup geçilen bir forma dönüşür.
İşgücü maliyeti düşükken denklem değişir. Batı’daki “bir çalışan yerine yapay zekâ” hesabı Türkiye’de aynı sonucu vermez; ikame edilen maliyet görece düşüktür. Buradaki asıl kazanç ikame değil kapasitedir: mevcut ekiple daha fazla müşteriye, daha fazla şubeye, daha fazla pazara yetişebilmek.
Küçük ölçek avantajdır. Elli kişilik bir şirket bir süreci iki haftada değiştirip sonucunu ölçebilir. Aynı işlem çok uluslu bir yapıda aylar alır. Bu alanda küçük olmak hızlı öğrenmek demektir.
90 günlük ölçüm planı
0–30. gün: önce ölçün, sonra başlayın
Üç süreç belirleyin. Her biri için mevcut çevrim süresini, birim maliyeti ve hata oranını kayıt altına alın. Bu aşamada yapay zekâyı henüz devreye almayın. Aynı dönemde kullanım verisini toplamaya başlayın: kim, hangi birimde, ne sıklıkla kullanıyor.
31–60. gün: devreye alın ve düşüşü bekleyin
Seçtiğiniz üç süreçte uygulamaya geçin. Bu dönemde göstergelerin geçici olarak bozulması beklenen bir sonuçtur, kötü haber değil. Her hafta bir sayfalık not tutun: ne işe yaradı, nerede tıkanıldı, kim destek istedi.
61–90. gün: karşılaştırın ve kararı yazın
Sonuçları başlangıç verisiyle karşılaştırın; hızı, kolaylığı ve kaliteyi aynı raporda sunun. Kararı tek sayfada yazın: neyi ölçeklendiriyorsunuz, neyi durduruyorsunuz, neyi bir çeyrek daha izliyorsunuz.
Yönetim kuruluna çıkmadan önce eleyin
- Token tüketimini veya kullanım süresini başarı göstergesi olarak sunmak.
- Hızı kaliteden ayrı raporlamak. İkisi aynı sayfada olmalı.
- “Şu kadar saat tasarruf edildi” demek ama o saatlerin nereye yönlendirildiğini söylememek.
- Başlangıç verisi olmadan yüzde iyileşme iddia etmek.
- İlk çeyrekteki düşüşe bakıp projeyi kapatmak.
Yalnızca kullanıma bakmak getiriyi gözden kaçırır; yalnızca getiriye bakmak öğrenmeyi durdurur. İyi yönetici ikisini aynı anda izler.
Bizim çalışma biçimimiz de bu yüzden ölçümle başlıyor: devreye alınan her otomasyonun öncesi ve sonrası ölçülür; ortaya çıkan rakam bizim iddiamız değil, sizin sisteminizin kaydıdır. Süreçlerinizi ölçmeye nereden başlayacağınızı konuşmak isterseniz iletişime geçin.
Kaynaklar
· The Economist, Bartleby, “Returns policy — How to measure the benefits from AI”. Yazının ana argümanı ve aşağıdaki araştırmalara atıflar buradan alındı; özgün metin ve görsel The Economist Newspaper Limited’e aittir, bu sayfada çoğaltılmamıştır.
· Kristina McElheran ve arkadaşları (Toronto Üniversitesi), ABD imalat sanayiinde yapay zekâ ve verimlilik: J eğrisi bulgusu.
· Tulsi Suchak ve arkadaşları (Surrey Üniversitesi), tek bir sağlık ve beslenme veri setinden üretilen makale sayısındaki artış (yılda ~4’ten 2024’ün ilk dokuz ayında 190’a).
· Mika Ruokonen (LUT Üniversitesi), faydanın bireylere dağınık zaman tasarrufu olarak yansıması.
· Richard Seroter (Google Cloud), hız / kolaylık / kalite ölçütleri ve organizasyon temelli göstergeler.
· Consulting Partners Türkiye, “Örnek Uygulama: Günlük satış raporu — günde ~3 saatten ~3 dakikaya” (kendi ölçüm örneğimiz).
Üç katmanlı çerçeve, Türkiye’ye özgü değerlendirmeler ve 90 günlük plan bu yazıya ait yorumlardır.
