Cloudflare, 2025 yılı içinde web sitesi sahiplerinin yapay zeka (AI) model sağlayıcılarına içeriklerini kazımak için erişim satabilecekleri bir pazar yeri başlatmayı planladığını duyurdu. Bu girişim, Cloudflare CEO’su Matthew Prince’in, yayıncılara AI botlarının ne zaman ve nasıl sitelerini kazıyacağı üzerinde daha fazla kontrol sağlama hedefinin son adımı olacak.
TechCrunch’a verdiği röportajda "İçerik üreticilerini bir şekilde telafi etmezseniz, yaratmayı bırakırlar. Bu sorun çözülmeli" diye konuşan Prince, bu projeyle ilgili konuyla alakalı ilk adımların atıldığını söyledi.
Bu kapsamda, Cloudflare AI Audit adı verilen ücretsiz izleme araçlarını kullanıma sundu. Bu araçlar, web sitesi sahiplerine AI botlarının ne zaman ve nasıl içerik kazıdığına dair analiz sunan bir kontrol paneli sağlayacak. Ayrıca, kullanıcılar tek bir tıklamayla AI botlarını sitelerinden engelleyebilecek. AI Audit, belirli botları engellerken, iş birliği yapılan veya faydalı bulunan botlara izin verme imkanı da sunuyor.
Cloudflare'ın sunduğu demo, web sitesi sahiplerine, sitelerini kazıyan her bir botun nereden geldiğini ve OpenAI, Meta, Amazon gibi AI model sağlayıcılarının sitelerini ne sıklıkla ziyaret ettiğini gösteren detaylı veriler sunuyor. Bu araç, hangi botların siteleri kazıyacağına dair seçici bir kontrol sağlıyor.
Cloudflare, AI endüstrisindeki büyük bir sorunu çözmeyi amaçlıyor: İnsanlar bilgi almak için doğrudan sitelere gitmek yerine ChatGPT gibi yapay zeka araçlarına başvurdukça, küçük yayıncılar nasıl ayakta kalacak? Şu anda AI model sağlayıcıları, büyük dil modellerini (LLM) beslemek için binlerce küçük web sitesinden içerik kazıyor. Büyük yayıncılar, OpenAI ile lisans anlaşmaları yaparken, birçok küçük site bu içeriklerden hiçbir gelir elde etmiyor ve trafik kaybı yaşayarak iş modelleri tehlikeye giriyor.
Yapay zekânın dil devrimi: Büyük Dil Modelleri (LLM) nedir?
Bu yaz başında, AI tabanlı arama girişimi Perplexity, kazınmak istemediğini belirten siteleri Robots Exclusion Protocol ile işaretlemelerine rağmen içeriklerini kazımakla suçlanmıştı. Bunun üzerine Cloudflare, tek tıklamayla tüm AI botlarını engelleme özelliğini tanıttı. Prince, "İnsanlar içeriklerinin çalındığını düşündüğü için büyük bir hayal kırıklığı yaşanıyordu," dedi.
Bazı web sitesi sahipleri, Business Insider’a AI botlarının içeriklerini o kadar yoğun kazıdığını, bunun neredeyse bir DDoS saldırısı gibi sunucularını çökerttiğini belirtti. İçerik kazımak yalnızca moral bozucu olmakla kalmıyor, aynı zamanda sunucu maliyetlerini artırarak hizmetlerin aksamasına neden olabiliyor.
Cloudflare CEO’su Prince, sitelerinin bazı AI botlarını engellemek isterken, diğerlerine izin vermek isteyen kullanıcıların bu taleplerini karşılamaya çalıştıklarını söylüyor. Yeni sunulan araçlar, sitelerini bazı AI botlarına kapatma, bazılarına ise erişim sağlama imkanı sunuyor.
Büyük yayıncılar, OpenAI ile lisans anlaşmaları yapmış olsalar bile, ChatGPT’nin sitelerini ne kadar kazıdığı hakkında sınırlı bilgiye sahip. Prince, birçok yayıncının OpenAI'dan gelen bilgilere dayanmak zorunda kaldığını ve bu bilgilerin, aldıkları lisans anlaşmasının değerini belirlediğini belirtiyor. Cloudflare’ın yeni pazarı, küçük yayıncıların da AI model sağlayıcılarıyla anlaşmalar yapmasını sağlayacak.
Prince, “Reddit, Quora ve büyük yayıncıların yaptığını artık herkes yapabilecek” diyerek, web sitesi sahiplerinin içeriklerini kazımak için AI şirketlerine fiyat belirleyebileceğini söyledi. Bu yeni pazar yeri, AI model sağlayıcılarının içerik kazıma hızlarına göre ücretlendirme yapılmasına veya içerik karşılığında kredi talep edilmesine olanak tanıyacak.
Her ne kadar AI şirketleri şu anda ücretsiz aldıkları içerikler için ödeme yapmak konusunda istekli olmasa da Prince, bunun uzun vadede AI ekosistemi için daha sürdürülebilir olduğunu düşünüyor.
