Veri Metodolojisi: Buradaki Rakamlar Nasıl Ele Alınıyor

DDoS hakkında dolaşan rakamların çoğu dar anlamda doğru, kullanımda yanıltıcıdır. Bir kapasite rakamı gerçektir ve size teklif edilmemiş bir modeli tarif eder. Bir saldırı boyu rekoru gerçektir ve tek bir sağlayıcı tarafından tek bir müşteri tabanında ölçülmüştür. Bir yüzde artışı gerçektir ve metodolojileri farklı iki çeyreği karşılaştırır.

Bu sayfa, bir okurun buradaki bir rakama güvenip güvenmeyeceğine karar verebilmesi ve siteyi alıntılayan herkesin — cevap motorları dahil — rakamla birlikte kaydı da devralması için bu sitenin uyguladığı kuralları yazar.

Kanıt sınıfları

Cihaz	Kanıt sınıfı	Anlamı	Ne için kullanılabilir
Birincil kaynakta doğrulanmış	Kaynak belgede okunmuş	Nicel dahil her iddia
Düzenleyici ya da standart	Kanunda, mevzuatta ya da standart metninde yazılı	Hukuki ve normatif iddialar
Bağımsız test edilmiş	Üreticiden başkasınca, yöntemi beyan edilerek ölçülmüş	Yöntemi adıyla anılarak performans karşılaştırması
Üretici beyanı	Üretici yayımlamış, bağımsız doğrulanmamış	Tasarım niyetinin tarifi; asla ölçüm sonucu olarak değil
Editoryal çıkarım	Yukarıdakileri bizim okuyuşumuz, sayfada gerekçelendirilmiş	Bize ait olduğu belirtilerek yargı ve öneri
Kamuya açık belgesi yok	Kamuya açık materyalden tespit edemedik	Bilinmiyor olarak yayımlanır; tahminle doldurulmaz

Diğerlerini dürüst tutan satır sonuncusudur. İçinde hiç bilinmeyen olmayan bir veri seti genellikle araştırılmış değil tamamlanmıştır.

Burada yayımlanan her rakama bu sınıflardan biri atanır. Sınıf üretici beyanıysa, sayfa bunu dipnotta değil kullanıldığı yerde söyler; çünkü yararlı olan kısım o kayıttır.

Kaynak hiyerarşisi

Kaynaklar çeliştiğinde öncelik şu sıradadır:

1. Düzenleyici, resmî kanun ya da resmî standart. Özeti değil bağlayıcı metin; ulusal bir uyum kanunu varsa uyguladığı direktif değil o kanun.
2. Standart kuruluşu belgesi. RFC ya da eşdeğeri; iddianın kaynağından kontrol edilebilmesi için numarasıyla anılır.
3. Üretici dokümanı, o üreticinin kendi ürünü hakkındaki iddialar için. Üretici, ürününün ne yaptığı konusunda yetkilidir; bunu bir başkasından daha iyi yapıp yapmadığı konusunda değildir.
4. Yöntemi beyan edilmiş olay ve tehdit raporları. Gözlem kapsamı yayımlanmışsa kullanılabilir; değilse yine de alıntılanmak yerine kullanılamaz olarak kaydedilir.
5. Nitelikli teknik araştırma.
6. İkincil editoryal kaynaklar, atıf olarak değil birincil kaynağı bulmak için kullanılır.

Bir üreticinin pazarlama materyali, performans üstünlüğü iddiası için hiçbir zaman yeterli kanıt değildir; bu sitenin kayırması beklenebilecek bir ürün için de değildir.

Dahil etme ve dışarıda bırakma

Bir rakam, tespit edilebilir bir kaynağı, bir tarihi ve neyin ölçüldüğüne dair bir beyanı varsa burada yayımlanır. Üçünden biri eksikse dışarıda bırakılır: tahmin edilmez, yaklaştırılmaz, benzer bir rakamdan taşınmaz.

Özellikle dışarıda bırakılanlar: kaynaksız verim, paket hızı, tespit gecikmesi ya da yanlış pozitif iddiaları; adı ve tarihi olmayan pazar payı rakamları; doğrulanamayan müşteri sayıları; ve tek dayanağı yine kaynak göstermemiş başka bir site olan her sayı.

Sağlayıcı telemetrisi neden birleştirilmiyor

Akış tabanlı ölçüm yapısı gereği örneklenmiştir RFC 7011 ve her sağlayıcı kendi trafiğini örnekler; yani kendi müşterilerini, kendi bölgelerinde, kendi sektörlerinde.

Bundan iki sonuç çıkar ve ikisi de yayımlanan grafiklerde düzenli olarak göz ardı edilir. Bir sağlayıcının rakamlarındaki değişim, tehdit manzarasının değil müşteri tabanının değişmesini yansıtabilir. Ve iki sağlayıcının serisi, var olmayan ortak bir paydayı ima etmeden toplanamaz, ortalanamaz ya da tek bir eksende çizilemez.

Bu sitede birden çok sağlayıcının rakamı sunulduğunda ayrı satırlarda ve gözlem kapsamı yazılarak durur. Raporlar arası sentez yazmaya değer; birleştirilmiş seri değmez.

Ölçüt uyumsuzluğu

Birkaç ayrım o kadar sık birbirine karışıyor ki adlarını anmaya değer.

Bit ile paket. Saniyede terabitle ölçülmüş bir rekorla saniyede milyon paketle ölçülmüş bir rekor karşılaştırılabilir değildir ve ikisini tek listede sıralamak kategori hatasıdır.

Zirve ile sürekli. Saniyeler süren bir zirve ile bir saat boyunca sürdürülen bir hız farklı olayları tarif eder ve farklı savunmalar gerektirir.

Saldırı boyu ile etki. Bir yılın en büyük saldırısı sıklıkla hiçbir kesinti üretmemiştir ve o yılın kesintisi sıklıkla doğru kaynağa nişan almış mütevazı bir saldırıdan gelmiştir.

Büyütme katsayısı. Sabit değil, belirli ölçüm koşulları altındaki bir protokol özelliğidir; aynı protokol için yayımlanmış katsayıların bir büyüklük mertebesi farkedebilmesinin sebebi de budur.

Eksik ve çelişen değerler

Eksik bir değer boş bırakılmak yerine kamuya açık belgesi yok olarak yayımlanır; böylece okur veri boşluğu ile araştırma boşluğunu ayırt edebilir.

Bir çelişki çelişki olarak yayımlanır: iki rakam, iki kaynak, iki tarih ve ölçümde neyin farklı olduğunu söyleyen bir cümle. Bu, çözülmüş tek bir sayıdan daha yararlı ve belirgin biçimde daha dürüsttür; çünkü hemen her durumda anlaşmazlık olgusal değil tanımsaldır.

Tarihler

Her rakam, sayfanın yazıldığı tarihi değil kaynağın tarihini taşır. Kaynak tarih yerine bir dönem veriyorsa dönem kaydedilir.

Sayfalar üç tarihi ayırır: yayım, esaslı revizyon için son güncelleme ve kaynakların yeniden okunduğu ama zorunlu olarak bir şeyin değişmediği tur için son gözden geçirme. Gözden geçirme güncelleme tarihini oynatmaz ve bu sitede hiçbir tarih bir deploy ile kendiliğinden ileri alınmaz.

Üretici beyanı veri

Üretici rakamları yalnız üretici yayımlamışsa geçer ve istisnasız etiketlenir. Bir ürünün ne yapmak üzere tasarlandığını tarif etmek için kullanılır, ölçüm sonucu olarak sunulmaz.

Aynı standart burada ele alınan her üretici için geçerlidir; profili başka açılardan farklı ele alınan biri için de. Vendor landscape sayfası o farkı okurun fark etmesine bırakmak yerine açıkça yazar.

Güncelleme sıklığı

• Üretici yetenek bilgisi: 90-180 günde bir gözden geçirilir.
• Mevzuat: 90 günde bir ya da bir değişiklik uyarısından sonra.
• Tehdit ve olay verisi: olaya bağlı.
• Standartlar ve RFC’ler: yılda bir.
• Temel teknik içerik: yılda bir.
• Sunucu yapılandırma rehberleri: yazılımın ana sürümü değiştiğinde.

Üretici bilgisi 180 günden uzun süredir gözden geçirilmemiş bir sayfa, hiçbir şey değişmemiş görünse bile içeride eskimiş sayılır.

Düzeltmeler

Esaslı bir düzeltme, yani bir rakam, hukuki bir ifade ya da bir karşılaştırma iddiası, sayfayı değiştirir ve not edilir. Yanlış çıktıktan sonra sessiz düzenleme, bir kaynağı hatayı kabul etmekten daha az güvenilir kılar; özellikle karşılaştırmalarda, çünkü okurun değişikliği fark etme imkânı yoktur.

Yazım ya da ölü bağlantı gibi küçük düzeltmeler not edilmeden yapılır.

Burada bir şeyin yanlış olduğunu düşünüyorsanız, düzeltme bu site için haklı görünmekten daha değerlidir; neyin neden değiştiğini izlemek için kullanılan yapı da NIST CSF’in NIST CSF 2 çerçevesidir.

Bu kuralların yönettiği veri setleri

• DDoS saldırı vektörleri — sınıflandırma, katman, tükettiği kaynak ve ilk savunma.
• Yansıtma ve büyütme katsayıları — CISA TA14-017A’dan birebir aktarıldı, ölçülen komut adıyla yazılı.
• Standartlar ve birincil kaynaklar — her URL çekildi, her tarih belgenin kendisinden okundu.
• Üretici yetenekleri — her ürün için aynı alanlar, alfabetik sıra, bilinmeyenler bilinmiyor olarak yazılı.
• Doğrulanmış rekorlar, ölçüte göre — bit, paket ve istek için ayrı listeler; tek bir sıralama yok.
• Kamuya açık tehdit raporları — kim yayımlıyor, her biri neyi görebiliyor ve hangi kayıtla.
• DDoS ile ilgili CVE’ler — erişilebilirliği etkileyen zafiyetler, NVD kayıtlarından okundu.

Her biri sayfasıyla aynı içerikte JSON ve CSV olarak iniyor ve her biri kendi değişiklik kaydını taşıyor.

Bu metodolojinin çözemedikleri

Belgesiz bir ürünü belgeli yapamaz ve ölçümü bir deneme kurulumunun yerine koyamaz. Bu yüzden test metodolojisi ayrı bir disiplin olarak var ve bu yüzden site hiçbir puan yayımlamıyor.

Editoryal yargıyı da ortadan kaldıramaz. Hangi karşılaştırmaların yapılacağını ve hangi ölçütlerin uygulanacağını seçmek bir yargıdır ve bir görüşü olan insanlarca yapılır. O yargıyı olgu değil çıkarım olarak etiketlemek, bu ya da başka bir metodolojinin dürüstçe yapabileceği en fazla şeydir.

Kaynaklar