VAR'larımız, Entegratörlerimiz, Satıcılarımız ve diğer kanal iş ortaklarımıza ürün eğitimi, satış ve pazarlama kaynakları, anlaşma kaydı ve daha fazlasına erişim sağlar.
Çoklu kiracılık ve yüksek performans gereksinimleri veri altyapısını yeniden şekillendirirken sadece eğitim kümelerinde değil, milyarlarca kullanıcı etkileşimine gerçek zamanlı olarak yanıt veren sistemlerde de en önemli değişimlerden biri yaşanıyor.
Dünyanın en büyük internet devlerinden birinde1, altyapı mimarları kısa bir süre önce kullanıcı katılımına bağlı önemli bir iş yükünü yeniden tasarlamaya girişti: Sosyal medya yorum etkinliğini (sık istenen içeriğe hızlı erişim sağlayan geçici bir veri katmanı) destekleyen önbelleğe alma altyapısı. Bu çok riskliydi. Artan trafik hacimleri, yüksek eşzamanlılık, yoğun okuma/yazma talebi ve aynı zamanda maliyet ve enerjiyi ölçeklendirme ihtiyacı da vardı. Ekip, stratejik ancak alışılmamış bir çözüm belirledi: Düşük kapasiteli Seagate işletme diskleri üzerine inşa edilen sabit disk tabanlı bir önbellek katmanı.
Bu katmanın flash gerektirdiğini varsayanlar olabilir ancak iş yükü analizi, sabit disklerin önemli maliyet ve verimlilik avantajları sunarken bir yandan performans taleplerini karşıladığını göstermiştir. Bu özellikle çıkarım ve veri hazırlama gibi gecikmedense genelde maliyet, güç ve ölçek ile sınırlanan iş yükleri için geçerlidir.
Bu mimari, altyapı kararları gerçek iş yükü davranışına dayandığında nelerin mümkün olduğunu ve sabit disklerin (stratejik bir şekilde kullanıldığında) küresel ölçekte nasıl yüksek performanslı, ölçeklenebilir ve düşük maliyetli operasyonlar sağlayabileceğini göstermektedir.
Veri iş yüklerini anlamak: Kısa patlamalar, yüksek eşzamanlılık
Odaklanan iş yükünün amacı, viral içerik etkileşimi sırasında kullanıcı yorum verilerine hızlı ve güvenilir erişim sağlamaktı. Bu zorluk, ölçekle birlikte artıyor. Ancak talebin hacmi ve değişkenliği onu sıra dışı kılıyordu.
Bir içerik viral hâle geldiğinde etkileşim anında artar. Binlerce, hatta milyonlarca kullanıcı, beğeni, yanıtlama, yenileme ve yeniden paylaşma ile dakikalar içinde tek bir ileti dizisine yüklenebilir. Sistemin hızlı bir küçük nesne okuma ve yazma fırtınasını desteklemesi gerekir. Bu keskin bir şekilde zirve yapıp aynı hızla düşecektir. Performans önemlidir ancak yalnızca sistem darboğazları bu performansın kullanılmasına izin verdiğinde değer sağlar.
Kısa süreler boyunca çok yüksek eşzamanlı erişim hacimleri.
Kullanıcı etkinliğine bağlı yoğun okuma ve yazma trafiği.
Her zaman açık, düşük gecikmeli flash olmadan kullanıcı deneyimi için hızlı önbelleğe alma.
Geleneksel sıcak/soğuk katmanlama bu tür bir dinamik modelde işe yaramayacaktı. Flash ise performans ihtiyaçlarını karşılayabilmesine rağmen maliyeti, aşınması ve enerji profili yüzünden mimarinin bu katmanında sürdürülebilir olmayacaktı.
Geçiş ve gecikme: Bulut performansı için önbelleğe yeni bir bakış
Önbelleğe alma katmanlarının (özellikle kullanıcıya yönelik sistemlerde) performans ihtiyaçlarını karşılamak için flash tabanlı olması gerektiği yaygın bir varsayımdır. Ancak bu durumda ayrıntılı iş yükü analizi, sınırlayıcı faktörün mikrosaniye düzeyindeki gecikme süreleri değil, iş hacmi (verinin bir saniyede okunabildiği veya yazıldığı hız) ve eşzamanlılık (aynı anda birçok isteği işleme yeteneği) olduğunu ortaya koydu. Sabit diskler bu boyutlarda yüksek performans gösterir. Paralellik, önbelleğe alma stratejileri ve akıllı katmanlama aracılığıyla güçlü yanlarını en üst düzeye çıkarmak için tasarlanmış sistem düzeyindeki mimarilerde aynı iş yükü için flash tabanlı kurulumlardan daha iyi performans gösterebilirler.
Bulut sağlayıcı bu güçlü yönlerin birleşiminden yararlanarak şunları yapabildi:
Yüksek sıralı ve eş zamanlı iş hacmi sunmak.
Yoğun, kısa süreli zirveler sırasında büyük hacimli verileri işlemek.
Daha düşük maliyet ve terabayt başına güç tüketimiyle çalışmak. Veri merkezlerinin güç ve ısı bütçeleri gitgide kısıtlanırken bu önemlidir.
Bu tür kurulumlarda işletme sabit diskleri, IDC, TRENDFOCUS ve Forward Insights tarafından yapılan araştırmaları analiz eden Seagate'e göre şu anda SSD'lere kıyasla 7 kat daha düşük bir terabayt başına satın alma maliyeti sunuyor. Bu delta özellikle önbellek verimliliği ve dayanıklılığının denklemin bir parçası olduğu durumlarda mimari tercihlerini önemli ölçüde etkileyebilir.
Sabit diskte önbelleğe alma: Ölçeklenebilir, verimli veri erişimi için çözüm
Son aşamada varılan mimari, Seagate düşük kapasiteli işletme sabit disklerini kalıcı bir önbellek katmanı olarak kullandı ve bunları birincil uygulama katmanıyla yüksek kapasiteli sabit disk tabanlı bulut katmanı arasında konumlandırdı. Yapılandırma, ekibin diğer iş yüklerinde kullanmakta olduğu kasalar kullanılarak yapıldı ve bu şekilde sistem verimli bir şekilde yeniden kullanılmış oldu.
Şu şekilde çalışıyor:
Yoğun faaliyet sırasında yorum verileri doğrudan sabit disk tabanlı önbellek katmanına yazılır.
Sabit disk tabanlı bu veri katmanı, veri patlamaları sırasında küresel ölçekte hızlı, tekrarlanabilir erişim sunmak için gereken yüksek hacimli ve eş zamanlı performansı sunar.
Talep azaldığında önbelleğe alınan veriler ya boşaltılır ya da daha yüksek kapasiteli diskler (ör. 24 TB veya 30 TB) üzerine kurulu daha derin bir depolama katmanına taşınır.
Önbellek katmanındaki diskler genelde kullanılabilir önbellek alanı için tablalarının dış çaplarına öncelik vererek, yazma davranışını optimize ederek ve etkili performansı kullanım durumu için en üst düzeye çıkararak çalışır.
Bulut depolama altyapısında maliyet, güç ve performans dengesi
Bu mimari diyagramı, viral veri patlamalarını verimli ve düşük maliyetli bir şekilde yönetmek için sabit disk tabanlı önbelleğe alma, derin depolama ve uygulama hizmetlerinin birlikte nasıl çalıştığını gösterir.
Bu kurulum, genel altyapı maliyetinde ve enerji verimliliğinde anlamlı iyileştirmeler sağlarken bir yandan sürdürülebilir iş hacmi, yazma dayanıklılığı, baskı altında veri kullanılabirliği ve filo ölçeğinde dağıtım için tasarlanmış diskler sayesinde iş yükünün yüksek performans taleplerini karşılamıştır.
Daha düşük kapasiteli işletme sabit disklerinin kullanılması, flash tabanlı alternatiflerle karşılaştırıldığında terabayt başına çok daha düşük bir satın alma maliyetiyle gerekli performansı sağladı.
Diskler boşta IOPS için değil sürekli yazma patlamaları için optimize edildiğinden, iş hacmi birimi başına güç tüketimi düştü. Genel olarak sistem seviyesindeki karşılaştırmalar, sabit disklerin QLC flash'e kıyasla terabayt başına güç tüketimini %70'e kadar azaltabildiğini de göstermektedir.
Ekip, yeni donanım yatırımını en aza indirerek ve dağıtım süreçlerini hızlandırarak mevcut altyapıyı yeniden kullanabildi.
Daha da önemlisi, sabit disk tabanlı önbellek katmanı en viral trafik artışlarında bile sorunsuz yorum katılımını destekleyerek isabet oranı beklentilerini karşılamaya veya aşmaya devam ediyor.
Çoğu çıkarım ve veri hazırlama iş yükünü kısıtlayan şey ham gecikmeden çok maliyet, güç ve ölçektir. Bu durum, sabit diskleri doğru mimari katman için kullanışlı kılar.
Bulut önbelleğini ölçeklendirme: Pilot başarıdan global platform standardına
Yayın sırasında bu platform mimarisi müşteri tarafından önemli coğrafyalarda aktif olarak kullanılıyordu ve daha kapsamlı kullanıma alma değerlendirmeleri devam ediyordu. İlk göstergeler güçlüydü. Önbellek performansı metrikleri sabit kaldı, kullanıcı deneyimi yanıt vermeye devam etti ve TCO iyileştirildi.
Pilot sonuçların devam etmesi hâlinde platform, bu modeli önemli ölçüde genişletebilir. Potansiyel yıllık kullanım hacimleri altı rakamlı disk miktarlarına ulaşabilir, bu da yılda 6 EB'den fazla talep ve sabit disklere filo ölçeğinde performans ve verimlilik sunma güveni demektir.
Bu sadece bir kerelik bir optimizasyon değildir. Son kullanıcı eşzamanlılığı ve uygunluğunun disk altyapısı gereksinimlerini belirlediği ve platform kârlılığını artırdığı, resimlerin, mikroblogların, videoların ve diğer içeriklerin daha iyi paylaşılmasını sağlamak için oluşan bir sistemdir.
Ölçeklenebilir, uygun maliyetli bulut önbelleğe alma mimarileri oluşturmak için temel dersler
Bu tasarımın başarısı tek bir atılıma değil, diğer yapay zeka platform oluşturucularına anlamlı gelecek üç temel ilkeye dayanır:
İş yükü için tasarlayın, varsayımlar için değil çünkü her yüksek performans katmanı flash’a ihtiyaç duymaz.
Performansın temel boyutları: İş hacmi, eşzamanlılık, yazma kullanılabilirliği, alım hızı ve sistem kullanımı gibi faktörler genellikle ham gecikmeden daha önemlidir.
Depolama katmanları optimize edilebilir hatta modern talepleri daha verimli bir şekilde karşılamak için yeniden kullanılabilir.
Sabit diskler burada flash’a karşı “kazanmadı”, yalnızca mantıklı seçenek buydu. Gerçek dünyadaki bir ortamda performans, maliyet ve çalışma verimliliğini bir araya getirmek budur. İşletme ve bulut altyapısında, iş hacmi, verimlilik ve ölçeklendirmenin en önemli olduğu veri iş yüklerinin büyük çoğunluğuna hizmet vermeye devam ediyorlar.
Son düşünce: Gerçek iş yüklerini yansıtan bir bulut altyapısı oluşturma
Modern iş yükleri özellikle de modelin başarısı, son kullanıcının anında ve sürekli ilgi göstermesine bağlı olduğundan, performans ihtiyaçlarını karşılamak için ölçeklenebilir bilgi işlem ve depolamaya ihtiyaç duyar.
Yapay zeka ve diğer modern iş yükleri, farklı sektörlerde altyapı tasarımını şekillendirmeye devam ederken asıl soru sabit disklerin mi yoksa flash disklerin mi kullanılacağı değil. Asıl soru, gerçek iş yükü davranışını, gerçek kısıtlamaları ve gerçek iyileştirme fırsatlarını yansıtan sistemlerin nasıl oluşturulacağı.
Bu lider küresel bulut hizmeti sağlayıcısı, sabit disklerin önemli olmanın yanı sıra modern mimarilerin ölçeklendirilmesi yolunda merkezi bir rol oynadığını ve en yüksek talep altında bile tepkisel veri erişimi ve kullanılabilirlik sağladığını kanıtladı.
Dipnotlar
Karşılıklı Gizlilik Anlaşmasına göre anonimleştirilir.
