Fornisce accesso a formazione sui prodotti, risorse di vendita e marketing, registrazione degli accordi e molto altro contenuto riservato a rivenditori a valore aggiunto, integratori, rivenditori e altri partner di canale.
Poiché i requisiti di multi-tenancy e prestazioni elevate stanno rimodellando l'infrastruttura dei dati, uno dei cambiamenti più importanti che ne derivano si verifica non solo nei cluster di formazione, ma anche nei sistemi che rispondono in tempo reale a miliardi di interazioni degli utenti.
In uno dei più grandi colossi di Internet del mondo1, gli architetti dell'infrastruttura hanno recentemente deciso di reimmaginare un carico di lavoro chiave legato al coinvolgimento degli utenti: l'infrastruttura di memorizzazione nella cache che supporta l'attività di commento sui social network (ad esempio, un livello di dati temporaneo che consente un rapido accesso al contenuto richiesto di frequente). La posta in gioco era alta, con volumi di traffico in aumento, elevata simultaneità e un'intensa attività di lettura/scrittura, così come la necessità di ridurre i costi e il consumo su larga scala. Il team ha identificato una soluzione strategica ma non convenzionale: un livello cache basato su unità disco, realizzato su unità classe Enterprise di Seagate a bassa capacità.
Alcuni ritengono che questo livello richieda la memoria Flash, ma l'analisi del carico di lavoro ha dimostrato che le unità disco soddisfano i requisiti di prestazioni offrendo significativi vantaggi in termini di costi ed efficienza, in particolare per i carichi di lavoro di inferenza e gestione temporanea dei dati, che in genere sono maggiormente vincolati da costi, alimentazione e scalabilità rispetto alla latenza grezza.
Questa architettura illustra quali sono le possibilità quando le decisioni dell'infrastruttura sono basate sul comportamento effettivo del carico di lavoro e come le unità disco, se utilizzate in modo strategico, possono consentire operazioni performanti, scalabili ed economiche su scala globale.
Comprensione dei carichi di lavoro dei dati: Brevi raffiche, alta concorrenza
L'obiettivo del carico di lavoro era quello di consentire un accesso rapido e affidabile ai dati dei commenti degli utenti durante il coinvolgimento dei contenuti virali, una sfida che diventa rapidamente complessa su larga scala. Ma il volume e la volatilità della domanda la rendevano tutt'altro che ordinaria.
Quando un contenuto diventa virale, il coinvolgimento aumenta immediatamente. Migliaia o milioni di utenti possono entrare in un singolo thread in pochi minuti, mettendo Mi piace, rispondendo, aggiornando e ripubblicando. Il sistema deve supportare una rapida tempesta di letture e scritture di piccoli oggetti, con picchi bruschi e cadute altrettanto veloci. Sebbene le prestazioni siano importanti, forniscono valore solo quando i colli di bottiglia del sistema consentono di utilizzare tali prestazioni.
Gli architetti della piattaforma dovevano supportare:
Volumi di accesso simultaneo estremamente elevati per brevi periodi.
Traffico intenso di lettura e scrittura legato all'attività dell'utente.
Caching a risposta rapida per l'esperienza utente, ma senza memoria Flash a bassa latenza sempre attiva.
La tradizionale suddivisione in livelli caldo/freddo non era efficace per questo tipo di pattern dinamico. Sebbene la tecnologia Flash potesse soddisfare le esigenze di prestazioni, i costi, l'usura e il profilo energetico la rendevano insostenibile a questo livello dell'architettura.
Capacità di elaborazione vs. latenza: Ripensare la memorizzazione nella cache dei dati per le prestazioni del cloud
È opinione comune che i livelli di memorizzazione nella cache, soprattutto per i sistemi rivolti agli utenti, debbano essere basati su memoria Flash per soddisfare le esigenze di prestazioni. In questo caso, tuttavia, un'analisi dettagliata del carico di lavoro ha rivelato che la velocità di throughput (la velocità con cui i dati possono essere letti o scritti al secondo) e la simultaneità (la capacità di gestire molte richieste simultanee) erano i fattori limitanti e non la latenza a livello di microsecondi. Le unità disco offrono prestazioni elevate in queste dimensioni e, in architetture a livello di sistema progettate per massimizzare questi punti di forza, attraverso il parallelismo, le strategie di memorizzazione nella cache e il tiering intelligente, possono superare le configurazioni basate su Flash per lo stesso carico di lavoro.
Sfruttando questa combinazione di punti di forza, il fornitore di servizi cloud è stato in grado di:
Offrire velocità di throughput sequenziale e simultanea elevata.
Gestire grandi volumi di dati durante picchi intensi e di breve durata.
Operare con costi e consumo energetico inferiori per terabyte, una considerazione significativa in quanto i budget energetici e termici dei data center presentano sempre più vincoli.
In queste distribuzioni, le unità disco classe Enterprise offrono costi di acquisto per terabyte notevolmente inferiori, attualmente più di 7 volte inferiori rispetto alle unità SSD, secondo l'analisi di Seagate condotta da IDC, TRENDFOCUS e Forward Insights. Questo delta può influenzare in modo significativo le scelte architetturali, soprattutto quando l'efficienza e la durata della cache fanno parte dell'equazione.
Memorizzazione nella cache del disco rigido: La soluzione per un accesso ai dati scalabile ed efficiente
L'architettura finale ha distribuito le unità disco classe Enterprise a bassa capacità di Seagate come livello di caching persistente e le ha posizionate tra un livello applicativo primario e un livello cloud basato su unità disco ad alta capacità. La configurazione è stata realizzata utilizzando chassis già utilizzati dal team per altri carichi di lavoro, consentendo un riutilizzo efficiente del sistema.
Ecco come funziona.
Durante i picchi di attività, i dati dei commenti vengono scritti direttamente nel livello cache basato su unità disco.
Questo livello di dati basato su unità disco fornisce le alte prestazioni di velocità di throughput e simultaneità necessarie per offrire un accesso rapido e ripetibile su scala globale durante i burst.
Una volta che la domanda diminuisce, i dati memorizzati nella cache vengono scaricati o migrati a un livello di memorizzazione più profondo basato su unità con capacità più elevate (ad esempio, 24 TB o 30 TB).
Le unità nel livello di memorizzazione nella cache in genere funzionano dando la priorità ai diametri esterni dei piatti per lo spazio utilizzabile nella cache, ottimizzando il comportamento della scrittura e massimizzando le prestazioni effettive per il caso di utilizzo.
Bilanciamento di costi, potenza e prestazioni nell'infrastruttura di archiviazione cloud
Questo diagramma dell'architettura illustra come la memorizzazione nella cache basata su unità disco, la memorizzazione profonda e i servizi applicativi interagiscono per gestire le esplosioni di dati virali in modo efficiente ed economico.
L'implementazione ha portato a miglioramenti significativi in termini di costi complessivi dell'infrastruttura ed efficienza energetica, mantenendo al contempo le esigenze di prestazioni elevate del carico di lavoro grazie a unità progettate per velocità di throughput sostenute, resistenza in scrittura, disponibilità dei dati sotto pressione e distribuzione su vasta scala.
L'uso di unità disco classe Enterprise con capacità inferiore ha offerto le prestazioni necessarie a un costo di acquisto per terabyte significativamente inferiore rispetto alle alternative basate su memoria Flash.
Il consumo energetico per unità di velocità di throughput è diminuito, poiché le unità sono state ottimizzate per burst con intensa attività di scrittura, non per valori IOPS senza attività. In genere, i confronti a livello di sistema mostrano anche che le unità disco possono ridurre il consumo energetico per terabyte fino al 70% rispetto alle unità Flash QLC.
Il team è stato in grado di riutilizzare l'infrastruttura esistente, riducendo al minimo l'investimento in nuovo hardware e accelerando i tempi di implementazione.
È importante sottolineare che il livello cache basato su unità disco continua a soddisfare o superare le aspettative di hit rate, supportando un coinvolgimento continuo dei commenti anche nei picchi di traffico più virali.
La maggior parte dei carichi di lavoro di inferenza e gestione temporanea dei dati sono vincolati più da costi, consumi e scalabilità che dalla latenza grezza, rendendo le unità disco una soluzione pratica per il giusto livello architettonico.
Scalabilità della memorizzazione nella cache cloud: Dal successo pilota allo standard di piattaforma globale
Al momento della pubblicazione, questa architettura di piattaforma veniva attivamente implementata dal cliente in aree geografiche chiave, con una valutazione continua di un'implementazione più ampia. I primi indicatori erano forti: le metriche delle prestazioni della cache si sono mantenute stabili, l'esperienza utente è rimasta reattiva e il costo totale di proprietà è stato migliorato.
Se i risultati pilota continuano a essere validi, la piattaforma potrebbe espandere questo modello in modo significativo, con potenziali volumi di distribuzione annuali che raggiungono quantità di unità a sei cifre, riflettendo la domanda di oltre 6 EB all'anno e la fiducia nelle unità disco per offrire prestazioni ed efficienza su vasta scala.
Non si tratta solo di un'ottimizzazione una tantum, ma di un modello emergente per creare una migliore condivisione di immagini, microblog, video e altro contenuto in cui la simultaneità e la pertinenza degli utenti finali unità i requisiti dell'infrastruttura e consentono una migliore redditività della piattaforma.
Lezioni chiave per la creazione di architetture di caching cloud scalabili ed economiche
Il successo di questo progetto non si basa su una singola svolta, ma su tre principi fondamentali che risuoneranno con altri costruttori di piattaforme di IA:
Progettare per il carico di lavoro non è un presupposto, perché non tutti i livelli ad alte prestazioni richiedono la tecnologia Flash.
Le dimensioni chiave delle prestazioni, come velocità di throughput, simultaneità, disponibilità in scrittura, velocità di importazione e utilizzo del sistema, sono spesso più importanti della latenza grezza.
È possibile ottimizzare i livelli di memorizzazione, anche se riutilizzati, per soddisfare le esigenze moderne in modo più efficiente.
Le unità disco non hanno "vinto" sulla memoria Flash in questo caso, ma hanno semplicemente avuto un senso. Ecco come appare l'allineamento di prestazioni, costi ed efficienza operativa in un ambiente reale. In tutte le infrastrutture aziendali e cloud, le unità disco continuano a servire la maggior parte dei carichi di lavoro dei dati dove velocità di throughput, efficienza e scalabilità sono più importanti.
Pensiero finale: Costruire un'infrastruttura cloud che rifletta i carichi di lavoro reali
Per soddisfare le esigenze in termini di prestazioni, i carichi di lavoro moderni hanno bisogno sia di elaborazione che di memorizzazione scalabili, soprattutto perché il successo del modello dipende dall'immediata e continua rilevanza per gli utenti finali.
Poiché l'IA e altri carichi di lavoro moderni continuano a plasmare la progettazione delle infrastrutture in tutti i settori, la domanda non è se utilizzare unità disco o unità Flash. È come creare sistemi che riflettano il comportamento reale del carico di lavoro, i vincoli reali e le opportunità reali di ottimizzazione.
Questo fornitore leader di servizi cloud a livello globale ha dimostrato che le unità disco non sono solo importanti, ma sono fondamentali per il modo in cui le moderne architetture si evolvono con la scalabilità come obiettivo, garantendo un accesso e una disponibilità dei dati reattivi anche nei periodi di picco della domanda.
Note a piè di pagina
Reso anonimo in base all'accordo di non divulgazione reciproco.
