White paper

Architettura di memorizzazione avanzata per potenziare l'IA nei data center.

seagate-supermicro-osnexus

Realizzata per il futuro dell’IA, una soluzione nata dalla collaborazione tra Supermicro, Seagate e OSNexus è progettata per promuovere sia l’efficienza che la scalabilità dell’IA.

minuto letto

seagate-supermicro-osnexus

Sommario:

    Riepilogo per i quadri esecutivi.

    Lo sviluppo dell'intelligenza artificiale (IA) ha portato a una richiesta senza precedenti di soluzioni di memorizzazione per data center scalabili, convenienti e con prestazioni elevate. Questo white paper presenta una soluzione completa che combina l'hardware Supermicro, le unità disco Exos di Seagate supportate dalla tecnologia Mozaic 3+™ basata su HAMR di Seagate e il software QuantaStor di OSNexus. Questa soluzione congiunta risponde alla crescita esplosiva delle esigenze di memorizzazione dei dati basata sull'IA, fornendo un'architettura robusta che supporta configurazioni scale-up e scale-out. I vantaggi principali includono una maggiore scalabilità per far fronte ai crescenti carichi di lavoro di IA, prestazioni eccezionali con velocità di throughput elevate e bassa latenza, costi ottimizzati grazie alla riduzione delle unità fisiche e al risparmio energetico, una piattaforma di gestione unificata che semplifica le operazioni, funzionalità di sicurezza avanzate per la conformità e un impatto ambientale ridotto grazie a soluzioni di memorizzazione efficienti dal punto di vista energetico.

    Introduzione.

    La rapida evoluzione delle tecnologie di IA e apprendimento automatico (ML, Machine Learning) ha trasformato radicalmente il panorama della memorizzazione dei dati. I progressi in termini di potenza di elaborazione, accesso democratizzato per gli sviluppatori e strumenti di sviluppo più veloci hanno portato a un'esplosione di innovazioni basate sull'IA. Man mano che i modelli di IA diventano più avanzati, la necessità di soluzioni di memorizzazione scalabili con prestazioni elevate non è mai stata così grande. I dati sono la spina dorsale dell'IA e la capacità di memorizzare, gestire e accedere in modo efficiente a grandi quantità di dati è fondamentale per l'addestramento di modelli di IA e la distribuzione di applicazioni di IA. Le soluzioni di memorizzazione tradizionali spesso non sono in grado di soddisfare queste esigenze, rendendo necessario lo sviluppo di nuove architetture personalizzate per supportare i carichi di lavoro di IA.

    L'evoluzione dei carichi di lavoro di IA richiede l'evoluzione delle soluzioni di memorizzazione.

    I carichi di lavoro di IA presentano sfide uniche che le soluzioni di memorizzazione tradizionali faticano ad affrontare. L'addestramento dei modelli di IA richiede grandi quantità di dati, che spesso raggiungono la scala dei petabyte. Questi dati devono essere prontamente accessibili, poiché l'efficienza del processo di addestramento dipende in larga misura dalla velocità del recupero dei dati. Inoltre, le applicazioni di IA spesso includono attività di elaborazione dei dati su larga scala che richiedono una velocità di throughput elevata e una bassa latenza per fornire analisi in tempo reale.

    L'intensità di elaborazione dei carichi di lavoro di IA genera anche quantità significative di metadati, che devono essere gestiti in modo efficiente per evitare colli di bottiglia. Le soluzioni di memorizzazione tradizionali, con scalabilità e prestazioni limitate, non sono adatte a queste esigenze. Spesso non dispongono della flessibilità necessaria per gestire carichi di lavoro dinamici, con conseguenti inefficienze e costi operativi maggiori.

    L'innovazione guidata dall'intelligenza artificiale richiede soluzioni di memorizzazione in grado di scalare rapidamente, gestire grandi volumi di dati non strutturati e fornire un accesso trasparente ai dati. Ad esempio, l'addestramento di un modello di IA complesso comporta l'elaborazione iterativa di vasti set di dati per perfezionare gli algoritmi e migliorare la precisione. L'enorme volume di dati richiesti per queste iterazioni può sovraccaricare i sistemi di memorizzazione tradizionali, causando ritardi e riducendo l'efficienza complessiva delle operazioni di IA.

    Inoltre, le applicazioni di IA vengono sempre più distribuite in ambienti in tempo reale in cui l'elaborazione immediata dei dati è fondamentale. Ciò include applicazioni come veicoli autonomi, manutenzione predittiva e assistenza sanitaria personalizzata. Queste tipologie di impiego richiedono soluzioni di memorizzazione che non solo offrano capacità elevate, ma offrano anche prestazioni eccezionali per supportare l'analisi istantanea dei dati e il processo decisionale.

    Supporto di configurazioni scale-up e scale-out.

    La soluzione congiunta di Supermicro, Seagate e OSNexus combina hardware e software all'avanguardia per offrire un'infrastruttura di memorizzazione robusta, scalabile e conveniente per i carichi di lavoro di IA. I componenti principali di questa soluzione includono server e JBOD di Supermicro, unità disco Mozaic 3+ di Seagate, unità SSD NVMe Nytro di Seagate e il software QuantaStor di OSNexus.

    L'architettura della soluzione congiunta supporta configurazioni scale-up e scale-out, per soddisfare le diverse esigenze di distribuzione. 

    Lo scale-up (o scalabilità verticale) implica l'aumento della capacità di un singolo sistema di memorizzazione o server aggiungendo più risorse, come CPU, memoria e/o unità di memorizzazione. Questo approccio consente di massimizzare le prestazioni delle singole unità, ma presenta limitazioni intrinseche in termini di scalabilità. 

    Lo scale-out (o scalabilità orizzontale), invece, implica l'aggiunta di più nodi di memorizzazione o server a un sistema, distribuendo il carico di lavoro su più unità. Questo approccio consente una scalabilità praticamente illimitata, consentendo ai sistemi di gestire carichi di lavoro di IA più grandi e complessi espandendo facilmente l'architettura in base alla domanda.

    Le configurazioni scale-up sono ideali per applicazioni più piccole e sensibili ai costi, con velocità di throughput fino a 5-10 GB/s. Al contrario, le configurazioni scale-out sono progettate per distribuzioni più estese, con prestazioni scalabili in modo lineare man mano che vengono incorporati nodi aggiuntivi. Questa scalabilità consente alla soluzione di raggiungere velocità di throughput di centinaia di gigabyte al secondo, soddisfacendo le esigenze dei carichi di lavoro intensivi di IA.

    La perfetta integrazione dei server di Supermicro, delle unità di Seagate e del software QuantaStor forma una soluzione di memorizzazione coesa ed efficiente. Questa architettura supporta sia la memorizzazione basata su file che quella basata su oggetti, offrendo alle organizzazioni la flessibilità di scegliere la configurazione più adatta alle loro esigenze specifiche. La gestione unificata fornita da QuantaStor garantisce che tutti i componenti funzionino in modo armonioso, offrendo prestazioni e affidabilità ottimali. La possibilità di gestire configurazioni scale-up e scale-out all'interno di un'unica piattaforma semplifica le operazioni e riduce la complessità associata alla manutenzione di più sistemi di memorizzazione. 

    Panoramica sull'architettura.

    L'architettura comprende i server di Supermicro, le unità disco Exos Mozaic 3+ di Seagate e le unità SSD NVMe Nytro di Seagate, tutti orchestrati dal software QuantaStor di OSNexus. Questa combinazione soddisfa le elevate esigenze dei carichi di lavoro di IA/ML, che richiedono velocità di throughput elevate, bassa latenza e la capacità di gestire in modo efficiente set di dati di grandi dimensioni.

    Considerazioni sull'infrastruttura di distribuzione.

    • I dettagli sulle reti e sull'infrastruttura minima richiesta per il successo esulano dallo scopo di questo documento, ma sono fondamentali per il processo decisionale relativo all'architettura.
    • Criteri principali:
      • Velocità di rete (determina la dimensione ottimale dei supporti e dei nodi)
      • Specifiche del rack (profondità del rack e spazio U)
      • Budget di alimentazione e raffreddamento

     

    Architetture scale-up e scale-out.

     

    • Architettura scale-up
      • Questa architettura è ideale per gli ambienti che richiedono sistemi di memorizzazione economici ad alta densità. Utilizza unità NVMe a due porte in uno chassis con 24 alloggiamenti di Supermicro, che fornisce disponibilità e prestazioni elevate consentendo l'accesso condiviso alle unità sottostanti. L'architettura supporta l'espansione tramite JBOD, consentendo di collegare fino a quattro JBOD alle schede di controllo scale-up, supportando quindi configurazioni con un massimo di sette petabyte di memorizzazione con unità disco classe Enterprise Mozaic 3+.
      • Nelle configurazioni scale-up, QuantaStor utilizza OpenZFS, il file system classe Enterprise a prestazioni elevate noto per la protezione avanzata dei dati, la scalabilità e l'efficienza, in particolare negli ambienti di memorizzazione su larga scala, che consente controlli efficienti dell'integrità dei dati e l'ottimizzazione della memorizzazione. L'architettura è particolarmente adatta per carichi di lavoro IA/ML su piccola scala e ambienti in cui la riduzione dei costi al minimo e l'aumento della densità al massimo sono priorità.
    Immagine del prodotto con richiami alle caratteristiche.

    Ingrandisci

     

    • Architettura scale-out
      • L'architettura scale-out è progettata per fornire scalabilità lineare delle prestazioni mediante l'aggiunta di più nodi. Utilizza la codifica di cancellazione e le tecniche di replica tra i nodi per garantire un'elevata disponibilità e ridondanza dei dati. L'architettura è particolarmente adatta per carichi di lavoro di IA/ML su larga scala in cui le esigenze di prestazioni e capacità sono in continua crescita. Ad esempio, l'addestramento di modelli di grandi dimensioni (LLM), come GPT (Generative Pre-trained Transformer) o BERT (Bidirectional Encoder Representations from Transformers), richiede un'enorme potenza di elaborazione e memorizzazione dei dati, rendendo l'architettura scale-out essenziale per gestire la crescente complessità e il volume dei dati. Inoltre, la ricerca genomica basata sull'intelligenza artificiale, in cui è richiesta l'elaborazione su larga scala dei dati genomici per attività come l'analisi delle varianti e gli studi di espressione genica, beneficia in modo significativo della scalabilità e dell'elevata disponibilità offerte dall'architettura scale-out.
      • Questa architettura consente di combinare nodi ibridi (con unità NVMe e unità disco) con nodi con solo memoria Flash, offrendo flessibilità nella configurazione dei cluster in base a requisiti di prestazioni e capacità specifici. Nelle configurazioni scale-out, QuantaStor utilizza la sua integrazione con la tecnologia Ceph, che eccelle nella fornitura di memorizzazione distribuita su un gran numero di nodi.

    Considerazioni principali e opzioni di progettazione.

    A seconda dei requisiti di prestazioni specifici e delle esigenze di capacità dei dati dei carichi di lavoro di IA/ML, potrebbero essere necessarie configurazioni diverse per ottenere risultati ottimali. Fattori come il volume di dati elaborati e la velocità di accesso ai dati determineranno se una configurazione ibrida o con solo memoria Flash è la soluzione migliore per lo scenario. Inoltre, considerazioni di budget e requisiti di scalabilità influenzeranno le scelte di progettazione per l'architettura. 

    • Configurazioni ibride.  
      • Nelle configurazioni ibride, viene utilizzata una combinazione di unità SSD NVMe e unità disco ad alta capacità per bilanciare prestazioni e costi. L'architettura supporta fino a 60 o 90 unità in sistemi JBOD, il che la rende adatta per carichi di lavoro di IA/ML che richiedono prestazioni elevate e capacità nell'ordine dei PB, come la ricerca nel campo della medicina e della fisica. 
      • Un tipico pool ibrido scale-up potrebbe utilizzare tre unità NVMe per pool per i metadati e l'offload di piccoli file, combinate con unità disco ad alta capacità per la memorizzazione di set di dati più grandi. Le configurazioni ibride scale-out includono almeno tre unità NVMe per nodo.
    • Configurazioni con solo memoria Flash 
      • Le configurazioni con solo memoria Flash sono consigliate per carichi di lavoro di IA/ML che richiedono prestazioni elevate, come le analisi in tempo reale o le attività di elaborazione intensiva dei dati. 
      • Queste configurazioni scale-out possono offrire velocità di throughput fino a 1 TB/s sfruttando centinaia di unità NVMe in cluster scale-out. 
    • Considerazioni su capacità e prestazioni 
      • È essenziale bilanciare la capacità di memorizzazione con i requisiti di prestazioni. Ad esempio, in un cluster ibrido scale-out con una combinazione di memoria Flash e unità disco, circa il 3% dello spazio di memorizzazione totale potrebbe essere costituito da memoria Flash per ottimizzare le prestazioni, mentre in un cluster ibrido scale-up la memoria Flash potrebbe essere pari a circa l'1% il totale. Poiché le unità disco offrono un chiaro vantaggio in termini di costo per terabyte e costo totale di proprietà, le unità SSD classe Enterprise hanno un prezzo di 6 a 1, le unità disco rimangono la scelta preferita per le capacità di massa nei data center. 
      • L'architettura consente di iniziare con cluster più piccoli e di espanderli in base alle esigenze aggiungendo più nodi o JBOD, garantendo che l'infrastruttura di memorizzazione possa crescere insieme ai carichi di lavoro di IA/ML. 

    Gestione e ottimizzazione.

    Una gestione e un'ottimizzazione efficaci sono fondamentali per garantire le migliori prestazioni dei carichi di lavoro di IA/ML all'interno dell'architettura di memorizzazione. Le funzionalità di gestione avanzata di QuantaStor semplificano le operazioni, fornendo controllo e supervisione completi su diverse configurazioni.

    • Gestione unificata di QuantaStor
      • QuantaStor fornisce un piano di controllo unificato che semplifica la gestione delle architetture scale-up e scale-out. Supporta funzionalità avanzate come l'auto-tiering, la crittografia end-to-end e la conformità con gli standard del settore, garantendo che l'infrastruttura di memorizzazione sia sicura e ottimizzata per i carichi di lavoro di IA/ML. 
      • La tecnologia a griglia del software consente di scalare senza problemi il sistema di memorizzazione su più siti, eliminando la complessità della gestione di sistemi diversi.

    Tipologie di impiego e scenari.

    I diversi carichi di lavoro di IA/ML richiedono soluzioni di memorizzazione mirate per assicurare prestazioni ottimali ed efficienza in termini di costi. A seconda della scalabilità e della complessità del carico di lavoro, è possibile distribuire configurazioni scale-up, scale-out o miste per soddisfare le esigenze specifiche di vari settori e applicazioni.

    • Tipologie di impiego scale-up
      • Le configurazioni scale-up sono ideali per gli ambienti con carichi di lavoro di IA/ML più piccoli o quelli che danno priorità all'efficienza in termini di costi. Sono ideali per applicazioni quali la memorizzazione per il settore media e intrattenimento, la virtualizzazione dei server e l'archiviazione dei dati. 
    • Casi di utilizzo scale-out 
      • Le configurazioni scale-out sono progettate per l'elaborazione con prestazioni elevate, i data lake e gli ambienti di IA/ML in cui la capacità di scalare sia le prestazioni che la capacità è fondamentale. Queste configurazioni sono ideali anche per la memorizzazione basata su oggetti su larga scala e l'analisi in tempo reale. 
    • Tipologie di impiego miste
      • Le organizzazioni possono distribuire configurazioni scale-up e scale-out all'interno dello stesso ambiente, utilizzando la gestione unificata di QuantaStor per mantenere la coerenza e ottimizzare le prestazioni per diversi carichi di lavoro.

    whitepaper-joint-ai-supermicro-figure-4

    Ingrandisci

    Progressi della tecnologia.

    I progressi tecnologici incorporati in questa soluzione sono fondamentali per la sua efficacia. Le unità disco Exos Mozaic 3+ di Seagate rappresentano un significativo passo avanti nella tecnologia di memorizzazione. Grazie alla tecnologia HAMR, queste unità raggiungono una densità di area senza precedenti, consentendo una maggiore capacità di memorizzazione a parità di spazio fisico. Questi progressi non solo soddisfano le esigenze di memorizzazione di dati su larga scala, ma migliorano anche l'efficienza energetica, poiché sono necessarie meno unità per memorizzare la stessa quantità di dati.

    I vantaggi in termini di costo totale di proprietà offerti dalle unità disco Mozaic 3+ sono notevoli, tra cui 3 volte la capacità di memorizzazione nello stesso spazio occupato dal data center, con un costo per TB inferiore del 25%, un consumo energetico per TB inferiore del 60% e una riduzione delle emissioni di anidride carbonica per TB del 70% (rispetto alle unità PMR da 10 TB, una capacità comune delle unità che richiede un upgrade nei data center attuali). Il consumo energetico più basso delle unità si traduce in una riduzione dei costi energetici, mentre la maggiore densità riduce la necessità di spazio fisico, con conseguente risparmio nell'infrastruttura del data center. Inoltre, il basso contenuto di carbonio incorporato delle unità le rende un'opzione più rispettosa dell'ambiente, in linea con gli obiettivi di sostenibilità che sono sempre più importanti per le aziende moderne.

    L'integrazione delle unità SSD NVMe Nytro di Seagate aggiunge un ulteriore livello in termini di prestazioni avanzate. Queste unità ad alta velocità sono essenziali per gestire le intense operazioni di lettura e scrittura tipiche dei carichi di lavoro di IA. La bassa latenza garantisce la possibilità di accedere ai dati ed elaborarli in tempo reale, il che è fondamentale per l'addestramento dei modelli di IA e la distribuzione di applicazioni di IA. Il design a doppia porta delle unità SSD migliora l'affidabilità, in quanto consente un funzionamento continuo anche in caso di guasto di una porta.

    Il software QuantaStor di OSNexus migliora ulteriormente la soluzione fornendo funzioni di gestione intelligente dei dati e funzioni di sicurezza avanzate. Le funzionalità di suddivisione automatica in livelli del software garantiscono che i dati siano memorizzati nel livello più appropriato, ottimizzando sia le prestazioni che i costi. La crittografia end-to-end e la conformità con gli standard di settore aiutano a proteggere i dati risolvendo problemi di sicurezza e privacy essenziali per le applicazioni di IA, in particolare in settori come quello sanitario e finanziario in cui i dati sensibili vengono gestiti frequentemente.

    whitepaper-joint-ai-supermicro-figure-6

    Ingrandisci

     

    Vantaggi della soluzione.

    La soluzione congiunta di Supermicro, Seagate e OSNexus offre numerosi vantaggi chiave che soddisfano le esigenze specifiche dei carichi di lavoro IA/ML. Questi vantaggi includono:

    • Scalabilità: La capacità della soluzione di scalare sia verso l'alto che verso il basso garantisce che possa crescere di pari passo con le crescenti esigenze dei carichi di lavoro di IA. Sia che un'organizzazione abbia a che fare con pochi terabyte o diversi petabyte di dati, la soluzione è in grado di soddisfare le sue esigenze senza richiedere una revisione completa dell'infrastruttura di memorizzazione.
    • Prestazioni: L'uso delle unità SSD NVMe Nytro e delle unità disco Mozaic 3+ di Seagate, in combinazione con le funzionalità di gestione di QuantaStor, offre prestazioni eccezionali. Ciò è particolarmente importante per i carichi di lavoro di IA/ML che richiedono una velocità di throughput elevata e una bassa latenza per funzionare in modo efficace.
    • Efficienza di costo: L'architettura della soluzione è progettata per ottimizzare le spese di capitale e operative. Riducendo il numero di unità fisiche necessarie, riducendo il consumo energetico e offrendo una piattaforma di gestione unificata e flessibile, la soluzione riduce in modo significativo il costo totale di proprietà.
    • Gestione unificata: La capacità di QuantaStor di gestire architetture sia scale-up che scale-out da un'unica interfaccia semplifica le operazioni e riduce la complessità associata alle soluzioni di memorizzazione di più fornitori. Questo approccio unificato non solo consente di risparmiare tempo, ma riduce anche la possibilità di errori e aumenta l'efficienza complessiva.
    • Sicurezza e conformità: La soluzione include funzionalità di sicurezza avanzate che proteggono i dati da accessi non autorizzati e garantiscono la conformità agli standard del settore. Ciò è particolarmente importante per le applicazioni di IA in settori regolamentati, dove le violazioni dei dati possono comportare sanzioni legali e finanziarie significative.
    • Impatto ambientale: L'uso di unità di Seagate basate sulla piattaforma Mozaic 3+ riduce l'impatto ambientale dei data center in quanto riduce il consumo energetico e lo spazio fisico richiesto per la memorizzazione. Ciò è in linea con la crescente enfasi sulla sostenibilità nel settore tecnologico.

    Tipologie di impiego e applicazioni.

    La soluzione è abbastanza versatile da supportare un'ampia gamma di tipologie di impiego in vari settori. Alcuni esempi: 

    • Sanitario: I carichi di lavoro di IA/ML nel settore sanitario, come l'analisi predittiva e la medicina personalizzata, richiedono la possibilità di elaborare grandi quantità di dati in modo rapido e sicuro. La soluzione congiunta offre la scalabilità, le prestazioni e la sicurezza necessarie per supportare queste applicazioni.
    • Finanziario: ;Nel settore finanziario, l'IA viene utilizzata per attività come il rilevamento di frodi, il trading algoritmico e la gestione dei rischi... Queste applicazioni richiedono elaborazione dei dati ad alta velocità e analisi in tempo reale, entrambe supportate dall'architettura di memorizzazione ad alte prestazioni della soluzione.
    • Media e intrattenimento: Il settore dei media e dell'intrattenimento genera enormi quantità di dati, in particolare a causa del crescente utilizzo di video ad alta risoluzione. La capacità della soluzione di gestire la memorizzazione dei dati su larga scala e di fornire un rapido accesso ai file la rende ideale per attività come l'editing, il rendering e l'archiviazione dei video. 
    • Produzione: L'IA/ML si utilizza in produzione per la manutenzione predittiva, il controllo di qualità e l'ottimizzazione della catena di fornitura . Queste applicazioni generano grandi volumi di dati che devono essere memorizzati e analizzati in modo efficiente. La soluzione congiunta offre la scalabilità e le prestazioni necessarie per supportare queste tipologie di impiego. 
    • Ricerca e sviluppo: La ricerca basata sull'IA in settori come quello farmaceutico, della genomica, della scienza dei materiali e della modellazione climatica richiede la capacità di memorizzare ed elaborare grandi set di dati. L'elevata velocità di throughput e la bassa latenza la rendono la soluzione ideale per queste applicazioni esigenti. 

    Conclusione.

    La soluzione di IA congiunta sviluppata da Supermicro, Seagate e OSNexus offre un'architettura di memorizzazione completa, scalabile e conveniente, personalizzata per le esigenze specifiche dei carichi di lavoro di IA/ML. Grazie alla combinazione di tecnologie hardware e software avanzate, la soluzione offre prestazioni, affidabilità ed efficienza eccezionali ed è la scelta ideale per le organizzazioni che desiderano sfruttare l'IA per ottenere un vantaggio competitivo. Sia che venga distribuita nel settore sanitario, finanziario, di media e intrattenimento, della produzione o della ricerca, questa soluzione fornisce l'infrastruttura robusta necessaria per supportare la prossima generazione di applicazioni di IA e per spianare la strada al futuro dell'innovazione basata sull'intelligenza artificiale in tutti i settori. 

    Tabella delle soluzioni.

    Topologia Prodotto Modello di resilienza Mera capacità Capacità utilizzabile Specifiche dettagliate
    Scale-up SBB ibrido; Parità tripla 2.039 TB di mera capacità 1.512 TB di capacità utilizzabile link
    Scale-up SBB solo memoria Flash Parità doppia (4d+2p) 737 TB di mera capacità 553 TB di capacità utilizzabile lik
    Scale-out Hyper All-flash EC2k+2m/REP3 1.106 TB di mera capacità 533 TB di capacità utilizzabile link
    Scale-out 4U36 EC4K+2m/REP3 3.974 TB di mera capacità 2.513 TB di capacità utilizzabile link
    Scale-out 4U36 EC8K+3m/REP3 8.342 TB di mera capacità 5.786 TB di capacità utilizzabile link
    Scale-out Caricamento dall'alto a doppio nodo EC8K+3m/REP3 11.981 TB di mera capacità 8.406 TB di capacità utilizzabile link


    Acronimi e informazioni aggiuntive.

    SBB: Storage Bridge Bay.
    EC: Codifica di cancellazione (Erasure Coding)
    I termini "parità doppia" e "parità tripla" si riferiscono al numero di blocchi di parità utilizzati per fornire la ridondanza dei dati e la tolleranza ai guasti.
    Le stringhe numeriche si riferiscono al modello di resilienza.