Architettura di memorizzazione avanzata per potenziare l'IA nei data center.
Realizzata per il futuro dell’IA, una soluzione nata dalla collaborazione tra Supermicro, Seagate e OSNexus è progettata per promuovere sia l’efficienza che la scalabilità dell’IA.
minuto letto
Sommario:
Lo sviluppo dell'intelligenza artificiale (IA) ha portato a una richiesta senza precedenti di soluzioni di memorizzazione per data center scalabili, convenienti e con prestazioni elevate. Questo white paper presenta una soluzione completa che combina l'hardware Supermicro, le unità disco Exos di Seagate supportate dalla tecnologia Mozaic 3+™ basata su HAMR di Seagate e il software QuantaStor di OSNexus. Questa soluzione congiunta risponde alla crescita esplosiva delle esigenze di memorizzazione dei dati basata sull'IA, fornendo un'architettura robusta che supporta configurazioni scale-up e scale-out. I vantaggi principali includono una maggiore scalabilità per far fronte ai crescenti carichi di lavoro di IA, prestazioni eccezionali con velocità di throughput elevate e bassa latenza, costi ottimizzati grazie alla riduzione delle unità fisiche e al risparmio energetico, una piattaforma di gestione unificata che semplifica le operazioni, funzionalità di sicurezza avanzate per la conformità e un impatto ambientale ridotto grazie a soluzioni di memorizzazione efficienti dal punto di vista energetico.
La rapida evoluzione delle tecnologie di IA e apprendimento automatico (ML, Machine Learning) ha trasformato radicalmente il panorama della memorizzazione dei dati. I progressi in termini di potenza di elaborazione, accesso democratizzato per gli sviluppatori e strumenti di sviluppo più veloci hanno portato a un'esplosione di innovazioni basate sull'IA. Man mano che i modelli di IA diventano più avanzati, la necessità di soluzioni di memorizzazione scalabili con prestazioni elevate non è mai stata così grande. I dati sono la spina dorsale dell'IA e la capacità di memorizzare, gestire e accedere in modo efficiente a grandi quantità di dati è fondamentale per l'addestramento di modelli di IA e la distribuzione di applicazioni di IA. Le soluzioni di memorizzazione tradizionali spesso non sono in grado di soddisfare queste esigenze, rendendo necessario lo sviluppo di nuove architetture personalizzate per supportare i carichi di lavoro di IA.
I carichi di lavoro di IA presentano sfide uniche che le soluzioni di memorizzazione tradizionali faticano ad affrontare. L'addestramento dei modelli di IA richiede grandi quantità di dati, che spesso raggiungono la scala dei petabyte. Questi dati devono essere prontamente accessibili, poiché l'efficienza del processo di addestramento dipende in larga misura dalla velocità del recupero dei dati. Inoltre, le applicazioni di IA spesso includono attività di elaborazione dei dati su larga scala che richiedono una velocità di throughput elevata e una bassa latenza per fornire analisi in tempo reale.
L'intensità di elaborazione dei carichi di lavoro di IA genera anche quantità significative di metadati, che devono essere gestiti in modo efficiente per evitare colli di bottiglia. Le soluzioni di memorizzazione tradizionali, con scalabilità e prestazioni limitate, non sono adatte a queste esigenze. Spesso non dispongono della flessibilità necessaria per gestire carichi di lavoro dinamici, con conseguenti inefficienze e costi operativi maggiori.
L'innovazione guidata dall'intelligenza artificiale richiede soluzioni di memorizzazione in grado di scalare rapidamente, gestire grandi volumi di dati non strutturati e fornire un accesso trasparente ai dati. Ad esempio, l'addestramento di un modello di IA complesso comporta l'elaborazione iterativa di vasti set di dati per perfezionare gli algoritmi e migliorare la precisione. L'enorme volume di dati richiesti per queste iterazioni può sovraccaricare i sistemi di memorizzazione tradizionali, causando ritardi e riducendo l'efficienza complessiva delle operazioni di IA.
Inoltre, le applicazioni di IA vengono sempre più distribuite in ambienti in tempo reale in cui l'elaborazione immediata dei dati è fondamentale. Ciò include applicazioni come veicoli autonomi, manutenzione predittiva e assistenza sanitaria personalizzata. Queste tipologie di impiego richiedono soluzioni di memorizzazione che non solo offrano capacità elevate, ma offrano anche prestazioni eccezionali per supportare l'analisi istantanea dei dati e il processo decisionale.
La soluzione congiunta di Supermicro, Seagate e OSNexus combina hardware e software all'avanguardia per offrire un'infrastruttura di memorizzazione robusta, scalabile e conveniente per i carichi di lavoro di IA. I componenti principali di questa soluzione includono server e JBOD di Supermicro, unità disco Mozaic 3+ di Seagate, unità SSD NVMe Nytro di Seagate e il software QuantaStor di OSNexus.
L'architettura della soluzione congiunta supporta configurazioni scale-up e scale-out, per soddisfare le diverse esigenze di distribuzione.
Lo scale-up (o scalabilità verticale) implica l'aumento della capacità di un singolo sistema di memorizzazione o server aggiungendo più risorse, come CPU, memoria e/o unità di memorizzazione. Questo approccio consente di massimizzare le prestazioni delle singole unità, ma presenta limitazioni intrinseche in termini di scalabilità.
Lo scale-out (o scalabilità orizzontale), invece, implica l'aggiunta di più nodi di memorizzazione o server a un sistema, distribuendo il carico di lavoro su più unità. Questo approccio consente una scalabilità praticamente illimitata, consentendo ai sistemi di gestire carichi di lavoro di IA più grandi e complessi espandendo facilmente l'architettura in base alla domanda.
Le configurazioni scale-up sono ideali per applicazioni più piccole e sensibili ai costi, con velocità di throughput fino a 5-10 GB/s. Al contrario, le configurazioni scale-out sono progettate per distribuzioni più estese, con prestazioni scalabili in modo lineare man mano che vengono incorporati nodi aggiuntivi. Questa scalabilità consente alla soluzione di raggiungere velocità di throughput di centinaia di gigabyte al secondo, soddisfacendo le esigenze dei carichi di lavoro intensivi di IA.
La perfetta integrazione dei server di Supermicro, delle unità di Seagate e del software QuantaStor forma una soluzione di memorizzazione coesa ed efficiente. Questa architettura supporta sia la memorizzazione basata su file che quella basata su oggetti, offrendo alle organizzazioni la flessibilità di scegliere la configurazione più adatta alle loro esigenze specifiche. La gestione unificata fornita da QuantaStor garantisce che tutti i componenti funzionino in modo armonioso, offrendo prestazioni e affidabilità ottimali. La possibilità di gestire configurazioni scale-up e scale-out all'interno di un'unica piattaforma semplifica le operazioni e riduce la complessità associata alla manutenzione di più sistemi di memorizzazione.
L'architettura comprende i server di Supermicro, le unità disco Exos Mozaic 3+ di Seagate e le unità SSD NVMe Nytro di Seagate, tutti orchestrati dal software QuantaStor di OSNexus. Questa combinazione soddisfa le elevate esigenze dei carichi di lavoro di IA/ML, che richiedono velocità di throughput elevate, bassa latenza e la capacità di gestire in modo efficiente set di dati di grandi dimensioni.
Considerazioni sull'infrastruttura di distribuzione.
A seconda dei requisiti di prestazioni specifici e delle esigenze di capacità dei dati dei carichi di lavoro di IA/ML, potrebbero essere necessarie configurazioni diverse per ottenere risultati ottimali. Fattori come il volume di dati elaborati e la velocità di accesso ai dati determineranno se una configurazione ibrida o con solo memoria Flash è la soluzione migliore per lo scenario. Inoltre, considerazioni di budget e requisiti di scalabilità influenzeranno le scelte di progettazione per l'architettura.
Una gestione e un'ottimizzazione efficaci sono fondamentali per garantire le migliori prestazioni dei carichi di lavoro di IA/ML all'interno dell'architettura di memorizzazione. Le funzionalità di gestione avanzata di QuantaStor semplificano le operazioni, fornendo controllo e supervisione completi su diverse configurazioni.
I diversi carichi di lavoro di IA/ML richiedono soluzioni di memorizzazione mirate per assicurare prestazioni ottimali ed efficienza in termini di costi. A seconda della scalabilità e della complessità del carico di lavoro, è possibile distribuire configurazioni scale-up, scale-out o miste per soddisfare le esigenze specifiche di vari settori e applicazioni.
I progressi tecnologici incorporati in questa soluzione sono fondamentali per la sua efficacia. Le unità disco Exos Mozaic 3+ di Seagate rappresentano un significativo passo avanti nella tecnologia di memorizzazione. Grazie alla tecnologia HAMR, queste unità raggiungono una densità di area senza precedenti, consentendo una maggiore capacità di memorizzazione a parità di spazio fisico. Questi progressi non solo soddisfano le esigenze di memorizzazione di dati su larga scala, ma migliorano anche l'efficienza energetica, poiché sono necessarie meno unità per memorizzare la stessa quantità di dati.
I vantaggi in termini di costo totale di proprietà offerti dalle unità disco Mozaic 3+ sono notevoli, tra cui 3 volte la capacità di memorizzazione nello stesso spazio occupato dal data center, con un costo per TB inferiore del 25%, un consumo energetico per TB inferiore del 60% e una riduzione delle emissioni di anidride carbonica per TB del 70% (rispetto alle unità PMR da 10 TB, una capacità comune delle unità che richiede un upgrade nei data center attuali). Il consumo energetico più basso delle unità si traduce in una riduzione dei costi energetici, mentre la maggiore densità riduce la necessità di spazio fisico, con conseguente risparmio nell'infrastruttura del data center. Inoltre, il basso contenuto di carbonio incorporato delle unità le rende un'opzione più rispettosa dell'ambiente, in linea con gli obiettivi di sostenibilità che sono sempre più importanti per le aziende moderne.
L'integrazione delle unità SSD NVMe Nytro di Seagate aggiunge un ulteriore livello in termini di prestazioni avanzate. Queste unità ad alta velocità sono essenziali per gestire le intense operazioni di lettura e scrittura tipiche dei carichi di lavoro di IA. La bassa latenza garantisce la possibilità di accedere ai dati ed elaborarli in tempo reale, il che è fondamentale per l'addestramento dei modelli di IA e la distribuzione di applicazioni di IA. Il design a doppia porta delle unità SSD migliora l'affidabilità, in quanto consente un funzionamento continuo anche in caso di guasto di una porta.
Il software QuantaStor di OSNexus migliora ulteriormente la soluzione fornendo funzioni di gestione intelligente dei dati e funzioni di sicurezza avanzate. Le funzionalità di suddivisione automatica in livelli del software garantiscono che i dati siano memorizzati nel livello più appropriato, ottimizzando sia le prestazioni che i costi. La crittografia end-to-end e la conformità con gli standard di settore aiutano a proteggere i dati risolvendo problemi di sicurezza e privacy essenziali per le applicazioni di IA, in particolare in settori come quello sanitario e finanziario in cui i dati sensibili vengono gestiti frequentemente.
La soluzione congiunta di Supermicro, Seagate e OSNexus offre numerosi vantaggi chiave che soddisfano le esigenze specifiche dei carichi di lavoro IA/ML. Questi vantaggi includono:
La soluzione è abbastanza versatile da supportare un'ampia gamma di tipologie di impiego in vari settori. Alcuni esempi:
La soluzione di IA congiunta sviluppata da Supermicro, Seagate e OSNexus offre un'architettura di memorizzazione completa, scalabile e conveniente, personalizzata per le esigenze specifiche dei carichi di lavoro di IA/ML. Grazie alla combinazione di tecnologie hardware e software avanzate, la soluzione offre prestazioni, affidabilità ed efficienza eccezionali ed è la scelta ideale per le organizzazioni che desiderano sfruttare l'IA per ottenere un vantaggio competitivo. Sia che venga distribuita nel settore sanitario, finanziario, di media e intrattenimento, della produzione o della ricerca, questa soluzione fornisce l'infrastruttura robusta necessaria per supportare la prossima generazione di applicazioni di IA e per spianare la strada al futuro dell'innovazione basata sull'intelligenza artificiale in tutti i settori.
Topologia | Prodotto | Modello di resilienza | Mera capacità | Capacità utilizzabile | Specifiche dettagliate |
---|---|---|---|---|---|
Scale-up | SBB ibrido; | Parità tripla | 2.039 TB di mera capacità | 1.512 TB di capacità utilizzabile | link |
Scale-up | SBB solo memoria Flash | Parità doppia (4d+2p) | 737 TB di mera capacità | 553 TB di capacità utilizzabile | lik |
Scale-out | Hyper All-flash | EC2k+2m/REP3 | 1.106 TB di mera capacità | 533 TB di capacità utilizzabile | link |
Scale-out | 4U36 | EC4K+2m/REP3 | 3.974 TB di mera capacità | 2.513 TB di capacità utilizzabile | link |
Scale-out | 4U36 | EC8K+3m/REP3 | 8.342 TB di mera capacità | 5.786 TB di capacità utilizzabile | link |
Scale-out | Caricamento dall'alto a doppio nodo | EC8K+3m/REP3 | 11.981 TB di mera capacità | 8.406 TB di capacità utilizzabile | link |
Acronimi e informazioni aggiuntive.
SBB: Storage Bridge Bay.
EC: Codifica di cancellazione (Erasure Coding)
I termini "parità doppia" e "parità tripla" si riferiscono al numero di blocchi di parità utilizzati per fornire la ridondanza dei dati e la tolleranza ai guasti.
Le stringhe numeriche si riferiscono al modello di resilienza.