Elon Muskin AI-start-up, xAI, ilmoitti äskettäin, että ”Colossus”, maailman tehokkain tekoälyä harjoittava supertietokone, on nyt verkossa. Tämä Memphisissä, Tennesseessä sijaitseva uusi tekoäly-supertietokone rakennettiin vain neljässä kuukaudessa (122 päivässä).
Uusi xAI-koulutusklusteri rakennettiin käyttämällä 100 000 NVIDIA-benchmark Hopper H100 -grafiikkasuoritinta, erittäin kysyttyä komponenttia uusien AI-mallien koulutukseen. Tämä malli on suunniteltu kouluttamaan seuraavan sukupolven xAI:n suuri kielimalli (LLM), Grok.
Yhtiö aikoo myös kaksinkertaistaa grafiikkasuorittimen määrän 200 000:een muutamassa kuukaudessa lisäämällä vielä 50 000 sirua NVIDIAn uuteen, edistyneempään H200-sarjaan, joka tarjoaa paremman laskennallisen muistin.
Lisäksi NVIDIA:n uusissa vertailutason Hopper H200 -grafiikkasuorittimissa on jopa 141 Gt nopeampaa HBM3E-muistia, toisin kuin H100, jossa on jopa 80 Gt HBM3-muistia.
Tänä viikonloppuna, @xAI tiimi toi Colossus 100k H100 -koulutusklusterin verkkoon. Alusta loppuun se tehtiin 122 päivässä.
Colossus on maailman tehokkain tekoälykoulutusjärjestelmä. Lisäksi se kaksinkertaistuu kooltaan 200 000 (50 000 H200s) muutamassa kuukaudessa.
Erinomainen…
– Elon Musk (@elonmusk) 2. syyskuuta 2024
”Tänä viikonloppuna xAI-tiimi toi Colossus 100K H100 -koulutusklusterimme verkkoon. Alusta loppuun se tehtiin 122 päivässä. Colossus on maailman tehokkain tekoälykoulutusjärjestelmä. Lisäksi sen koko kaksinkertaistuu 200K (50K H200s) muutamassa kuukaudessa. Erinomaista työtä tiimiltä, NVIDIAlta ja monilta kumppaneiltamme/toimittajiltamme”, Musk twiittasi X:ssä (entinen Twitter).
“Jännittävää nähdä, että Colossus, maailman suurin GPU #supertietokone, tulee verkkoon ennätysajassa. Colossuksen tehonlähteenä on @nvidian #acceleratedcomputing-alusta, joka tarjoaa läpimurto suorituskyvyn ja poikkeuksellisia hyötyjä #energiatehokkuudessa. Onnittelut koko joukkueelle!” NVIDIA Data Centerin X-kahva kirjoitti sen alustalle.
NVIDIA GPU maksaa noin 30 000 dollaria, mikä viittaa siihen, että Musk käytti vähintään 3 miljardia dollaria uuden supertietokoneen rakentamiseen, laitokseen, joka vaatii myös huomattavia sähkö- ja jäähdytysresursseja.
Tällä hetkellä Muskin Grok 2, xAI:n toisen sukupolven tekoälymalli, joka on koulutettu 15 000 H100-grafiikkasuorittimella, on saatavilla yksinomaan X premium- ja X premium plus -tilaajille, joilla on kuvan ja tekstin luontiominaisuudet. Hän sanoi, että se odottaa julkaisevansa xAI:n kolmannen sukupolven tekoälymallin Grok-3:n joulukuuhun mennessä.
