Elon Musk Builds the Strongest AI Training System in the World, Completed in 122 Days

Elon Musk Builds the World's Strongest AI Training System, Completed in 122 Days (Photo: Nvidia)

HOLIDAY NEWS - Elon Musk's xAI company launched a massive batch of new training chips online over the weekend. It claims to be the most powerful AI training system in the world.

The system, nicknamed Colossus, was built in Memphis, Tennessee using 100,000 Nvidia chips, specifically the H100 GPU. Musk said the cluster was built in 122 days and doubled in size within months as CPUs were added.

"This weekend, the @xAI team launched our Colossus 100k H100 training cluster online. From start to finish, the training was completed in 122 days. Colossus is the world's most powerful AI training system. Additionally, the size will double to 200k (50k H200) in a few months. "Great work by the team, Nvidia, and our many partners/suppliers," Musk said in a tweet on his X account.

Musk confirmed the size of the cluster in July. This size allows him to catch up with Mark Zuckerberg. Zuckerberg and Musk's ambitions, especially Musk relies on high-performance GPUs to provide the computing power needed for advanced AI models.

Providing high-performance GPUs is neither easy nor cheap. The hype about AI since the launch of ChatGPT at the end of 2022 has made companies scramble to get Nvidia GPUs, as quoted by Business Insider, Wednesday (4/9/2024). In some cases, chips have been sold for more than 40,000 US dollars. Despite access constraints, the company has worked to secure GPU supply at all costs and leverage it to outperform competitors.

Elon Musk Bangun Sistem Pelatihan AI Terkuat di Dunia, Rampung dalam Waktu 122 Hari

HOLIDAY NEWS - Perusahaan xAI Elon Musk meluncurkan sekumpulan besar chip pelatihan baru secara daring selama akhir pekan. Ini diklaim menjadi sistem pelatihan AI terkuat di dunia.

Sistem yang dijuluki Colossus itu dibangun di Memphis, Tennessee menggunakan 100.000 chip Nvidia, khususnya GPU H100. Musk mengatakan klaster itu dibangun dalam 122 hari dan berukuran dua kali lipat dalam beberapa bulan seiring dengan penambahan CPU.

"Akhir pekan ini, tim @xAI meluncurkan klaster pelatihan Colossus 100k H100 kami secara daring. Dari awal hingga akhir, pelatihan ini diselesaikan dalam waktu 122 hari. Colossus adalah sistem pelatihan AI terkuat di dunia. Selain itu, ukurannya akan berlipat ganda menjadi 200k (50k H200) dalam beberapa bulan. Kerja yang luar biasa oleh tim, Nvidia, dan banyak mitra/pemasok kami," kata Musk dalam cuitan di akun X-nya.

Musk mengonfirmasi ukuran klaster pada Juli. Ukuran tersebut memungkinkan dia mengejar ketertinggalannya dari Mark Zuckerberg. Ambisi Zuckerberg dan Musk, khususnya Musk bergantung pada GPU berkinerja tinggi untuk menyediakan daya komputasi yang diperlukan model AI canggih.

Penyediaan GPU berkinerja tinggi tidak mudah dan murah. Hype soal AI sejak peluncuran ChatGPT pada akhir 2022 telah membuat perusahaan berebut mendapatkan GPU Nvidia, sebagaimana dikutip dari Business Insider, Rabu (4/9/2024).

Dalam beberapa kasus, chip telah dijual dengan harga lebih dari 40.000 dolar AS. Meskipun ada kendala akses, perusahaan telah berupaya mengamankan pasokan GPU dengan cara apa pun dan memanfaatkannya untuk mengungguli para pesaing.