Trong thời đại công nghệ hiện nay, việc phát triển trí tuệ nhân tạo (AI) đã trở thành một trong những lĩnh vực nghiên cứu quan trọng nhất. Elon Musk, một trong những người sáng lập Tesla và SpaceX, đã quyết định tham gia vào cuộc đua này khi ông công bố kế hoạch xây dựng một siêu máy tính để đào tạo AI lớn nhất thế giới trong vòng 122 ngày.
Dự án này không chỉ là một thử thách kỹ thuật mà còn là một bước tiến mang tính cách mạng trong ngành công nghiệp AI. Bài viết này sẽ đi sâu vào quá trình phát triển của siêu máy tính, các ứng dụng tiềm năng của nó cũng như những thách thức mà Musk và đội ngũ của ông phải đối mặt.
Để tạo ra một siêu máy tính đào tạo AI có hiệu suất cao, Musk và đội ngũ của ông đã nghiên Colossus, siêu máy tính mà Elon Musk gọi là “lớn nhất thế giới về đào tạo AI”, đã đi vào hoạt động chỉ sau bốn tháng kể từ khi bắt đầu triển khai.
“Tuần này, xAI đã chính thức khởi động cụm đào tạo Colossus với 100.000 chip H100. Tất cả các bước từ khởi động đến hoàn thiện chỉ diễn ra trong 122 ngày,” Musk chia sẻ trên X vào ngày 3/9.
Musk khẳng định rằng Colossus hiện là hệ thống đào tạo AI mạnh mẽ nhất trên toàn cầu, và xAI dự định sẽ mở rộng quy mô lên đến 200.000 chip H100 hoặc mua thêm 50.000 chip H200 trong vài tháng tới. H200 hiện được xem là chip AI tối tân nhất của Nvidia, có hiệu năng gấp đôi so với H100.
Bên cạnh đó, Musk gửi lời cảm ơn tới đội ngũ Nvidia cùng các đối tác và nhà cung cấp đã giúp xAI hoàn thành hệ thống đúng theo lịch trình. Theo giới phân tích, tốc độ hoàn thành Colossus là rất ấn tượng, đặc biệt khi xét đến quy mô của dự án. Vào tháng 3, Musk lần đầu công bố kế hoạch xây dựng một hệ thống mang tên “Gigafactory of Compute” để phục vụ cho việc huấn luyện AI Grok. Đến tháng 5, ông đã cam kết sẽ trực tiếp giám sát việc phát triển siêu máy tính nhằm đảm bảo tiến độ, và một tháng sau đó, ông chọn Memphis, bang Tennessee, làm địa điểm cho dự án, mặc dù phải đối mặt với nhiều thách thức.
Theo thông tin từ Fortune, trung tâm của Musk hiện sở hữu khoảng 100.000 chip Nvidia H100, trở thành cụm AI lớn nhất và mạnh nhất thế giới. Nếu tăng lên 200.000 chip, vị trí thống trị của Colossus trong lĩnh vực đào tạo AI sẽ được củng cố thêm.
Cụm siêu máy tính này tại Memphis dự kiến sẽ huấn luyện thế hệ AI thứ ba của Musk, được gọi là Grok-3. Musk từng tiết lộ trên podcast của Jordan Peterson hồi tháng 7 rằng Grok-3 dự kiến sẽ ra mắt vào tháng 12 và trở thành AI mạnh nhất thế giới.
Trong khi đó, phiên bản beta của Grok-2 vừa được giới thiệu vào tháng trước. AI này được huấn luyện trên một hệ thống gồm 15.000 chip H100. Dữ liệu từ Imsys.org công bố ngày 24/8 cho thấy Grok-2 có sức mạnh tính toán rất lớn, đứng thứ hai chỉ sau ChatGPT với GPT-4o của OpenAI và Gemini 1.5 Pro của Google, vượt qua Llama 3.1 của Meta với 405 tỷ tham số.
Theo Business Insider, với những thông báo gần đây, cuộc đua AI giữa Elon Musk và CEO Meta, Mark Zuckerberg, ngày càng hấp dẫn, ít nhất là trong việc sở hữu số lượng chip H100. Ước tính từ Street Capital cho biết Musk hiện có khoảng 135.000 chip, trong khi Meta của Zuckerberg sở hữu khoảng 350.000 chip.
Zuckerberg đã tuyên bố vào tháng 1 rằng Meta sẽ có kho dự trữ 600.000 chip vào cuối năm. Tuy nhiên, đến nay, Meta chưa công bố số lượng chính xác đã mua. Vào tháng 7, công ty thông báo rằng Llama 3 đã được huấn luyện trên 16.000 chip và họ đang xây dựng một cụm 24.000 chip để phát triển các mô hình AI mới hơn.
