🏭 Colossus 2: Das Biest von Memphis
Elon Musk nennt es "die stärkste KI-Trainings-Infrastruktur der Welt", und die Zahlen geben ihm recht. In Rekordzeit wurde die bestehende Anlage in Memphis erweitert. Wo zuvor "nur" 100.000 H100-Einheiten arbeiteten, summen nun zusätzlich 100.000 der neueren Nvidia H200 Chips. Quelle: DataCenterDynamics
Die schiere Dimension ist schwer zu greifen: Es handelt sich um einen einzigen, zusammenhängenden RDMA-Cluster (Remote Direct Memory Access), was bedeutet, dass alle 200.000 GPUs so kommunizieren können, als wären sie ein einziger riesiger Computer. Latenzzeiten sind praktisch eliminiert.
🚀 Warum H200? Der Speicher-Vorteil
Der Wechsel von H100 auf H200 ist nicht nur kosmetisch. Der entscheidende Vorteil liegt im Speicher:
- HBM3e Speicher: Die H200 bietet 141 GB Speicher pro GPU (fast doppelt so viel wie die H100 mit 80 GB).
- Bandbreite: 4.8 TB/s Speicherbandbreite.
Für das geplante 6-Billionen-Parameter-Modell von Grok 5 ist das essenziell. Große "Mixture of Experts" (MoE) Modelle benötigen extrem schnellen Zugriff auf ihre Parameter, um effizient zu laufen. Die H200 erlaubt es, größere Teile des Modells direkt im GPU-Speicher zu halten, was das Training massiv beschleunigt.
⚡ Gigawatt-Herausforderung: Wenn das Netz glüht
Mit großer Rechenkraft kommt große Stromrechnung. Analysten schätzen den Energiebedarf von Colossus 2 unter Volllast auf über 150 Megawatt – genug, um eine mittelgroße Stadt zu versorgen. xAI arbeitet eng mit den lokalen Versorgern in Tennessee zusammen und setzt zusätzlich auf riesige Tesla Megapack-Batteriespeicher, um Lastspitzen abzufedern.
Kritiker warnen vor der Belastung des lokalen Stromnetzes, doch Musk argumentiert, dass die Abwärme der Anlage genutzt werden könnte – konkrete Pläne dazu fehlen jedoch noch.
🔮 Was das für Grok 5 bedeutet
Die Fertigstellung von Colossus 2 ist das fehlende Puzzleteil für den verschobenen Grok-5-Launch. Die Software-Architektur steht, die Daten sind da (dank X/Twitter) – nun ist auch die "Hardware-Autobahn" fertig, auf der das Modell trainiert werden kann.
Wenn das Training jetzt beginnt, ist der Release-Termin Q1 2026 realistisch. Es bleibt ein Wettlauf gegen die Zeit – und gegen die Physik.