OpenAI wątpi w skuteczność akceleratorów Nvidia do inferencji i aktywnie poszukuje ich zastępstwa

Co dzieje się w świecie technologii AI
PunktKrótkoGłówne graczy OpenAI i Nvidia są uznawani za liderów rynku sztucznej inteligencji, ale szukają nowych partnerów. Wkrótce nastąpi transakcja Oczekuje się umowy na kwotę 100 mln dolarów między tymi firmami. Problem z akceleratorami Nvidia Obecne układy scalone Nvidia nie zawsze zapewniają potrzebną wydajność przy inferencji (użyciu już wytrenowanych modeli). OpenAI poszukuje alternatywy.

Jak rozwijane są nowe rozwiązania
1. OpenAI → Cerebras + Groq

- Firma chce zastąpić do 10 % swoich akceleratorów układami od zewnętrznych dostawców, które lepiej nadają się do inferencji.

- Partnerstwo z Cerebras zostało już zawarte: OpenAI będzie kupować u nich „królewskie akceleratory”, wyróżniające się w przetwarzaniu dużych modeli językowych.

2. Groq i Nvidia

- W zeszłym roku Nvidia przejęła Groq za 20 mln dolarów, proponując bardziej korzystną strukturę transakcji.

- Po zakupie Groq stracił część swojej autonomii: większość programistów akceleratorów przeniosła się do kadry Nvidia, a reszta firmy może teraz sprzedawać tylko oprogramowanie dla systemów chmurowych.

3. AMD i inne opcje

- OpenAI wciąż silnie zależy od akceleratorów Nvidia i AMD, które wykorzystują zewnętrzną pamięć HBM.

- Do inferencji lepiej nadają się układy z dużą ilością zintegrowanej pamięci – właśnie takie oferuje Groq, Cerebras i Google.

Dlaczego to wszystko jest ważne
- Wydajność inferencji jest krytycznie ważna dla pracy dużych modeli językowych (ChatGPT, Codex).

- Problem w Codex – podczas rozwoju agenta AI Codex OpenAI napotkała na nieefektywność akceleratorów Nvidia. To podkreśla potrzebę zmiany platformy sprzętowej.

- Przyszła alternatywa – OpenAI planuje korzystać z rozwiązań Cerebras i ewentualnie innych układów, aby zwiększyć wydajność swoich narzędzi dla programistów.

Wnioski
OpenAI aktywnie poszukuje nowych partnerów technologicznych, aby nie być całkowicie zależnym od Nvidia. Jednocześnie firma rozwija strategię inwestycji w startupy (Cerebras, Groq) oraz rozważa duże transakcje z Nvidia i potencjalne inwestycje do 100 mln dolarów. To pomoże poprawić inferencję i przyspieszyć rozwój produktów AI.