Andrzej Karpaty nauczył agentów AI wykonywać setki eksperymentów w nocy, kiedy ludzie odpoczywają

Andrej Karpathy otwiera nowy sposób na samodzielne badania

Były szef projektów AI Tesli i współzałożyciel OpenAI, Andrej Karpathy, ogłosił uruchomienie prostego, ale potężnego projektu open source. Skrypt składa się z 630 linii i jest dostępny na GitHubie. Nie twierdzi on, że jest gotowym modelem czy dużym produktem korporacyjnym; celem jest pokazanie, jak agenty AI mogą całkowicie zautomatyzować metodę naukową bez ingerencji człowieka.

> „Naszym zadaniem jest stworzenie agentów, które nieskończenie szybko postępują w badaniach, nawet nocą” – napisał Karpathy na X. Wiadomość natychmiast stała się wirusowa i zebrała ponad 8,6 mln wyświetleń w ciągu dwóch dni.

Jak działa system
1. Inicjalizacja

Agent otrzymuje skrypt szkoleniowy i stały budżet obliczeniowy (zwykle 5 minut na GPU).

2. Samoanaliza kodu

Czyta własny kod źródłowy, formułuje hipotezę ulepszenia (np. zmiana szybkości uczenia się lub głębokości modelu).

3. Modyfikacja i uruchomienie eksperymentu

Wprowadza zmiany, uruchamia eksperyment i ocenia wyniki.

4. Sprawdzenie efektywności

Jeśli metryka *val_bpb* (straty na bajt przy walidacji) się poprawia, zmiana jest zachowana; w przeciwnym razie wycofuje się i generuje nową hipotezę.

W ciągu jednej nocy agent przeprowadził 126 eksperymentów, obniżając straty z 0,9979 do 0,9697. Po dwudniowej konfiguracji przetworzył około 700 samodzielnych zmian, odkrywając ~20 dodatkowych ulepszeń, które skutecznie przeniosły się na większe modele.

Karpathy zauważył: „Patrzenie, jak agent całkowicie zarządza procesem od początku do końca, jest niesamowite. Znaleźli błędy w skalowaniu uwagi i regulacji, których pomijałem przez 20 lat pracy”.

Co mówią eksperci
Automatyzacja metody naukowej uznawana jest za fundamentalny przełom w rozwoju AI. Przemieniając uczenie maszynowe w „proces ewolucyjny” z prędkością krzemu, Karpathy otworzył nowe horyzonty dla badań nie tylko w IT, ale także w marketingu, opiece zdrowotnej i innych dziedzinach.

Przykłady praktycznego zastosowania
PartnerOpis eksperymentuWynikiHyperspace AI (Varun Mathur)35 samodzielnych agentów pracowało w sieci peer-to-peer, korzystając z laptopowych CPU. W nocy przeprowadzili 333 eksperymenty bez operatora, odkrywając strategie inicjalizacji (Kaiming, Xavier) i normalizacji (RMSNorm).Single Grain (Eric Siu)Automatyzacja cyklu marketingowego: agent zmienia zmienne na stronach docelowych, kreacjach reklamowych lub mailach.Mierzy „procent pozytywnych odpowiedzi”, zachowuje udane zmiany i usuwa nieefektywne.

Wniosek
Karpathy pokazał, jak proste skrypty mogą stać się potężnymi narzędziami do samouczących się agentów AI. Zautomatyzowany cykl optymalizacji pozwala przeprowadzać setki eksperymentów w nocy, wykrywając ulepszenia, które wcześniej wymagały lat badań. Otwiera to drogę do szybszego i bardziej skalowalnego rozwoju modeli w różnych obszarach.