Anthropic przedstawiła sposób awaryjnego zatrzymania rozwoju sztucznej inteligencji

Anthropic nawołuje do „samograniczenia” rozwoju sztucznej inteligencji

Firma Anthropic, znana z działań w dziedzinie etyki sztucznej inteligencji, ponownie znalazła się w centrum uwagi po konflikcie z Pentagonem na początku roku. W tym tygodniu startup zwrócił się do przedstawicieli branży z prośbą o gotowość ograniczania rozwoju technologii, jeśli zaczną stanowić zagrożenie utraty kontroli przez człowieka.

Kluczowe punkty wezwania

* Pełne rekurencyjne samodoskonalenie SI może doprowadzić do sytuacji, w której systemy będą tworzyć swoich „następców” bez udziału człowieka.

* W takim przypadku kluczowe stają się możliwości monitorowania i ograniczania zachowań tych systemów.

> „Jeśli systemy zyskają zdolność samodzielnego tworzenia swoich następców, ogromne znaczenie nabierze nasza zdolność do kontrolowania, monitorowania ich i ograniczania ich zachowań”, – mówi oświadczenie Anthropic.

Dlaczego to ważne?

W poprzednim miesiącu ponad 80 % nowego kodu używanego przez firmę zostało wygenerowane przez jej własnego agenta Claude. Potwierdza to, że Anthropic wie, o czym mówi: jeśli SI sama tworzy nowe wersje siebie, kontrola nad nią staje się coraz trudniejsza.

Przedstawiciele startupu uważają, że cały świat musi mieć możliwość spowolnienia lub wstrzymania rozwoju zaawansowanych modeli, aby dać społeczeństwu czas na adaptację i przeanalizowanie zmian. Jednocześnie koordynacja działań wszystkich uczestników rynku jest krytyczna: bez skoordynowanych środków nieuczciwi gracze mogą zaszkodzić bezpieczeństwu publicznemu.

Plany firmy

* W najbliższych miesiącach Anthropic zamierza opracowywać narzędzia monitorowania niebezpiecznych trendów w rozwoju SI.

* Równocześnie będzie prowadzić pracę społeczną nad dyskusją regulacyjną i tworzeniem organu nadzorczego, który będzie mógł wprowadzać tryb „samograniczenia”.

Jak podkreśla firma, jedna organizacja nie może samodzielnie zmienić sytuacji. Potrzebna jest wspólna praca wszystkich czołowych twórców SI, aby zapewnić bezpieczny rozwój technologii.