Złożoność archiwizacji w sieci rośnie: Wayback Machine i Wikimedia mają niedobór miejsca na dyskach twardych

Kryzys przechowywania danych: jak wzrost cen nośników hamuje największe projekty archiwalne

Nośniki stają się coraz droższe i rzadziej dostępne, co utrudnia pracę organizacji, które codziennie zapisują ogromną ilość informacji z internetu.

1. Dlaczego ceny rosną
* Dyski twarde (HDD) kosztują teraz trzykrotnie więcej niż wcześniej.
* Rosnące zapotrzebowanie ze strony dużych korporacji i dostawców chmury zmusiło producentów do ograniczenia dostaw, co spowodowało niedobór.

2. Jak to wpływa na Internet Archive
Wskaźnik Wartość
Objętość pamięci masowej ~210 PB
Codzienny przepływ danych (Wayback Machine) ~100 TB
* Sztuczna inteligencja zwiększyła obciążenie: modele uczą się na ogromnych zestawach danych, które często pochodzą z archiwów.
* Idealne nośniki – 28–30 TB HDD – prawie nie występują w sprzedaży lub są sprzedawane po nadmiernie wysokich cenach.
* Organizacja zmuszona jest szukać sponsorów i otrzymywać jedynie porady od społeczności.

3. Problemy Wikimedia
* Na platformie znajduje się ponad 65 milionów artykułów – wymaga to dużych zasobów obliczeniowych i starannie rozplanowanego budżetu.
* Trudności pojawiają się przy:
* Zakupach pamięci i dysków;
* Dostawie serwerów;
* Planowaniu przyszłych zamówień.

4. Utrudnienie archiwizacji
* Duże modele językowe AI wykorzystują ogromne zestawy danych, które czasami są pozyskiwane nielegalnie.
* Właściciele stron blokują dostęp do swoich zasobów, nie rozróżniając „przestępców” i „uczciwych usług”, które zbierają dane w celach edukacyjnych.
* W rezultacie:
* Małymi entuzjastami zmuszani są ograniczać lub zawieszać pracę;
* Oczekiwanie na stabilizację cen nośników.

Wnioski
Rosnąca cena i niedobór HDD tworzą poważne bariery dla organizacji non-profit. Bez nowych źródeł finansowania i bardziej dostępnych technologii zachowanie historii internetu może stać się praktycznie niemożliwe.