Sztuczna inteligencja napotyka fundamentalny problem: chociaż modele stały się coraz wydajniejsze, brakuje im dostępu do aktualnych, ustrukturyzowanych danych z internetu na skalę wymaganą przez przedsiębiorstwa. Sieć internetowa nie została zaprojektowana do automatycznego odkrywania i pobierania informacji, którą wymagają nowe aplikacje AI, co stanowi wrodzone ograniczenie architekturalne internetu.
Aby przezwyciężyć to wyzwanie, potrzebna jest nowa warstwa infrastruktury dedykowana danym internetowym. Taka warstwa musiałaby poruszać się po setkach milionów istniejących domen i miliardach nowych adresów URL tworzonych każdego tygodnia, dostarczając informacje w czasie rzeczywistym i pokonując bariery techniczne. Or Lenchner, dyrektor generalny Bright Data - platformy do zbierania danych z sieci - porównuje to do eksploracji wszechświata: dane istnieją, ale nie wiadomo, co się nie zna. Firmy takie jak Bright Data pracują nad tym, aby umożliwić modelom AI dostęp do świeżych, istotnych i wiarygodnych danych.
Do tej pory postęp w AI był napędzany skalowaniem danych treningowych i rozmiaru modeli, ale organizacje napotykają nowy problem: muszą być w stanie śledzić dynamiczną, niestrukturyzowaną i stale zmieniającą się naturę danych internetowych, aby uziemiać wyniki w aktualnych i weryfikowalnych informacjach. Wydajność AI coraz bardziej zależy nie tylko od architektury modelu, ale od całego systemu - mocy obliczeniowej, sieci i infrastruktury dostępu do danych.