Zdolności AI osiągają wyżyny — twierdzą założyciele Andreessen Horowitz. Powtarzają obawy współzałożyciela OpenAI Ilyi Sutskevera

Inwestorzy z Andreessen Horowitz wskazują na niedobory danych i ograniczenia obliczeniowe jako kluczowe bariery dla dalszego szybkiego postępu.

W podcaście opublikowanym w zeszłym tygodniu Marc Andreessen zauważył, że podczas gdy GPT-3.5 od OpenAI było "kiedyś znacznie przed konkurencją", obecnie już tak nie jest. "Jest co najmniej sześć innych modeli AI, które są na równi z tym od OpenAI. W pewnym sensie osiągają ten sam sufit zdolności".

Ta obserwacja jest zgodna z niedawnymi wypowiedziami Ilyi Sutskevera, współzałożyciela OpenAI i Safe Superintelligence (SSI), który przyznał, że wyniki tradycyjnych podejść do skalowania AI osiągnęły maksimum. "Lata 2010 były erą skalowania, teraz znów jesteśmy w erze cudów i odkryć" — powiedział Sutskever w wywiadzie dla Reuters.

Pomimo tych wyzwań Andreessen Horowitz utrzymuje znaczące inwestycje w AI. Fundusz nawet ustanowił program wypożyczania GPU, aby zaradzić krytycznemu niedoborowi sprzętu komputerowego.

Ben Horowitz podkreślił wiele wyzwań infrastrukturalnych poza dostępnością chipów. "Kiedy firmy już zdobędą chipy, nie będziemy mieli wystarczającej mocy, a kiedy będziemy mieli moc, nie będziemy mieli wystarczającego chłodzenia" — wyjaśnił.

AI ma problemy

Niedobór danych stanowi kolejny istotny problem. Według Inicjatywy Pochodzenia Danych, między kwietniem 2023 a 2024 r. strony internetowe ograniczyły 5% wszystkich danych i 25% źródeł danych wysokiej jakości z użycia w szkoleniu AI. To ograniczenie doprowadziło do nieoczekiwanego trendu: firmy AI zatrudniają ludzkich ekspertów do ręcznego generowania danych szkoleniowych.

"Duże modele są szkolone poprzez przeszukiwanie internetu... i to by było na tyle" — zauważył Andreessen. Wskazał na ironię, że firmy AI teraz "zatrudniają tysiące programistów, lekarzy i prawników, aby faktycznie ręcznie pisać odpowiedzi na pytania" do celów szkoleniowych na potrzeby AI.

Ta sytuacja stworzyła to, co Andreessen opisuje jako boom zatrudnienia w AI, co kontrastuje z powszechnymi obawami o wypieranie miejsc pracy przez AI. Ludzie są potrzebni, aby... AI miała z czego czerpać wiedzę. Więcej ciekawych informacji i wniosków można znaleźć w raporcie "TOP 100 firm AI Driven w regionie CEE 2024", który miał dzisiaj premierę.