Startup współtworzony przez Polaka zebrał ponad 5 mln dol. Wyliczy, ile mocy potrzebuje AI
Rundzie inwestycyjnej przewodził fundusz Crane Venture Partners. W finansowaniu wzięły udział również PXN Ventures oraz aniołowie biznesu – w tym byli pracownicy naukowi DeepMind i liderzy zespołów budujących infrastrukturę AI.
Puste przebiegi procesorów i szacowanie „na oko”
Dostęp do nowoczesnych procesorów graficznych (GPU) to obecnie jedno z najwęższych gardeł globalnego rynku technologicznego. Czas oczekiwania na dostawy nowego sprzętu wynosi nawet wiele miesięcy, a rozbudowę kolejnych centrów danych skutecznie hamują limity dostępności energii elektrycznej, możliwości chłodzenia czy ograniczenia planistyczne. Paradoks polega na tym, że firmy bardzo często nie wykorzystują nawet tej infrastruktury, którą już posiadają.
Z danych branżowych przytaczanych przez Expanse wynika, że około 30 proc. wydatków na chmurę obliczeniową przepada przez tzw. over-allocation, czyli zamawianie zbyt dużych zasobów w stosunku do realnych potrzeb. Co więcej, badania opublikowane przez Microsoft Research wykazały, że wewnętrzne zadania z obszaru głębokiego uczenia się (deep learning) wykorzystują średnio zaledwie około 50 proc. możliwości procesorów GPU.
Przyczyną tych strat jest trudność w oszacowaniu zapotrzebowania przed uruchomieniem danego zadania. Programiści i inżynierowie zmuszeni są z góry przewidywać, ile mocy, pamięci i czasu będzie wymagał dany model. Z obawy przed przerwaniem obliczeń i awarią zadania, niemal zawsze zamawiają zapas „z górką”.
– Dzisiaj każde zadanie z zakresu AI zaczyna się od zgadywania opartego na domysłach – zauważa Ismaeel Bashir, współzałożyciel i dyrektor generalny Expanse. – Inżynierowie nie powinni być zmuszani do dokładnego przewidywania, ile mocy obliczeniowej zużyje ich kod, zanim w ogóle nacisną przycisk uruchomienia. To maszyna powinna brać na siebie niepewność, a nie człowiek.
Diagnoza przed startem, a nie po fakcie
Większość tradycyjnych narzędzi monitorujących (tzw. observability) pokazuje zużycie zasobów dopiero po fakcie – gdy zadanie obliczeniowe już się zakończy. Expanse działa zupełnie inaczej: platforma analizuje kod jeszcze przed jego realizacją i prognozuje dokładną konfigurację, jakiej będzie potrzebował: liczbę GPU, CPU, ilość pamięci operacyjnej oraz planowany czas trwania.
Dzięki temu organizacje unikają błędów, ograniczają nadmiarowe koszty i realizują więcej zadań bez dokupywania kolejnych maszyn. Co kluczowe dla ochrony własności intelektualnej i suwerenności danych, oprogramowanie instaluje się bezpośrednio w chmurze lub w infrastrukturze lokalnej (on-premises) klienta. Kod źródłowy oraz dane telemetryczne nigdy nie opuszczają bezpiecznego środowiska użytkownika.
Skuteczność modelu potwierdziło już jedno z pierwszych wdrożeń na środowisku produkcyjnym: narzędzie Expanse w zaledwie jeden miesiąc wykryło bezczynną, niewykorzystaną moc obliczeniową wartą niemal 8 milionów dolarów (danych klienta nie ujawniono).
Czwórka inżynierów z Edynburga
Za stworzeniem Expanse stoi czterech inżynierów – absolwentów prestiżowego Uniwersytetu w Edynburgu: Polak Nikodem Bieniek oraz Ismaeel Bashir, Eren Mendi i Yafet Melake. Wszyscy mają za sobą bogate doświadczenie w budowie i zarządzaniu wielkoskalową infrastrukturą serwerową w branży finansów ilościowych (quantitative finance) oraz w narodowych centrach superkomputerowych.
To właśnie podczas pracy w Edinburgh Parallel Computing Centre (EPCC) Ismaeel Bashir opracował multimodalny system przewidywania zapotrzebowania na zasoby w obliczeniach wielkiej skali (HPC), który stał się nowym punktem odniesienia dla branży. Doświadczenia te założyciele postanowili zaadaptować na potrzeby infrastruktury sztucznej inteligencji, gdzie planowanie zasobów wciąż w zbyt wielu przypadkach opiera się na ręcznym szacowaniu.
Podejście twórców spotkało się z dużym entuzjazmem inwestorów, którzy podkreślają, że nadchodzi era optymalizacji istniejących serwerowni.
– Przyszłości AI nie zdefiniuje wyłącznie to, kto zbuduje największe klastry, ale to, kto wykorzysta je najbardziej inteligentnie – podkreśla Scott Sage, współzałożyciel i partner w funduszu Crane Venture Partners. – Expanse daje organizacjom coś, czego nie mają dzisiaj: pewność. Przewidując dokładnie, czego potrzebuje każde zadanie obliczeniowe, zanim w ogóle ruszy, klienci odzyskują istniejącą przepustowość, zmniejszają marnotrawstwo i wydłużają cykl życia jednej z najcenniejszych infrastruktur na świecie. Wierzymy, że to nowa i niezwykle istotna kategoria w infrastrukturze AI.
Z kolei Andy Barrow, dyrektor zarządzający w funduszu PXN Ventures, wskazuje na konieczność wspierania programistów pracujących pod presją rosnących wymagań:
– Powszechne wdrożenie sztucznej inteligencji przez firmy i zwykłych użytkowników doprowadziło do bezprecedensowego skupienia się na infrastrukturze potrzebnej do obsługi tej technologii oraz na wielu wyzwaniach, z którymi mierzą się inżynierowie. Jak trafnie zidentyfikował Expanse, jednym z nich jest optymalizacja i pomoc przedsiębiorstwom w lepszym wykorzystaniu posiadanych zasobów obliczeniowych, co obniża koszty bieżące i zwiększa skalowalność. Fundusz PXN z dumą wspiera Ismaeela i jego zespół, którzy stawiają temu problemowi czoła.
Inwestycje w zespół i ekspansja rynkowa
Pozyskane w rundzie zalążkowej 5,3 mln dolarów zostanie przeznaczone przede wszystkim na rozbudowę zespołu inżynierskiego, przyspieszenie prac nad rozwojem platformy oraz wprowadzenie rozwiązania do nowych sektorów gospodarki.
Firma celuje w branże, w których zapotrzebowanie na moc obliczeniową jest olbrzymie, kosztowne i trudne do zaplanowania. Poza samymi twórcami infrastruktury AI, system Expanse ma trafiać do podmiotów z obszaru finansów ilościowych, nauk przyrodniczych i medycznych (life sciences), jednostek naukowo-badawczych oraz sektora superkomputerów (high-performance computing – HPC).
Główna idea startupu pozostaje niezmienna: zamiast nieustannie dokupywać drogie karty i czekać na rozbudowę centrów danych, firmy powinny w pierwszej kolejności odzyskać tę moc, za którą już zapłaciły.
