Remigiusz Kinas stworzył jeden z najlepiej ocenianych modeli AI w międzynarodowym teście. Wyprzedził model OpenAI, Microsoftu oraz TypeSafe

JevBench porównuje modele AI przeznaczone przede wszystkim do szybkiego podejmowania konkretnych decyzji. Nie sprawdza, który model najlepiej napisze artykuł, stworzy kod czy poprowadzi rozmowę. Ocenia m.in. trafność decyzji, pewność odpowiedzi, koszt oraz szybkość działania.

Remigiusz Kinas skomentował wynik na LinkedIn: - basal-omni pl - TOP1 na świecie w modelach otwartych oraz TOP2 wśród zamkniętych i otwartych. (...) Czyli można? Można! Polskie AI.” - napisał. Warto zaznaczyć, że ranking JevBench zmienia się razem z kolejnymi wersjami i nowymi wynikami. Dlatego pozycje basala odnoszą się do konkretnego wydania v1.6.28 z 17 października.

Pierwsze miejsce wśród otwartych modeli

W wersji v1.6.28 basal-omni-1.0-ultra uzyskał wynik 82,5 pkt i zajął 1. miejsce wśród modeli z otwartymi wagami. W tej części zestawienia JevBench sklasyfikował 182 systemy. „Otwarte wagi” oznaczają, że model można uruchomić na własnej infrastrukturze, zamiast korzystać wyłącznie z usługi dostawcy przez internet.

Sam test obejmuje 1500 decyzji. Model dostaje dane wejściowe i musi wybrać jedną z możliwych odpowiedzi. Może np. zakwalifikować zgłoszenie klienta do odpowiedniego działu, ocenić dokument według określonych reguł albo zdecydować, czy sprawę powinien przejąć człowiek.

Model basal przed OpenAI, Microsoftem oraz TypeSafe

W szerszym zestawieniu v1.6.28, które obejmuje zarówno modele otwarte, jak i systemy dostępne przez API, basal-omni-1.0-ultra zajął 2. miejsce pod względem Capability Score. W tym samym zestawieniu model Kinasa osiągnął wynik wyższy od OpenAI Decisions API, Microsoft-Decision-1 czy pierwowzoru modeli decyzyjnych typy system-one TypeSafe jev. Trzeba jednak zachować precyzję: chodzi o konkretny benchmark i konkretną jego wersję, a nie o ogólne stwierdzenie, że basal jest „lepszy od Microsoftu” we wszystkich zastosowaniach AI.

To nie jest chatbot

Basal nie zastępuje ChatGPT, Claude’a czy Gemini. Remigiusz Kinas zaprojektował go do innego rodzaju pracy. Inspiracją był model jev TypeSafe. Model ma szybko analizować dane i wybierać jedną z dostępnych decyzji.

Może np. zdecydować, do którego działu skierować zgłoszenie, ocenić dokument, wskazać kolejny krok automatycznego agenta albo uznać, że sprawę trzeba przekazać człowiekowi.

To rozwiązanie ma sens tam, gdzie firma wykonuje tysiące podobnych operacji i nie potrzebuje za każdym razem długiej odpowiedzi generowanej przez duży model językowy. Jednocześnie model jest klasyfikatorem dynamicznym co oznacza, że nie trzeba go każdorazowo trenować wraz ze zmianą zadania klasyfikacyjnego. Schemat działania określa się w zapytaniu do modelu.

Basal analizuje także obrazy i dźwięk

Rodzina basal-omni obsługuje nie tylko tekst. Jest to model multimodalny, który obsługuje dodatkowo obrazy i dźwięk. Basal potrafi podjąć decyzję na podstawie kilku typów danych. Autor sam zaznacza jednak, że część tych funkcji ma nadal charakter eksperymentalny i wymaga walidacji na własnych danych przed użyciem w firmie.

Basal to ekosystem

Basal to nie tylko sam model. Wokół niego Remigiusz Kinas zbudował zestaw narzędzi potrzebnych do uruchomienia go w firmie. Podstawą jest silnik inferencji basal-serve, który zamienia model w usługę. 

- Silnik obsługuje wybór jednej lub kilku odpowiedzi, odpowiedź tak, nie lub nie wiadomo, ocenę na skali oraz wybór kolejnego kroku dla agenta AI. Od wersji 2.1 dochodzą gotowe zadania, takie jak klasyfikacja, sprawdzanie, czy twierdzenie wynika z dokumentu, czy wyciąganie danych z faktur. Każda odpowiedź mówi też, czy model może zdecydować sam przy wybranym poziomie błędu, np. 1 proc., czy sprawę lepiej przekazać człowiekowi - przekazuje nam twórca modelu.

Silnik jest zoptymalizowany pod różny sprzęt. Działa na kartach NVIDIA, także przez vLLM, a część modeli również na komputerach Mac oraz w formatach GGUF i Ollama. W zapowiedzianej wersji 2.2 firma będzie mogła sama skalibrować model na własnych danych, tak by deklarowana pewność odpowiedzi odpowiadała jej rzeczywistym przypadkom.

- Kod silnika jest dostępny na GitHubie, a modele basal-omni na Hugging Face. Całość można więc uruchomić na własnych serwerach, bez wysyłania danych do zewnętrznego dostawcy, co ma znaczenie przy dokumentach objętych tajemnicą przedsiębiorstwa czy RODO - zaznacza Remigiusz Kinas.

Na stronie projektu basal.si5.pl autor pokazuje przykłady zastosowań biznesowych i udostępnia demo, w którym model można sprawdzić na własnych przykładach. Wdrożenie nie wymaga trenowania modelu. Wystarczy uruchomić silnik na własnym serwerze, opisać decyzję w zapytaniu i sprawdzić wyniki na kilkuset własnych przypadkach. Na początek model może decydować sam tylko wtedy, gdy jest wystarczająco pewny, a resztę przekazywać pracownikowi. Zakres automatyzacji można potem stopniowo zwiększać.

Basal to nie Bielik

Remigiusz Kinas jest współtwórcą Bielika, ale basal to osobny projekt. Część modeli z rodziny basal korzysta z Bielika jako bazy. Basal-omni-1.0-ultra, który w wersji v1.6.28 zajął 1. miejsce wśród modeli otwartych, bazuje jednak na Gemma 4 od Google.

To rozróżnienie ma znaczenie. Pierwszego miejsca w tym wydaniu JevBench nie zdobył Bielik, tylko osobny model rozwijany przez Remigiusza Kinasa.