Niech żyje wolność i swoboda

Po co nam PLLuM?

Kiedy pojawił się ChatGPT i jeszcze nikt się nim nie interesował, na Politechnice Wrocławskiej kierowałem zespołem, który był jednym z pierwszych zespołów na świecie tak dogłębnie testujących to narzędzie. Pierwsza wersja modelu OpenAI była gorsza niż obecny PLLuM, a my dzięki badaniom doskonale wiedzieliśmy, co ChatGPT potrafi, a z czym sobie nie radzi.

Co was wówczas najbardziej zaskoczyło?

To, jak on słabo posługiwał się językiem polskim – robił mnóstwo literówek i błędów gramatycznych, wplatał wiele anglicyzmów. Jednocześnie byliśmy pod wrażeniem jego możliwości i potencjału rozwoju, więc momentalnie – wraz ze współpracownikami z Politechniki Wrocławskiej – stwierdziliśmy, że warto byłoby zbudować podobne narzędzie, ale posługujące się naszym językiem. Byliśmy świeżo po projekcie CLARIN-PL, na który pozyskaliśmy 130 mln zł dofinansowania – za te pieniądze kupiliśmy m.in. całkiem potężny klaster obliczeniowy – więc mieliśmy już pewne doświadczenie, jak również potrzebne moce obliczeniowe.

Czyli na poziomie wiedzy nie byliście daleko za OpenAI.

Szybko adaptowaliśmy innowacyjne technologie, choć oczywiście w znacznie mniejszej skali. ChatGPT nie był pierwszy, jeśli chodzi o modele konwersacyjne, ale stał się triggerem dla wielu zespołów, by pracować ze sztuczną inteligencją. OpenAI podjęło świetną decyzję – wiedzieli, że mają niedoskonałe narzędzie, ale i tak pokazali je światu. No i nastąpił przełom.

Pod koniec 2023 r. szukaliśmy możliwości, w jaki sposób można byłoby zrealizować tego typu projekt. Odezwaliśmy się do Ministerstwa Cyfryzacji – jeszcze za poprzedniej władzy – gdzie stwierdzono, że nasz pomysł jest dobry, więc go sfinansują. Stworzyliśmy konsorcjum złożone z organizacji mających doświadczenie w przetwarzaniu języka naturalnego, co było kluczowe, by na poważnie ruszyć z działaniami. Projekt przetrwał zmianę władzy, ponieważ od początku był ponad podziałami, a my przekonywaliśmy, że konieczne jest inwestowanie we własne technologie, w pewnym stopniu zgodne z lokalną wizją świata.

Na ile szeroka jest wiedza na temat tego, jak tworzyć modele językowe? To jest tak, że większość naukowców działających w tej dziedzinie mniej więcej rozumie mechanizmy, czy jednak wymagane jest kreatywne, pomysłowe podejście?

Wiedza teoretyczna jest większa niż praktyczna – w teorii modele autoregresywne nie są aż tak skomplikowane, przynajmniej, jeśli chodzi o założenia ich architektury. Co do zasady trening takiego modelu polega na tym, że najpierw model uczy się przewidywania kolejnych słów. W praktyce jednak mało kto ma dostęp do odpowiednio dużych mocy obliczeniowych, łącznie z nami, a masowo produkowany sprzęt bywa niedoskonały. Nasz zespół jest w stałym kontakcie z Nvidią i zdarzyły...