Jak wytrenować potwora

Na początku stycznia nowojorskie szkoły zablokowały uczniom dostęp do strony ChatGPT od OpenAI. Nauczyciele byli przerażeni – uczniowie zamiast wykonywać prace domowe, po prostu zlecali ich wykonanie sztucznej inteligencji. – Mimo że narzędzie może udzielać szybkich i prostych odpowiedzi na pytania, nie rozwija krytycznego myślenia i umiejętności rozwiązywania problemów, które są niezbędne w procesie nauki oraz sukcesu w życiu – skomentowała tę decyzję Jenna Lyle, rzecznika departamentu edukacji w nowojorskim magistracie.

W przypadku ChatGPT zdecydowanie nie jest to przesada. To niezwykłe narzędzie, które odpowie na niemal każde pytanie, przygotuje rozprawkę, wiersz albo rozwiąże zadanie matematyczne. Stworzy ono programy np. w języku Python, wyjaśni zawiłości fizyki kwantowej czy… pomoże w pisaniu tekstów. W bardzo dużym skrócie, ChatGPT to narzędzie bazujące na NLP (przetwarzanie języka naturalnego), które dzięki wytrenowaniu potrafi udzielić mniej lub bardziej satysfakcjonujących odpowiedzi na wiele pytań, a także samodzielnie przygotować teksty na wskazane tematy. Spokojnie, wszystkie powyższe słowa zostały napisane samodzielnie przez autora.

Koniec z frazesami

Chat OpenAI to narzędzie do automatycznej komunikacji z użytkownikami, które opiera się na językowym modelu uczenia maszynowego opracowanym przez OpenAI. Dzięki tej technologii chatbot może rozumieć naturalne językowe pytania i polecenia użytkowników oraz odpowiadać na nie za pomocą naturalnego języka. OpenAI nie tylko dostarcza narzędzie do automatycznej komunikacji, ale też udostępnia API, które pozwala na wykorzystanie modelu GPT-3 do różnych zastosowań, jak generowanie tekstu, tłumaczenie, rozpoznawanie mowy, czy analiza tekstu.

Powyższy akapit jest już w całości dziełem sztucznej inteligencji. Błędy językowe czy składniowe, które każdy powinien od razu wychwycić, również. Na razie Chat OpenAI szczególnie w języku polskim jest daleki od doskonałości. Mimo to jego praca robi wrażenie, szczególnie jeśli poprosimy go o np. napisanie wiersza w stylu Wisławy Szymborskiej.

W praktyce dzięki AI ludzie zaczęli tworzyć to, czego… nigdy nie potrzebowali, w skali, jakiej jeszcze nie było. W odróżnieniu od NFT taka technologia ma jednak gigantyczne zastosowanie praktyczne. Przykładowo może automatyzować pisanie maili, zbierać informacje, których potrzebujemy użyć w pracy, czy też sprawdzić, w którym miejscu popełniliśmy błąd (np. podczas programowania). Co więcej, dzięki automatycznemu generowaniu obrazów możliwe jest błyskawiczne przygotowywanie ofert w e-commerce.

Narzędzia takie jak ChatGPT czy generatory rysunków takie jak DALL-E są jednak dopiero preludium do tego, co nastąpi. Przełomem ma być technologia GPT-4. Nie została jeszcze opublikowana (Chat OpenAI bazuje na GPT-3, ale wiele osób traktuje ją jako GPT-3,5 ze względu na większe możliwości w porównaniu do poprzednich modeli). Kiedy to nastąpi i co będzie oferowała? Tu faktów jeszcze brakuje, są tylko pogłoski i prognozy.

Prawdopodobnie najbliższy stworzenia GPT-4 jest właśnie OpenAI. W sierpniu 2022 r. Robert Scoble, dość szanowna osoba w środowisku ludzi specjalizujących się w AI, napisał na Twitterze, jakoby jego znajomy miał testować GPT-4, ale ze względu na NDA nie mógł podać zbyt wielu informacji, oprócz tego, że jest „na zupełnie innym poziomie”. OpenAI zostało założone w 2015 r. przez grupę miłośników technologii, w tym Sama Altmana, Elona Muska (który z czasem wycofał się z projektu z powodu możliwego konfliktu interesów przez rozwój AI w Tesli) czy Polaka, Wojciecha Zarembę. Do tej pory firma pozyskała miliardy m.in. od Elona, Microsoftu, Khosla Ventures, Infosys czy Matthew Brown Companies.

Zgodnie z obecnymi doniesieniami GPT-4 ma brać uwagę nawet 100 bln parametrów – dla porównania GPT-3 ma 175 mld. Co więcej, mimo dużo większej skali ma działać co najmniej tak szybko jak obecne narzędzia, dzięki zastosowaniu procesów przypominających ludzki mózg (np. wybór słów na podstawie kontekstu zdania).

Kiedy wreszcie ujrzymy GPT-4? Nie wiadomo, chociaż ma to się stać „niebawem”. Potwierdził to w grudniu Scott Stein, czyli CTO Microsoftu. Mimo że prywatnie jest przeciwnikiem wykorzystania modeli typu GPT, stwierdził, że możliwości płynące z GPT-4 „dosłownie rozwalą wam głowy”. I chyba wie, co mówi, bo Microsoft według doniesień prasowych chce zainwestować w OpenAI kolejne 10 mld dol.! W ten sposób startup miałby osiągnąć wycenę 29 mld dol.

Jeśli spojrzymy na historię OpenAI, to szybkie wypuszczenie nowego modelu jest bardzo prawdopodobne. Pierwsza wersja GPT-1 wyszła w 2018 r. Dla porównania z obecną technologią uwzględniała „zaledwie” 117 mln parametrów. Konkurencyjne modele (np. Megatron NLG stworzony w ramach kooperacji inżynierów Microsoftu i Nvidii) uwzględniają jeszcze więcej parametrów – nawet 500 mld. Tyle że więcej nie zawsze znaczy lepiej, bo inżynierowie pracujący nad AI zwracają uwagę na olbrzymie znaczenie danych, na których trenuje się sztuczną inteligencję. W praktyce oznacza to, że nawet mniej skomplikowany model może być znacznie bardziej funkcjonalny, jeśli tylko został przetrenowany na większej ilości danych, niż teoretycznie bardziej skomplikowany, ale mniej wytrenowany (potwierdzają to badania wykonane przez firmę Deepmind). I tu pojawia się problem, bo na świecie… zaczyna brakować wartościowych zasobów do trenowania sztucznej inteligencji. Tak, ludzkość przez kilkadziesiąt tysięcy lat istnienia nie stworzyła wystarczającej liczby wartościowych materiałów, które pozwoliłyby wytrenować zaawansowaną sztuczną inteligencję.

Przykładowo Megatron NLG został wytrenowany na 270 mld „tokenów” (przy czym programiści zgromadzili 339 mld tokenów). Tokeny to fragmenty słów lub zdań, które są przyswajalne dla narzędzi. Według OpenAI jeden token odpowiada mniej więcej czterem znakom w języku angielskim. 100 tokenów to ok. 75 słów. GPT-3 został wytrenowany na ok.300 mld tokenów. GPT-4 to już 5 bln tokenów.

Bardzo prawdopodobne, że wypuszczenie ChatGPT ma z tym coś wspólnego, bo jak zauważył szef Open AI, dzięki wielkiej popularności narzędzia startup zdobył „wiele nowych doświadczeń”.

Tyle że GPT-4 wciąż nie będzie perfekcyjne. Główny problem pozostanie, czyli brak zrozumienia świata. Widać to po obecnej wersji modelu, który popełnia z pozoru niewielkie, ale dość poważne błędy rzeczowe. Co więcej, modele potrafią wymyślać fakty w taki sposób, by nie było to dostrzegalne bez dokładnej znajomości tematu. Nie odwołują się także do źródeł, a także bazują na stereotypach – wręcz je umacniając (zgodnie z badaniami przeprowadzonymi na Uniwersytecie Stanforda ChatGPT przy użyciu słowa „muzułmanin” zdecydowanie częściej używa zdań zawierających przemoc niż przy innych religiach). Sam szef OpenAI, Sam Altman, przestrzega, by nie używać modelu przy ważnych zadaniach.

Polskie eksperymenty

AI jakiś czas temu stało się jednym z terminów, które muszą pojawić się w każdej,szanującej się prezentacji. Cóż to za firma, która nie stawia na, uwaga: „blockchain”, „zrównoważony rozwój”, „machine learning” albo właśnie „AI”? Najczęściej za tymi słowami szło niewiele konkretów (chyba że na rynku NewConnect – tam szły całkiem niezłe pieniądze „zdobywane” od inwestorów). Wiele poważniejszych biznesów eksperymentowało jednak z tą technologią – w różnym obszarze.

Jedną z polskich firm, która dość dawno (na początku 2021 r.) chwaliła się korzystaniem z narzędzi przypominających obecne Chat GPT (czyli generator tekstu opartego na technologii GPT3), był Cinkciarz.pl.

- Pracownicy fintechu Cinkciarz.pl testowali w 2021 r. sztuczną inteligencję – konkretnie generator tekstu GPT-3. Narzędzie wspierało tworzenie treści marketingowych, wpisów w social mediach czy tekstów blogowych – komentuje Piotr Kiciński, wiceprezes Cinkciarz.pl.

Testy wypadły w wielu obszarach pozytywnie. – Zaobserwowaliśmy, że nie tylko poprawia błędy gramatyczne, ale też przewiduje, jakie frazy czy zdania mogą pasować do tekstu i występować po danych słowach. Za pomocą zaawansowanych algorytmów program proponuje konkretne treści i pomysły na podstawie analizy tekstu oraz wypowiedzi internautów w sieci. Dodatkowo GPT-3 potrafi streszczać materiały czy sugerować tytuły. Odtwarza styl autorów tekstów, rozumiejąc kontekst pomiędzy wyrazami – dodaje.

Technologia nie była jednak doskonała i dziś firma testuje inny program, dzięki któremu wytwarzana przez GPT-3 treść na zadane tematy jest automatycznie pobierana z generatora. – Nie trzeba tego zatem robić już ręcznie. Content jest gotowy do publikacji na wybranej stronie internetowej czy blogu. Początki tych testów są obiecujące – zauważa Piotr Kiciński.

Firma jest także otwarta na ewentualne wdrożenie GPT-4, po „analizie tej kwestii”. – Zobaczymy, jak dalej przebiegnie testowanie wspomnianego bota jako uzupełnienie pracy naszych specjalistów. W naszej ocenie żadna technologia nie zastąpi bowiem ludzi – ekspertów w swoich dziedzinach – zaznacza.

Co ciekawe, modele oparte na GPT rozwijają także polskie instytucje. Przykładowo w Polsce jednym z ważniejszych ośrodków badawczych podejmujących tematy sztucznej inteligencji jest Ośrodek Przetwarzania Informacji – Państwowy Instytut Badawczy (OPI PIB).

W OPI PIB w 2021 r. powstały polskojęzyczne modele, m.in. Polish RoBERTa v2 oraz GPT-2. Powodem był ówczesny brak dobrych narzędzi, sprawnie posługujących się językiem polskim. - Bardzo ciekawe i innowacyjne prace realizuje największe z naszych laboratoriów, tj. Laboratorium Inteligentnych Systemów Informatycznych (LISI), jego zespół opracował m.in. model Polish RoBERTa large, który wytrenowano na największym w Polsce korpusie tekstów. Kontynuowaliśmy prace i udostępniliśmy dwa nowe modele – Polish RoBERTa base v2 oraz przeznaczony do zadań związanych z generowaniem tekstu model GPT-2 – mówi dr inż. Jarosław Protasiewicz, dyrektor Ośrodka Przetwarzania Informacji – Państwowego Instytutu Badawczego. Mniejsze modele RoBERTa są sieciami neuronowymi liczącymi około 100 mln parametrów, większe - 350 mln.

Zresztą neuronowe modele językowe wykorzystywane są od lat w systemach antyplagiatowych, czyli narzędzia znanego każdemu studentowi.

Jak powstają polskie modele? Przykładowo Polish RoBERTa large wytrenowano na łącznie 130 GB danych, co odpowiada pół milionowi książek. Polish RoBERTa base v2 jest mniejszy, ale dzięki temu daje szybsze odpowiedzi.

Co ważne, ośrodek udostępnia swoje modele za darmo do pobrania na stronie internetowej.

AI i co dalej?

Boom na nowe technologie pochłonął świat startupowy. W ostatnich tygodniach jak grzyby po deszczu zaczęły wyrastać nowe firmy, które bazując na sztucznej inteligencji, umożliwiają np. analizę tekstów w formacie PDF czy poprawę jakości starszych zdjęć. Będzie tego jeszcze więcej, tym bardziej że wiele z tych startupów ma już status jednorożców, a inwestorzy rzucili się, by przekazywać im pieniądze.

Z drugiej strony branżę czeka komercjalizacja. Opisywany tu ChatGPT niebawem wejdzie do strefy premium. Prawdopodobnie dostęp do narzędzia pozostanie otwarty, ale uruchomiona zostanie wersja Professional, która będzie zawsze dostępna (narzędzie z powodu dużego ruchu często nie jest dostępne) albo umożliwi nielimitowaną liczbę dziennych zapytań. Co ciekawe, o formę strefy premium oraz jej cenę OpenAI zapytało samych użytkowników. Decyzje jeszcze nie zostały podjęte.