Badacze Google i współpracujących uniwersytetów opublikowali pracę o systemie Drim R S I. Pomysł brzmi prosto. Wszystkie eksperymenty, które laboratorium już przeprowadziło, to nie archiwum, tylko gotowy symulator. Wiemy, co zadziałało, co było slepą uliczką i co było warunkiem wstępnym czego. Można więc wrócić do dowolnego punktu tej historii i puścić przez nią agenta, żeby sprawdził, czy istniała szybsza droga. Trenowana w ten sposób jest jedna konkretna umiejętność: wybór, który eksperyment przeprowadzić następnie. Koszt tego trenowania to zero nowych uruchomień, bo dane już są.
Drugi badacz w laboratorium
Wyobraź sobie dwie osoby w zespole badawczym. Pierwsza prowadzi eksperymenty. To praktyk, który sprawdza, co działa. Druga decyduje, co robimy dalej i na co warto poświęcić następną godzinę pracy.
Można być znakomitym badaczem i zmarnować cały tydzień, bo wybrało się złą gałąź. To właśnie ta druga rola jest przedmiotem pracy.
Gry wideo mają na to dobrą metaforę: drzewko technologii. Musisz odblokować jedną rzecz, żeby odblokować następną. W Majnkrafcie robisz najpierw narzędzia drewniane, potem kamienne, potem coraz lepsze. Historia odkryć ludzkości wyglądała podobnie. Narzędzia kamienne, narzędzia krzemienne, potem coraz dalej, aż do wiki, D V D, Wi-Fi i kart graficznych.
Badania naukowe mają tę samą strukturę. Niektóre gałęzie wydają się na początku obiecujące i nie prowadzą nikąd. Inne wyglądają na przypadkowe, a okazują się wielkim skokiem. Zdarza się też, że odkrycie przychodzi za wcześnie, bo brakuje technologii, która dopiero je uruchamia.
Sieci neuronowe są tu przykładem. Dżefri Hinton w latach osiemdziesiątych i dziewięćdziesiątych szedł wbrew opinii większości pola i twierdził, że to właściwy kierunek, a powodem porażek jest brak mocy obliczeniowej, nie sama metoda. Potem pojawiły się karty graficzne i idea zaczęła działać. Autor materiału sam zaznacza, że wyostrza tę historię i nie należy jej traktować zbyt dosłownie, ale pointa zostaje: pomysł był, sprzętu nie było.
Ta sama sytuacja powtórzyła się przy dużych modelach językowych. Część badaczy uznała je za złą drogę do ogólnej inteligencji i nawoływała do zamknięcia tematu. Część uznała, że skoro coś działa, warto to skalować dalej.
Pytanie, które z tego wynika, jest praktyczne. Jak decydować, którym eksperymentom dać więcej energii, mocy obliczeniowej i pieniędzy, a które odciąć.
Historia jako dokładny symulator
Kluczowy krok w pracy polega na tym, czym ten symulator nie jest.
To nie jest wyuczony model świata ani przybliżenie. Drzewo odkryć, które agent już zbudował, jest dokładnym symulatorem przestrzeni poszukiwań, do której dotarł. Świat, który powstał darmowo, jako produkt uboczny pracy.
Symulator to cokolwiek, co potrafi odpowiedzieć na pytanie „co by było, gdyby”, bez uruchamiania świata od nowa. Dla polityk eksploracji taki obiekt już istnieje, w całości zbudowany i w całości opłacony. To po prostu zapis eksperymentów, które i tak zostały przeprowadzone.
Demis Hasabis proponował kiedyś podobny eksperyment myślowy. Weź model wytrenowany na danych do początku dwudziestego wieku i sprawdź, czy dojdzie do teorii względności. Praca Google zadaje pytanie odwrócone w czasie: jeśli wyślemy agenta w tę przeszłość, czy potrafi przejść drzewko odkryć szybciej i czy potrafi wyćwiczyć samą umiejętność szybkiego przechodzenia takich drzewek.
Mechanizm samopoprawy sprowadza się do jednego zdania. Nowa polityka eksploracji jest testowana przez wyobrażenie jej sobie, nie przez przeżycie. Tysiące kandydatów śni się przeciw temu światu przy zerowej liczbie uruchomień, a wdrażany jest tylko zwycięzca.
Przypomina to filmiki, na których tysiąc kopii Mario uczy się przechodzić poziom i widać, jak zbiegają się do jednej skutecznej taktyki. Tylko że tutaj przedmiotem nauki nie jest skok na przeciwnika, a wybór kolejnych kierunków badań.
Skąd bierze się rekurencja
Pętla zamyka się tak. Zwycięska polityka wraca do pracy na żywo i zapisuje nowe drzewo odkryć. To jeszcze jeden świat, docierający tam, gdzie żadna wcześniejsza polityka nie dotarłaby. Pula światów rośnie z każdym obiegiem.
Polityka wyśniona przeciw większej liczbie światów bije politykę dostrojoną do szczęścia jednego przebiegu. I ta polityka przynosi z powrotem światy, których żadna poprzednia nie mogła przynieść. To właśnie jest rekurencja. Agent nie posiada jednego świata, tylko rosnącą pulę, która rozwija się razem z nim.
Dlaczego stała strategia nie wystarcza
Dziś eksploracja jest zwykle napisana ręcznie i zamrożona. Można zaprogramować skrypt, który ocenia dwie decyzje w jakiejś skali i wybiera wyżej ocenioną. Problem polega na tym, że stała strategia nie uczy się z doświadczeń, które gromadzi. Dalej płaci za kierunki, które już raz zawiodły.
Optymalizowanie jej na bieżąco wpada z kolei w dwie ściany naraz.
- Informacja zwrotna na poziomie meta jest opóźniona i droga. Ocena polityki eksploracji wymaga obserwowania, jak prowadzi cały przebieg odkryć do końca, a nie oceny jednego kandydata. Trzeba więc czekać do końca i zapłacić za wszystkie ścieżki po drodze.
- Przestrzeń polityk meta jest ogromna. Większość polityk, które musiałbyś sprawdzić, jest zła.
Śnienie w zapisanej historii omija oba te problemy, bo zwraca odpowiedź natychmiast i nie kosztuje ani jednego uruchomienia.
Jest jeszcze jedna metafora, którą autorzy podają. Agent przechodzący nieznany teren po raz pierwszy wybiera nieefektywne trasy, wpada w slepe uliczki, zawraca i przy okazji rysuje mapę. Następna polityka nie musi już iść tą samą ziemią. Rozumuje na mapie. Unika znanych slepych uliczek, wraca do decyzji, na które pierwsza polityka zdecydowała się za wcześnie, i porównuje całe trasy przed ruszeniem się z miejsca. Odkrywanie w długim horyzoncie ma dokładnie taką strukturę, a mapa jest już rysowana.
Wyniki i jedna zaskakująca obserwacja
Drim R S I porównano z innymi podejściami, w tym z bibliotekami uczenia maszynowego służącymi do budowania modeli predykcyjnych. Niższy wynik jest lepszy, bo reprezentuje ilość zużytych zasobów. Drim R S I osiąga jedne z najlepszych wyników, a wariant z Gemini trzy i siedem Flash najlepszy w całym porównaniu.
Podejście jest przy tym adaptacyjne. Kiedy wszystko idzie dobrze, zużywa mniej mocy obliczeniowej. Kiedy postęp zwalnia i robi się trudniej, wysiłek rośnie.
Najciekawsza obserwacja jest kontrintuicyjna. Prowadzenie agenta za rękę i podsuwanie mu rad z przeszłości pogarsza wyniki. Najlepiej działa eksploracja otwarta, bez podpowiedzi.
Miejsce w układance Google
Kontekstem jest tu Alfa Ewolw, wcześniejszy projekt Google, w którym duże modele językowe optymalizowały rozgałęziającą się ścieżkę ewolucyjną. Jedno z jego zastosowań nie było teoretyczne: znalazł lepszy sposób organizacji globalnej puli mocy obliczeniowej Google, konkretnie harmonogramowania w centrach danych, w systemie nazywanym Borg. Oszczędności były realne.
Warto zauważyć, że Alfa Ewolw bije Drim R S I na części optymalizacji matematycznych. To nie konkurenci, a różne narzędzia do różnych zadań.
Kierunek widać jednak wyraźnie. Jeden system przeprowadza eksperymenty. Drugi decyduje, który eksperyment idzie następny. Z czasem te systemy przewidują, gdzie iść, wykonują eksperymenty i razem poprawiają kolejną generację modeli. Jeśli kolejna generacja lepiej poprawia narzędzia i procesy, których używa, to jest rekurencyjna samopoprawa.
To nie jest efekt tak widowiskowy jak premiera nowego modelu. Leży niżej, na poziomie fundamentu, i to właśnie te rzeczy pozwalają poprawiać modele dalej. Trudno z góry powiedzieć, które prace przełożą się na duży wpływ. Google wymyśliło transformer, więc bilans historyczny ma po swojej stronie.
Koniec artykułu.