Amazon wypuścił Mitrę V dwa, model fundamentalny dla tabel i arkuszy kalkulacyjnych. Model nigdy nie widział prawdziwej tabeli. Trenowano go wyłącznie na dwudziestu dziewięciu milionach tabel syntetycznych. Mimo to na ponad trzystu prawdziwych zbiorach danych wypada tak samo jak Tab F M od Google, będąc przy tym dwadzieścia razy mniejszym. Surya zbudował aplikację demonstracyjną, przepuścił przez nią dwa prawdziwe zbiory danych i sprawdził, czy Amazon właśnie zabił data science.
Trzeci model tej fali
To już trzeci taki model, który autor omawia. Wcześniej były Times F M od Google do prognozowania szeregów czasowych i Tab F M od Google do tabel. Wygląda to na nową falę modeli fundamentalnych wchodzących w codzienne zadania uczenia maszynowego.
Powód, dla którego autor się tym przejmuje, jest osobisty. Przez dwadzieścia dwa lata pierwsze zdanie, jakie mówił każdemu klientowi, brzmiało: jeśli chcesz predykcji ze swoich danych, ktoś musi wytrenować model na twoich danych. Przy Tab F M po raz pierwszy zwątpił we własne przekonanie. Mitra V dwa to drugi taki moment.
Czym Mitra różni się od Tab F M
Oba to modele fundamentalne dla tabel, ale działają inaczej.
Tab F M bierze twoje przykładowe wiersze na wejście i przewiduje w jednym przebiegu. Nic w środku modelu się nie zmienia.
Mitra V dwa domyślnie najpierw dostraja się do twojej tabeli przez pięćdziesiąt kroków, co na karcie graficznej zajmuje około minuty. Potem uruchamia osiem kopii siebie na różnych wycinkach twoich danych i uśrednia ich odpowiedzi. Jej wagi faktycznie zmieniają się pod twoją tabelę.
Model powstał w zespole AutoGluon w Amazonie. Jest otwartoźródłowy na licencji Apache dwa zero, więc można go pobrać i używać.
Osiem kroków, które zwykle zajmują tydzień
Klasyczny projekt uczenia maszynowego ma osiem kroków. Zbierasz dane. Czyścisz je, czyli łatasz brakujące wartości i zajmujesz się wartościami odstającymi, i właśnie tu idzie najwięcej czasu. Tworzysz cechy, czyli łączysz dwie lub trzy zmienne albo budujesz zupełnie nowe. Wybierasz model albo algorytm. Stroisz hiperparametry. Trenujesz model na swoich danych. Walidujesz, czyli sprawdzasz, czy wyniki są dobre. Jeśli są złe, wracasz na początek. Jeśli są dobre, wdrażasz.
Ktoś musi wyczyścić dane i pokłócić się o to, które kolumny mają znaczenie, potem przetestować trzy albo cztery modele i dostroić najlepszy. Tydzień później masz punkt odniesienia. Z Mitrą V dwa masz ten sam punkt odniesienia w kilka minut.
Dane w demonstracji
Pierwszy przypadek to przewidywanie ceny domu. Dwa tysiące rekordów, z czego tysiąc osiemset jest znanych, a dwieście ukrytych — to te do przewidzenia. Dziewięć kolumn.
Drugi przypadek to przewidywanie awarii maszyny. Pięć tysięcy wierszy, cztery tysiące znanych, tysiąc ukrytych.
Oba to bardzo typowe zadania w świecie uczenia maszynowego. Jedno jest regresją, drugie klasyfikacją.
Jak przebiega uruchomienie
Krok pierwszy, czyli trenowanie wstępne, jest już zrobiony. Model przećwiczył dwadzieścia dziewięć milionów tabel syntetycznych i nie trzeba się tym zajmować.
Krok drugi to odczytanie danych. Model czyta kolumny i wiersze razem, i robi to bardzo szybko.
Krok trzeci to dostrajanie i tu schodzi najwięcej czasu. Najpierw siedemdziesiąt siedem milionów wag ładuje się do karty graficznej. Potem tabela zamienia się w liczby, które model umie czytać, czyli w osadzenia. Potem następuje pięćdziesiąt drobnych korekt na tysiącu ośmiuset domach, których cenę model już zna, za każdym razem sprawdzanych na wycinku odłożonym na bok. Widać, jak krzywa błędu skacze w dół i w górę, dokładnie tyle razy, ile korekt model musi wykonać. Na końcu wagi zostają zablokowane. Całość trwa około minuty.
Krok czwarty to głosowanie. Dla wybranego wiersza model tworzy osiem głosów i sam wylicza średnią. W demonstracji wyszło dwieście trzydzieści osiem tysięcy pięćset sześćdziesiąt dziewięć dolarów. Po odsłonięciu prawdziwej wartości okazało się, że pomyłka wynosi piętnaście tysięcy dolarów na tym konkretnym wierszu.
Wyniki
Dla całego zbioru aplikacja pokazuje pierwiastek błędu średniokwadratowego, R kwadrat, średnią i resztę metryk. Przy części predykcji błąd wynosi dwa dolary.
Najważniejsze porównanie: wobec standardowego modelu odniesienia Mitra V dwa ma o szesnaście i pół procenta niższy błąd, co przekłada się na blisko pięć tysięcy trzysta siedemdziesiąt osiem dolarów oszczędności na dom.
Drugi przypadek, czyli awarie maszyn, autor uruchomił przed nagraniem. To klasyfikacja, więc zamiast metryk regresji jest macierz pomyłek oraz dokładność, precyzja, czułość, F jeden i A U C. Wyniki również są dobre. Dla danych, które autor podał modelowi, Mitra radzi sobie równie dobrze w klasyfikacji, jak w regresji.
Czy Amazon zabił data science
Model, który nigdy nie widział prawdziwej tabeli, właśnie wycenił dwieście domów. Gdyby autor uruchomił drugi przypadek, oznaczyłby maszyny bliskie awarii, na laptopie, kilkoma linijkami kodu.
Odpowiedź autora na główne pytanie jest jednak jednoznaczna.
Nie sądzę, żeby to zastąpiło albo zabiło data science. Najwyżej skróci cykl i pozwoli robić rzeczy szybciej.
Zniknęła część kroków, przede wszystkim czyszczenie i strojenie, które trzeba było wykonać, zanim zobaczyło się jakąkolwiek liczbę. Można to sprawdzić samemu w ciągu tygodnia, jeśli ma się kartę graficzną i tabelę z pytaniem, na które odpowiedzi są już wypełnione.
Reszta zostaje po twojej stronie. Czy tabeli można ufać i ile będzie kosztowała błędna odpowiedź — tego autor nie widzi w zasięgu żadnego modelu w najbliższym czasie.
Koniec artykułu.