#iOS
1 artykułów
-
I Ran a 35B Param Model On My iPhone (Local AI)
Quen trzy i pięć w wariancie trzydziestu pięciu miliardów parametrów generuje jedenaście tokenów na sekundę na iPhonie siedemnaście. W czterobitowym pliku ten model waży około dwudziestu gigabajtów i normalnie musi w całości siedzieć w pamięci. Na telefonie w pamięci zostaje tylko jeden i cztery dziesiąte gigabajta.…