27. Janvāris 2025

• 2025.01.27, 07:18
• Es patestēju DeepSeek modeli vēl. Saka, ollama nav pareizie defaulti - modelis strādā labāk ja norāda šādus-tādus papildus parametrus. Vērtējot 14b modeli - ļoti ātri un patīkami rukā uz RTX 4070 video kartes (bet ir mēreni pastulbs, joku izskaidrot nespēj), es pieņemu, ka ja par paceļamu cenu būtu 32gb karte nopērkama kāda, tad arī 32b modelis darbotos ātri. Dalot atmiņu starp CPU/GPU modelis darbojas visai lēni. (14b modelis pieprasa ap 8gb atmiņas, kas uz Nvidia 40xx 12gb kartes ir pieejams, bet 32b modelis grib ap 20gb, un tādas kartes ir grūti dabūt. Nvidia 30xx sērija it kā bija ar lielu atmiņu, bet nav nopērkamas tagad.)
  
  Mans paredzējums: pārskatāmā nākotnē tiks radīta video/AI karte kas ļaus tādus lokālos AI modeļus viegli un ātri darbināt.
  (Nvidia RTX 5090 būšot ar 32gb atmiņas, piemēram. MSRP USD 2000 ?)
  Tags: ai
  
  
• 0 rakstair doma