Hát nem hiszem egyébként, hogy bármikor is ilyen laptopok lennének sulikba, nem olcsó mulatság ez azért, de én is kíváncsi lennék rá milyen lenne amúgy
Végtelen szkeptikus vagyok ezekkel az AI processzorok és NPU-k kapcsán. Miért? Egy amúgy kő buta 7B/8B AI offline futtatásához 32GB VRAM kevés. Ha lebutítják 32fp-ről 4-8fp-re a számítási pontosságát, akkor éppen cipőkanállal elfut 8-16GB-os videokártyán. Cserébe sokkal lasabb és még butább lesz. Egy 70B szintű AI lebutítva 32GB-ot kér VRAM-ból. Egy Llama3 220B már 168GB videomemóriát kér. És akkor ugye ott van az az apróság, hogy ha tréningelni szeretné valaki saját igényeinek megfelelően, akkor 5-6x ennyi videoram kellene. Na ezt egy integrált cucc, lassú rendszermemóriából soha meg sem mozdítja majd. Teljesen mindegy minek nevezik el.
![ประสบการณ์ จ้าง Developer ที่ผมจะไม่มีวันลืม [ภาค1]](http://i.ytimg.com/vi/bzivN4KDg-k/mqdefault.jpg)
Mekkorát menne majd iskola laptop rtx 2060-as teljesítménnyel.
Hát nem hiszem egyébként, hogy bármikor is ilyen laptopok lennének sulikba, nem olcsó mulatság ez azért, de én is kíváncsi lennék rá milyen lenne amúgy
Végtelen szkeptikus vagyok ezekkel az AI processzorok és NPU-k kapcsán. Miért? Egy amúgy kő buta 7B/8B AI offline futtatásához 32GB VRAM kevés. Ha lebutítják 32fp-ről 4-8fp-re a számítási pontosságát, akkor éppen cipőkanállal elfut 8-16GB-os videokártyán. Cserébe sokkal lasabb és még butább lesz. Egy 70B szintű AI lebutítva 32GB-ot kér VRAM-ból. Egy Llama3 220B már 168GB videomemóriát kér. És akkor ugye ott van az az apróság, hogy ha tréningelni szeretné valaki saját igényeinek megfelelően, akkor 5-6x ennyi videoram kellene. Na ezt egy integrált cucc, lassú rendszermemóriából soha meg sem mozdítja majd. Teljesen mindegy minek nevezik el.