Nvidia RTX 4090 vs Apple M4 Pro！ローカルLLMパフォーマンスを比べてみた。

[@aoiro-sakurairo]

とてもありがたいです！ステーブルディフュージョン生成のスピードも比べてほしいです‥

[@technavi_tooru]

コメントありがとうございます！
次やってみようと思います。提案ありがとうございます、大変助かります！

[@善行小嶋]

これは良いチャンネル
さっそく登録してみた

[@technavi_tooru]

コメントありがとうございます！こういう優しいフィードバックがすごく励みになります！

[@S8N0]

ありがとう！この動画を待ち望んでいました。4090とM4のベンチマークを必死に探していたところです。残念ながらM4 Proですが、何もないよりは良いですね！

[@ごえもん-c6m]

めちゃくちゃ良いチャンネル。登録しました。

[@equi_nokusu]

0:10 もちろんapple to appleじゃないので…
洒落が効いてて良い

[@REIA-t1]

これからに期待

[@Caution0]

これ本当に気になってた、ありがとうございます

[@インデックス投資大好き]

M4MAX128GBと4090の対決が見てみたい。

[@technavi_tooru]

コメントありがとうございます。M4 Ultraがリリースされて購入できたら試そうと思います！

[@ux-ss6ds]

そもそもAppleのGPUって行列アクセラレータありましたっけ
NPUとCPUのAMXユニットで十分と考えていたら、GPUのAIが急速に発展してしまって後手後手に回っている感があります

[@technavi_tooru]

コメントありがとうございます！
Metal Performance Shadersなどあります。LLMに関してApple siliconのためチューニングされたMLXを使った方がもう少し早い結果になったかもですね。。。

[@saku262626]

M4 ProのAI専用プロセッサが機能しているのか気になりますね

[@technavi_tooru]

コメントありがとうございます！
新しい動画でモニターしてみました。GPUがメインで使われてANEが使われてないように見えますがモニターツールは予測で情報出してるので％１００分からない状態です。。。

[@takuronn]

ステーブルディフュージョンとか画像や動画生成のスピード比較して欲しいです

[@technavi_tooru]

コメントありがとうございます！
また素敵な提案ありがとうございます！To-Doリストに入れます！

[@takatronix]

参考になりました。

[@nowyhandsome3220]

how do they work if you reset chat?

[@technavi_tooru]

Thanks a lot for your comment. I checked again but I couldn`t see any significant change

[@モン基地]

参考になります。M4Proの32B Q4常用は厳しそうですね。。
Context Windowは4kか8kぐらいでしょうか？

[@technavi_tooru]

コメントありがとうございます！
LmstudioはLLMごとにContext sizeを変更できると思いますが今回デフォルトのまま使っていてそれは4Kでした。

[@モン基地]

@@technavi_tooru なるほど。ありがとうございます

[@kazuhiroogura6967]

64GBでどこまで大きなモデルがつかえるか興味があります

[@technavi_tooru]

64GBであれば７０Bぐらい入れそうですね！試してはないのであくまでも予測ですが・・・

[@yutaIchigo.]

can you make videos in english? please?

[@technavi_tooru]

Thanks a lot for your comment. My audience is based on Japan, but in future (If I get lots of views:) ), I might consider. By the way, does auto captions work for you?