ディスカッション (10件)
DS4(DualShock 4)についての技術的なまとめやTipsを共有します。
最高!コモディティハードウェア向けのDeepseek v4アーキテクチャについても同じことを感じてるよ。あと、https://huggingface.co/HuggingFaceTB/nanowhale-100m-base も触ってみたけど楽しかった(この分野についてはまだ勉強し始めたばかりだけどね)。
この前128GBのM5で動かしてみたけど、かなり楽だったよ。モデルは80GB程度のRAMで動作して、コードを書いたりツールを実行したりする能力もかなり高そうだった。
DwarfStarをローカルに落として使ってるけど、これ本当にすごいよ。実際、128GBのRAMを積んだ個人のM4 MaxのMacBookで動かして、サーバーを立ち上げてTailscale経由で仕事用のラップトップからアクセスしてるし、Piもそこで走らせてる。
長いコンテキストの推論能力は、最先端モデルでも見たことがないレベルだね。さっき124kトークンで動かしてたけど、疲れを見せることもなくスムーズに処理し続けてた。
動かしてみるとその性能にびっくりするよ。今かなり複雑なフロントエンドの作業に使ってるけど、例えばDenseな27bや31bのモデル(QwenやGemmaみたいなやつ)を動かすよりずっと高速だし(MoEの恩恵だね)。でも何より、長いコンテキストの処理能力には本当に圧倒された。
このプロジェクトにはすごくワクワクしてるよ。Antirezが燃え尽きないことを願うばかり。リポジトリをかなり注意深く追いかけてるんだけど、PRが大量に押し寄せていて、彼は質の低いコードをフィルタリングするのにかなり苦労してるみたいだね。
なぜLlamacppを使わずに、モデル専用の推論エンジンを作るのかその理由が書かれていないな。Llamacppの統合に取り組んでいる人はすでにたくさんいるのに。単一のモデルに対して多大な労力を費やしているけど、もっと優れた新しいモデルが出たらすぐに陳腐化する可能性が高い。議論の中には、Llamacppブランチとds4の両方にPRを送っている人もいて、希少なリソース(このモデルに開発時間を投資している人々)が分散してしまっているように見えるよ。
Antirezの最近のツイートが参考になるよ: https://x.com/antirez/status/2054854124848415211
今回のDS4のお祭り騒ぎの中で、私だけでなく他のコントリビューター全員がGPT 5.5は非常に役に立った一方で、Opusは完全に使い物にならなかったと気づいたのは、ちょっとしたリマインダーですね。
低レイヤーで限界までパフォーマンスを引き出すようなコード作業でも、全く同じことを感じたよ。
DeepSeekってウェイトが公開されていないプロプライエタリなものだと思ってたんだけど違うの?欧米のオープンウェイトモデルと比べてどうなのか気になる。Hugging Faceのページを見ると、なぜか比較対象がプロプライエタリなモデルばかりだし。
競争力のあるローカルなエージェント型モデルがあるっていうのは大きな進歩だよね。個人の用途ではGemini 3 flash previewをDeepSeek v4 flashに全部置き換えたよ。チャットアプリや語学学習、趣味のコーディングまでね。コーディングに関しては、以前はどんなSOTAモデルを使ってもまともな結果が出なかった。OpusやCodexモデルには及ばないし、Flashモデルだからたまにミスもするよ(ついさっきも from opentele while import trace なんていう新しいPython構文を見たよ!)。
でも、試した他のOSSモデルよりツール呼び出しが信頼できる。これは「交互推論(interleaved thinking)」のおかげじゃないかな。クエリに応じて推論の深さが自動的に調整されるんだ。オープンモデルの推論過程を読むのは楽しいよ、プロプライエタリなモデルでは絶対に見られないからね。
DS4をどうしても試してみたいけど、今のマシンじゃ無理だな。とりあえずOpenRouterで我慢しておくよ。3年後には32GBのマシンで競争力のあるOSSモデルが動かせるようになるといいな。
この人、Yeggeレベルの精神状態に深く沈み込んでいってるな。
Claudeにこれほど近い感覚があるのは驚きだね。もちろんずっと遅いけど、明らかに頭が悪いというわけでもない。興味深いことに、imatrix量子化の方がOpen Routerで使われているzdr推論バックエンドの量子化よりも優れているみたいだ。昨日、自分で指示しなくても、自分のサーバープロセスが何であるかを自己認識できていたのには驚いたよ。ローカルモデルでこんな挙動は初めて見た。