【Show HN】使えば使うほど爆速に！CPU推論サーバー「Reame」が登場

CPU上で機械学習モデルの推論を実行する際、実行すればするほど最適化されて高速化していく驚きの推論サーバー「Reame」が公開されました。CPU環境での推論パフォーマンスに課題を感じているエンジニアは必見です。

永続的なKVキャッシュは面白いね。リクエストの構造が似ていない場合に、どれくらいのスピードアップが維持されるのか見てみたい。

なんでどこもかしこもqwen 2.5なんだ？3.5じゃダメなのか？

シェアしてくれてありがとう！質問なんだけど、モデルの選択はどうやるの？tinyLlamaをダウンロードして ./models に置いてreame.confを書き換えたんだけど、「No such file or directory」ってエラーが出ちゃう。あと、モデルを/optに置くのはあまり気が進まないんだ。忘れてしまいそうだし、reameフォルダの中にあったほうが管理も分かりやすくて楽なんだけど。

Oracle CloudでARMコア2つと12GBのRAMが無料で使えるなんてヤバいな、知らなかったよ。

すごく面白そう。

リポジトリもドキュメントも全部AI生成ってこと？