ディスカッション (11件)
Local AIの開発と最適化をリードするGgml.aiが、ついにHugging Faceのチームに加わることになりました。この提携により、llama.cppをはじめとするローカル環境でのAI実行エコシステムがさらに強化され、長期的な技術革新が約束されます。エンジニアにとっても、ローカルLLMの活用がこれまで以上に身近で強力なものになりそうです!
HuggingfaceはAI界隈における真の隠れたレジェンドだな。これだけ素晴らしいコミュニティとプラットフォームは他にないよ。
HuggingFaceがどうやって収益を上げているのか、いつも不思議に思うよ。世界のためにこれほど貢献しているしね。ビジネスモデルはどれくらい堅実なんだろう?長期的に見て持続可能なのか、それともそのうち「身売り」しちゃうのかな。
すごく良い組み合わせだと思う。もっと早く実現していても不思議じゃなかったくらいだね。ローカルAIは今はまだ谷底のような時期かもしれないけど、今後2〜3年で一気に普及すると踏んでる。そうなることを願うよ!
私の中ではOpenAIよりもHuggingFaceの方がよっぽど「オープンAI」だよ。オンプレミスAIを一般に広めるのに一役買っている、(中国のOSS勢と並んで)数少ない陰の功労者だね。昔はトラフィックにお金がかかった時代を知っている身としては、これほど多くのモデルを無料でホスティングし続けられているのが不思議でならない。彼らなしではエコシステムは確実に悪化するだろうから、持続可能なビジネスモデルに支えられていることを願うよ。KimiやGLMを自前で動かすにはまだ高性能なハードが必要だけど、少なくともモデルの重みと配布という土台は整ったわけだしね。
コンピューティングパワーがあまりないシステム(メモリ8GBのMacbook M1とか)で、Dockerコンテナのような環境を使ってローカルかつ効率的にモデルを動かす方法を誰か教えてくれないか?やっぱりもっと高性能なマシンに投資するしかないのかな。特に https://huggingface.co/AlicanKiraz0/Cybersecurity-BaronLLM_Offensive_Security_LLM_Q6_K_GGUF みたいにペネトレーションテストの支援に使えそうなローカルモデルがすごく魅力的でさ。手元の環境でいろいろ設定を試してみたんだけど、結局ただの暖房器具になっちゃうんだよね。
これは嬉しいニュースだ。2023年からGithubを通じてggml/llama.cpp/Georgiをスポンサー支援してきた甲斐があったよ。この結果を見られて本当に良かった。Georgi、気を悪くしないでほしいんだけど、君とコードがこれからは安住の地を見つけたということで、スポンサー支援はこれで終了させてもらうよ!
コミュニティは引き続き完全に自律的に運営され、これまで通り技術的およびアーキテクチャ的な決定を行う。Hugging Faceは、プロジェクトが成長し成功する可能性を高めるための長期的かつ持続可能なリソースを提供する。プロジェクトはこれまで通り100%オープンソースであり、コミュニティ主導で進められる。
そうあってほしいとは思うけど、最終的にはビジネス上の利益が勝つものさ。今やLlama.cppはローカル推論の事実上の標準で、依存するプロジェクトも増えている。もし企業がこれを支配すれば、その企業がローカルLLMエコシステム全体をコントロールすることになる。Hugging Faceが今は良い会社に見えるとしても…Googleだって最初はそうだったからね。囲い込まれたくないなら、競合するllama.cpp(汎用的な抽象化レイヤーを持つもの)を作るか、独立した非営利団体が管理するようにしないと。
Georgi Gerganovとllama.cppがローカルモデル界に与えた影響は計り知れないね。2023年3月に彼がLLaMAを一般のノートPCで動かせるようにしたことで、革命が始まったと言ってもいい。2023年3月10日のREADME(https://github.com/ggml-org/llama.cpp/blob/775328064e69db1ebd7e19ccb59d2a7fa6142470/README.md )がそれだよ。> 主な目標はMac上で4bit量子化を使ってモデルを動かすこと。[...] 夜なべしてハックしたものだから、正しく動くかどうかは分からない。Hugging FaceはこれまでTransformersの素晴らしいオープンソース管理者だったし、GGMLについても同じことが言えると楽観視してるよ。これについて少しブログに書いたから参考までに:https://simonwillison.net/2026/Feb/20/ggmlai-joins-hugging-face/
別のスレッドを立てるべきか迷ったんだけど、どうしても聞きたいんだ。
どうすれば本気でAI開発の領域に入っていけるかな?今のAIの状況から取り残されているような疎外感があるんだ。職場ではGitHub Copilotのようなツールを使うことを強制されるような環境にいるけど、AI開発の世界に少しずつ足を踏み入れるための現実的なロードマップって何だろう?
自分のバックグラウンドはJavaとReactを使ったフルスタック開発だけど、開発の歩みはゆっくりだよ。
今までAIにはかなり表面的なレベルでしか触れてこなくて、RAGとは何かを理解するためのデモ用チャットボットを作ったり、ローカルでモデルを走らせたりした程度だ。でも、どれも上辺だけで、AIの本質的な部分には深く入り込めていない気がする。次の最先端モデルを作るような立場になるには「遅すぎる」のは分かってるけど、他に何ができるかな?
Pythonは知ってる。次は「ゼロから作るLLM」をやるべきか、Googleの機械学習クラッシュコースの認定を受けるべきか、それとも最近リリースされたNvidiaの認定を目指すべきかな?提案があったら教えてほしい。
ggmlチームには本当によかったと思う。彼らは量子化のために多大な努力をして、実際にそれを誰でも使えるようにしてくれた。感謝しかないよ。