【Show HN】背景削除に革命を!高精度AIモデル「FeyNoBg」と学習用ライブラリ「NoBg」を公開しました
Show HN: FeyNoBg – Automatic background removal model and training library
Show HN: FeyNoBg – Automatic background removal model and training library
Hacker Newsの皆さん、こんにちは!FeynのShreyashです。私たちは企業が独自のデータからカスタムAIモデルを構築するサポートをしています。今回、自動背景削除モデル「FeyNoBg」をリリースしました!あわせて、このモデルの学習と実行を容易にするPythonライブラリ「NoBg」もオープンソースとして公開しています。モデルの試用はこちら(https://huggingface.co/spaces/feyninc/feynobg )、ライブラリの詳細はGitHub(https://github.com/feyninc/nobg )をチェックしてください。出力サンプルはこちら:(1) サッカーのフリーキック (https://drive.google.com/file/d/1MZkAGLwbhNVOZ0Oi7XvpCfSEu9QPCbwj/view?usp=sharing) (2) 風になびく髪 (https://drive.google.com/file/d/1Odc2m0XMVH9uZtvI_KjaRbXzhLLdGK8Z/view?usp=sharing) (3) スポークが見える自転車 (https://drive.google.com/file/d/1h99ahjfrtS1MFQJJgiKE2fuM3HZyQ-QJ/view?usp=sharing) (4) ライブデモ動画 (https://youtu.be/b1heHPvY8BM) 。画像から被写体を切り抜く「背景削除」は、非常に一般的でありながら奥が深く、AIにとっては意外と難易度の高いタスクです。迷彩やモーションブラー、髪の毛のような細かい構造は、従来のモデルを悩ませる要因でした。背景削除には「前景の認識」と「境界線の正確なトレース」という2つのスキルが不可欠です。私たちは、BiRefNetのアーキテクチャを分析し、特徴抽出の第3ステージを18ブロックから24ブロックへ拡張することで、前景特定と境界精度の両立を実現しました。計10のデータセットからなる26.1万件の多様な学習データを用いた結果、8つのベンチマークのうち4つで最高スコアを達成しました。また、バラバラになりがちな背景削除モデルのワークフローを統一するため、NoBgライブラリも開発しました。現在はBiRefNetをサポートしており、今後も対応アーキテクチャを増やしていく予定です。フィードバックや質問があればお気軽にどうぞ!
[フラグ済み]
これすごくいいね!解像度の制限はどうなってる?GitHubのreadmeには1024x1024ってあったけど、1920x2880の画像でも普通に処理できたよ。目立つようなスケーリングの劣化も見当たらないし、裏で何かすごいことやってるの?
最高だね、さっそくブックマークしたよ。Segment Anythingツールは最近使いにくくなっちゃったから、シンプルに使えるものを探してたんだ。ありがとう!
こういうの見るの大好き。背景削除って多くのシステムで核となるタスクだし、重要度としては音声認識(speech to text)と同じくらいだと思ってる。
この分野が成熟していくのを見られるのは嬉しいね。チームのみんな、おめでとう!
すごくクール!最近は非LLMモデルをiOSやAndroidに移植して遊んでるんだ(Bonsaiの画像生成モデルをAndroidで動かすのは最近うまくいったよ)。このワークフローをモバイル端末で動かそうとしたことはある?試してみてもいいかな?
2018年12月にremove.bgを使ったときは感動したけど、この分野の進歩を目の当たりにできて最高だよ。本当にかっこいい。
MITライセンスのモデル(BiRefNet)のウェイトを拡張しておきながら、なぜcc-by-nc-4.0ライセンスでリリースしてるの?
トレーニングデータセットはどうやって構築したの?特に、管理された評価における異なるトレーニングミックスの検討事項について触れている点について詳しく知りたい。
Adobeのモデルと比べるとどう?Adobeの強みは選択肢が実質2つあることだよね。(1)被写体を選択(95%の確率で望む結果が出る)(2)人物を選択(エッジケースで役立つ)。
自分が抱えてる問題は、「被写体って何?」ってこと。例えば、ソファに座っている人がいるとして、「被写体を選択」を押すと、被写体は人だけなのか、それとも人とソファの両方なのかっていうね。
Adobeだと人物だけ抜き出したいときは「被写体を選択」で大体いけるし、うまくいかない時は「人物を選択」に切り替えられる。ただ、それも人物と服しか選ばれないから、人物が持ってる小道具が含まれないっていう別の問題があるんだけどね。