Mistralが放つ最強のロボット制御AI「Robostral Navigate」が登場！

Mistralから、ロボット工学の常識を覆す最先端のナビゲーションモデル「Robostral Navigate」が発表されました。精密な移動制御と高度な状況判断を両立させた、まさに次世代のロボット制御モデルです。

Mistralは幅広く、かつニッチな分野へ進出しているようだね。今後の戦略として賢いかもしれない。

お、これは本当にすごい。ロボットが指差しを使って行き先を判断するっていうのは素晴らしい設計判断だし、ロボティクスはまさに次のフロンティアだよ。Mistralを全力で応援する！

R2R-CE（連続環境におけるRoom-to-Room）で76.6%を達成

残り23.4%の時は一体どうなっていたのか知りたいな！

推測だけど、これが地図なしのナビゲーションなら本当にすごい。事前に取り込んだ環境の地図があればこの手のタスクは楽だけど、地図なしでやっているなら画期的だね。歴史的に見れば、ロボットが自分の場所を把握できない「誘拐されたロボット」問題にずっと直面してきたわけだし。ここでは、ロボットが現在の視覚情報（あるいは推測航法）から解釈可能な限り、指示に従えているように見える。

どうやらオープンに利用できるモデルではないみたいだね。もし公開されていたら、安価なシングルカメラのナビゲーション環境が作れて、ホビー向けの面白いプロジェクトがたくさん生まれそうなんだけど。

すごくいいね。Mistralチームにおめでとうと言いたい。屋外の地図なしナビゲーションはもうだいぶ前からあるけど、建物内の地図なしナビゲーションは比較的新しい。以前、スタンフォードの研究者がどんな画像からでもジオロケーション（位置情報）を特定できるビジョンモデル（PIGEON）をトレーニングしていたね。プライバシーの悪夢（ストーキングとか！）を引き起こす可能性があるから公開はされなかったけど、このロボットの背後にも同じような技術が使われているんじゃないかな。詳しい人がいたらぜひ教えてほしい。

PIGEONの論文リンクはこちら：https://lukashaas.github.io/PIGEON-CVPR24/

実際にこれを触ってみるための現実的な方法ってあるかな？OpenClawと組み合わせてホビー用途でいろいろ探査させてみたいんだよね。夢としては、OpenClawを農場ロボットに組み込むこと（急斜面を刈るために作られたラジコン芝刈り機を改造しようとずっと調べてるんだ）。広大な土地で「フェンス沿いを探査して植物の写真を撮れ。ポイズンアイビーと外来種のスイカズラを見つけてRoundupスプレーを散布しろ。これを毎週繰り返して、各周回後に種子のマップを報告しろ。電池が減ったら納屋に戻って充電しろ」みたいにタスクを割り当てたい。ロボットにOpenClawを組み込むのは難しくない（YouTubeでやってる人をたくさん見るしね）んだけど、突き詰めていくと、実際の移動部分が一番ぎこちなくなってしまうんだ（自分自身の実験でもそうだった）。今回のモデルのような8Bモデルなら、経路探索やナビゲーションの問題を解決するのにぴったりな気がする。
Mistral（やその手の企業）に詳しい人がいたら聞きたいんだけど、こういう実験をするホビーユーザーに興味はあるのかな？それとも商用パートナーを優先しているんだろうか？実験のためにライセンス料を払うのはやぶさかではないけど、自分のような個人だと、ビジネスに繋げない限り相手にされないかな？

いいね。人間がキッチンの床をこすっている間に、ロボットは自律的に卓球やチェスの大会に出かけていくわけだ。

ミニマルで感心した。
一方で、2010年頃のアカデミックな研究者やWillow Garageのロボットデモ映像を思い出すよ。
ロボティクスの問題は、見た目がいいデモを作るのは簡単だけど、汎用的な環境で動かすのは本当に難しいってことだよね。自動運転がまさにいい例だ。

これは本当にすごいね。11年前のMicrosoft Researchでのインターン時代にこれがあればよかったのに。当時はNAOロボット（これもフランスの素晴らしい企業の製品）を使っていて、従業員に運動を促すために歩き回らせていたんだ。長時間同じ姿勢でいることによる慢性的な怪我を防ぐためにね。
ただ、ビジュアルコンパスを搭載していたけど全く機能しなくて。「まっすぐ歩け」と命令するのも全然うまくいかなかったんだ :D
興味がある人のためにその時の動画を貼っておくよ：https://www.youtube.com/watch?v=aZkmNqpJCcM&t=190s （論文：https://brandstetter.io/papers/Fidgebot_Working_Out_while_Working.pdf ）