AIが画面に直接描画！操作を可視化する驚きの新ツール「ScreenPainter」が登場

AIエージェントに、画面上の特定の箇所を指し示させたり、ボックスで囲ったり、テキストで指示を出させたりしたいと思ったことはありませんか？このプロジェクトは、AIがPCの画面をリアルタイムで直接操作・マークアップするための画期的なアプローチを提供します。AIによるGUI操作の自動化や、ビジュアルでのフィードバックに興味がある方は必見です。

正直、現状のままじゃ使い物にならないね。最低限、以下の機能は必要でしょ。

• 虹色に滴る矢印
• 怒ったように指をさす矢印
• 炎に包まれたパーティクルエフェクト付きのテキストボックス
• エージェントがairhorn.wavを最大音量で再生できる機能（既存の音量設定やミュート設定を上書きするやつ）

追記：マジかよw https://github.com/franzenzenhofer/big-arrow-on-the-screen/pull/37

READMEは技術者向け（HNのスクリーンショットまであるし）に書かれてるけど、こういうツールを見ると、電話越しに母親へドキュメントのダウンロードや印刷の方法を教えるときにどれだけ役立つか、そればかり考えてしまうよ。

iPadでこういうのがあったらお金払ってもいいな。エージェント駆動である必要すらなくて、ただ「銀行振込をしたい」という大きなボタンがあって、それを押すと正しいアプリが立ち上がり、インターフェースをガイドしてくれるだけでいい。

年老いた両親を持つ身としては、まさに神の救いだよ。

「画面録画やアクセシビリティの権限は必要？」って部分を読もうとしたんだけど、説明が雑すぎて何言ってるのかサッパリわからん。でも、もしパーミッションのポップアップの上に描画できるなら、「拒否」ボタンを隠すボックスを描画したり、「許可」ボタンのテキストを書き換えたりすることだって可能なんじゃないの？

で、これの何が目的なの……？

インターフェース要素を指すデカい矢印って……そもそもそれ、機能の説明ラベルがついてるやつだよね？

つまり……ラベルのためのラベルってこと？

「矢印だからこそ、見た目には不合理なほど時間をかけました」

最高だね。これぞ私がHacker Newsに来て求めているコンテンツだよ。

まさにアート。

いやはや、すべてを手に入れたかと思った矢先にこれだよ。PCは安くて、効率的で、パワフルだったはずなのに。いつの間にか、すでに解決済みだったタスクをこなすために、1000倍のコストがかかり、世界中の電力を消費し、他人のレンタルコンピューティングに依存し、さらにボタンを押す場所を指示してもらうためにロボットが必要になるなんて。なんて時代に生きているんだ。

最初は「ゴキブリがドアを開けて二本足で歩く方法を覚えた」と聞いたときと同じような反応をしたよ。でもアクセシビリティについて考えてみて、テクノロジーに疎い人や障害を持つ人を助けるために使えるかもと思ったら、考えが変わった。

昔のPCには、まるでPCを触ったことのない人にもわかるような、最初から最後まで親切なチュートリアルが入っていたのを覚えてる？こういうやつ：https://www.youtube.com/watch?v=3ScS4OYDfHE

こういう組み込みのインタラクティブ性は、トレーニングや障害サポートの文脈では本当に役立つと思う。

この10年で最悪のUXトレンドは、ユーザーがやろうとしていることを邪魔する、「わかった！」という無限のポップアップと機能通知だよ。

なぜ誰かがこれを自ら進んで使いたがるのか、全く理解できない。

これの一番面白いところは、矢印の見た目だよ。ただの直線や綺麗な曲線じゃなくて、Franzがワークショップで描くような、アートと子供の落書きが混ざったような独特の雰囲気があるんだ。

AIがFranzのデータを学習してるんじゃないかと疑ってる。それなら、ターミネーターが最後にManner Schnitten（オーストリアのウエハース）を持って終わる理由も説明がつくかもね。