【Launch HN】PC作業をすべてAIの記憶に。操作を自動化する「Screenpipe」が登場

Hacker Newsの皆さん、こんにちは。Louisです。私は「Screenpipe（https://screenpipe.com ）」というアプリを開発しました。これはPC画面と音声をローカル環境のみで記録し、AIエージェントに「あなたが見たもの、聞いたもの、話したこと」を検索可能な記憶として提供するツールです。これにより、反復的なタスクの自動化や、作業手順書（SOP）の作成などが格段に楽になります。デモ動画はこちら（https://www.tella.tv/video/build-your-ai-second-brain-with-screenpipe-e1j7 ）、マーケティング動画はこちら（https://www.youtube.com/watch?v=c1jV6E9pyug ）からご覧いただけます。私は長年「セカンドブレイン（第二の脳）」の構築に情熱を注いできました。2020年からはジャーナル、手書きノート、音楽、プロジェクト、CRM情報を集約し、RAG（検索拡張生成）を用いた実験を繰り返してきました。その過程で学んだのは、「AIがユーザーのPC上での操作文脈（コンテキスト）を把握することの重要性」です。ファインチューニングやツール呼び出し、MCP（Model Context Protocol）などの進化を経てきましたが、まだ「アプリ横断でユーザーが毎日何をしているか」を網羅する仕組みはありませんでした。そこで開発したのがScreenpipeです。単に録画してOCRをかけるという非効率なやり方ではなく、アプリの切り替え、クリック、タイピングの停止、スクロールといったOSのイベントを検知し、スクリーンショットとアクセシビリティ情報をペアで記録します。音声もローカルのParakeetやWhisperで書き起こし、すべてをSQLiteデータベースに保存します。ローカルで動作するAIフレンドリーなAPI（ポート3030）を公開しており、ClaudeやChatGPTなど好きなエージェントから情報を引き出せます。例えば、「タスクXに関する文脈をすべて集めて」「午前8時から午後4時までの作業リストを作成して」「Obsidianに1時間ごとに活動をMarkdownで整理して」といった指示が可能です。セキュリティ面では、ローカル動作のAIによるPII（個人特定情報）の自動秘匿化や、アプリごとの除外設定にも対応しています。技術スタックはRustをメインに、MLXやOnnxを活用。コードはGitHub（https://github.com/screenpipe/screenpipe ）で公開しており、以下のコマンドで即座に試せます。npx screenpipe record。なお、ライセンスは個人利用・非営利・教育・研究目的は無料ですが、商用利用にはライセンスが必要となります。ぜひ皆さんのフィードバックをお聞かせください！

仕事用と個人用の使い分けはどうするつもり？どんなエージェントやLLMであれ、自分のシステムで何をしているか常に監視されるのはプライバシーの悪夢でしかない。それにスクリーンキャプチャなんて大半は意味のないデータだし。仕事用のPCでたまにRedditやHacker Newsを見ることだってあるだろうしね。

LLMはどうやって動かしてるの？llama.cppやollamaなんかをAPI経由で呼んでる感じ？あと、通常利用している時にどれくらいの頻度で画面キャプチャを解析してるの？1分に1回とか？

去年からScreenpipeを使って自分専用の「AIバディ」を構築してるよ。画面で起きていることをAIに把握させるのが肝なんだけど、Screenpipeなしでこれをやるのは、今のパフォーマンスを維持しようとするとかなり大変なんだよね。

実装の話は置いといて、個人的にはライフ・アンド・デスサイクル（生死のサイクル）がある方が好みだな。何でも知っている万能なコンテキストとは逆に、新しいことに過去のしがらみが影響しないよう、定期的にリセットされる環境が欲しい。

タイミングがいいね。実は趣味で「Daydream」っていう似たようなものを作ってるんだ。ローカルの画面・音声キャプチャ、OCR、文字起こし、ウィンドウやアクティビティのコンテキスト、SQLite、検索可能なアクティビティ履歴など、共通点も多いよ。

主な違いはプロダクトの方向性かな。ScreenpipeはAPIやMCP、スキルを通じてエージェントにコンテキストを提供し続けることに注力してるようだけど、Daydreamは「今日何をしたっけ？」という疑問に答えるためのタイムラインを重視してる。見返し、再演、検索、日報への変換ができる感じ。

それと、データの削除をモデルの一部として扱っているよ。機密性の高い期間を削除したら、そのフレーム、音声、OCR、文字起こし、埋め込み、要約もすべて削除または無効化されるようにしている。

まだ開発初期段階でLinux優先だけど、オープンソースにしたから興味があれば触ったり貢献してくれたら嬉しい。Tauri、Rustバックエンド、React/TypeScript、SQLite、GStreamer、Whisper、OCR、VLMで構築してるよ。

開発を始めた時にはScreenpipeのことなんて知らなかったんだけど、どうやらパーソナルな記憶キャプチャもSaaSの一ジャンルになりつつあるみたいだね（笑）。

コードはこちら：https://github.com/snackbit/daydream

正直、どんな顧客を想定してるのか分からないけど（ロシアや北朝鮮の企業以外でね）、ヨーロッパの雇用主なら、AIが登場する前から、ましてやEU AI法が可決された今となっては、こんなソフトを使うのは完全に法律違反だよ。控えめに言っても、まともな企業がこんなソフトを導入するとは思えない。今のVC業界の正気度が少し疑わしいね。

1週間前くらいに試してみたけど、提案された自動化の一つを試した途端、ローカルのAPIキーが勝手にエンドポイントへ送信され始めて……。今ちょっと席を外してるから、戻ったらまた詳しく共有するよ。

自分も遊びで似たようなアプリを作ったよ https://github.com/JGalego/HiddenSteps まだ開発中だけど、そっちのプロジェクトもチェックしてみるね。

水を差すようで悪いけど、それもうClaude CoWorkが発表済みだよ。