自分だけのプライベート検索エンジンを構築!フルコンテンツ検索インデックスツール「Hister」が登場
Hister – A private, full content search index that you control
Hister – A private, full content search index that you control
「Hister」は、自分自身でフルコントロール可能な、プライベートかつフルコンテンツな検索インデックスツールです。すべてのデータを自分の手元で管理しながら、強力な検索環境を構築したいエンジニアにはぴったりのソリューションです。
どうも、作者です!Histerを取り上げてくれてありがとう。何か聞きたいことがあれば何でも聞いて。最初のフリーソフトウェアの検索プロジェクトは、プライバシー重視のメタ検索エンジン「Searx」だったんだけど、メタ検索という概念自体の限界を感じて、今回は別のアプローチをとることにしたよ。Histerは、閲覧したページ、ブックマーク、ブラウザの履歴、ローカルファイル、クロールしたウェブサイトから自分専用の検索インデックスを構築するんだ。抽出したコンテンツはオフラインの結果プレビューとして保存されるから、元のページが更新されたり消えたりしても検索し続けられる。全文検索とセマンティック検索に対応していて、完全に自分のマシン上で動かせるし、ウェブインターフェースやコマンドラインツール、アシスタント連携用のMCPエンドポイントも含まれているよ。プロジェクトページ: https://github.com/asciimoo/hister 読み取り専用の小さなデモ: https://demo.hister.org/
今週試してみたけど気に入った。でも、何らかの認証機能が本当に欲しいかな。自分が訪れたすべてのページの中身を、たとえローカルネットワーク上とはいえ誰でも見られる状態にするのは、あまり良いアイデアとは言えない気がする。
おお、何年も前からこういうアイデアを考えてたんだ。誰かが先にやってくれて嬉しいよ。週末はこれをいじって遊べそうだ。
似たようなものを作ったけど、ちょっと違うやつだね。自分は「Internet domain index」というのを管理してる。https://github.com/rumca-js/Internet-Places-Database また、場所を検索するためのAndroidアプリも管理してるよ。https://f-droid.org/en/packages/io.github.rumcajs.offlinewebsearch Histerって、自分でデータを溜め込んでいく必要があるんだよね?
asciimooがHNにコメントしてたのをきっかけに数ヶ月前にセットアップしたよ。最初はほとんど使ってなかったけど、最近、趣味の「特典航空券」に関する調査ツールとしてかなり使えることに気づいたんだ。この趣味は、さまざまな概念や特異なルールを把握しておくことが重要だからね。よく参考にしている特典航空券関連のブログをスクレイピングしてインポートし、OpenCode/CodexにMCPサーバーとして繋いで、そのコーパスを使って研究してる。「前に誰かこの問題にぶつかったって言及してたっけ?」みたいな質問もできるようになった。 [1] もし特定のウェブサイト群や資料を定期的に参照する必要がある趣味や仕事をしているなら、Histerは検索エンジンを立ち上げるためのツールが一通り揃ってるよ。デフォルトで用意されているデータセットには、Pythonの標準ライブラリやMDN、RFCのコーパスなんかがある。 [2] [1]: https://wmchen.com/blog/revisiting-hister/ [2]: https://hister.org/datasets
このコンセプト最高だね。使い心地を試してみるよ。もし説明通りに動くなら素晴らしいプロダクトだと思う。
昨日セットアップが終わったところで、もう夢中になってる。前はKarakeepを愛用してたんだけど、保存し忘れてデータを失うのが嫌だったんだよね。あと、Histerのセマンティック検索は、AIが生成する要約やタグよりも優れたソリューションだと思う。ローカルドキュメントのサポートも最高。Orgモードのノートディレクトリをインデックスするように設定したよ。
デザインの雰囲気って、もしかしてCodexでコード化されてる? 最近似たようなデザインをよく見かける気がして、正直ちょっとイライラしてるんだ。
Zoteroライブラリの統合やインポート機能があったら最高なんだけどな!
モバイル対応させる方法ってある?