【Launch HN】WebサイトをAIやアプリで自在に操る！構造化データ抽出API「Context.dev」が登場

ハッカーニュースの皆さん、こんにちは！Yahiaです。Webサイト上のデータを簡単に自分のプロダクトやエージェントに統合できるAPI「Context.dev」（https://www.context.dev/ ）を開発しました。デモ動画はこちら（https://www.tella.tv/video/build-faster-with-context-dev-apis-2cgl ）、クイックスタートガイドはこちら（https://docs.context.dev/quickstart ）をご覧ください。Context.devを使えば、URLを送るだけで整形済みのMarkdownやHTML、スクリーンショット、抽出した画像などを取得できます。また、ドメインを指定すれば、企業名や説明文、ロゴ、カラーコード、フォント、SNSリンクといった「ブランド情報」も取得可能です。さらに、JSONスキーマを渡せば、価格プランやオフィス所在地、製品カテゴリなど、サイト上の必要なデータを特定の形式で抽出することもできます。私たちが目指しているのは、開発者が本当に欲しい「加工済みのデータ」を提供することです。生のHTMLをパースするのは面倒ですよね。モデル用のMarkdownやアプリ用のJSONなど、開発者がそのまま使える形でお届けします。以前はAmazonやSunrunに勤務し、StockAlarm.ioやessense.ioを共同創業（どちらも売却済み）していました。その後、Web上のナイフ情報を収集するknifegeek.ioなども作っていました。Context.devの直接のきっかけは、以前立ち上げた「Brand.dev」です。顧客が企業メールで登録した際に、ロゴや業種などを自動的に取得してオンボーディングを効率化するツールでした。多くの顧客とやり取りするうちに、単なる「ブランド情報」だけでなく、スクリーンショットやLLM向けの構造化データなど、より広範なニーズがあることに気づき、Context.devへと進化させました。YC（Y Combinator）のS26にも参加しています。具体的な活用事例として、チャットボット用の知識ベース構築、CRMの自動エンリッチメント、GitHubリポジトリのドキュメント化など、用途は多岐にわたります（事例一覧：https://www.context.dev/customers ）。また、私たちは「良きWebの住人」であることを重視しています。不必要な負荷をかけないキャッシュ層の構築や、オプトアウト機能の実装など、サイト運営者に敬意を払った設計を徹底しています。ぜひ皆さんのフィードバックやご意見をお聞かせください！

Firecrawlと何が違うのかよくわからないな。彼らのチームは最近すごい機能を超高速でリリースしてるし、中核となる製品の質もかなり良くなってきてるからね。ただ、KnifeGeekには興味ある。いい感じのOTF（ultratechとか？）を探してたんだ。

Brand.devだった頃からContextを使ってたけど、素晴らしいプロダクトだよ。抱えていた問題を即座に解決してくれる、稀有なAPIの一つだね。登録して1時間以内に本番環境に導入できたよ。

エージェントにはウェブ上のクリーンで最新のコンテキストが必要なんだけど、今のところこれを実現するのにベストな方法だね。インターネットは明らかにこの方向に向かっているし、企業も自分のサイトをエージェントに読み取ってもらう必要があると気づき始めている。既に対応しているところもあるけど、まだのところも多い。Contextはその移行において重要な役割を果たす気がするよ。

Yahiaは素晴らしいビルダーだね。彼が事業を拡大するペースには驚かされるし、今後Contextがどこまで成長するのか楽しみだよ。

これってllms.txtやrobots.txtを尊重してるの？それとも、エージェントには人間が見ているものそのままを見せた方が効果的だったりする？

最高！このプロダクトがどんどん良くなっていくのを見るのは楽しいし、次がどうなるのか待ちきれないよ！

ウェブサイトの明快さ、トーン、読みやすさがいいね。FAQも新鮮でいい。

When Should I talk to sales?
Talk to sales if you need high-volume pricing beyond 2M credits/month, custom rate limits, SSO / SAML, SCIM provisioning, an uptime SLA, annual invoicing, an MSA / DPA, or a dedicated support channel. Reach us at hello@context.dev or through the contact page.

どこもこれくらい普通であってほしいよ。Datadogのセールス担当がいきなり電話番号をどこからか拾ってきて、「無料アカウントを作った後の会社のニーズについて聞きたい」なんて連絡してくるより、ずっといいからね :)

レジデンシャルプロキシを使ってるの？スクレイピングを拒否するサイトにはどう対応してる？

例えばLinkedinのページを渡した場合、各プロフィールについてどういう結果が返ってくることを期待すればいい？

追記：
ローンチおめでとう。本当に大変な仕事だと思う。ただ、そちらのスクレイピングに対するスタンスをもっと知りたくて書いたんだ。この分野のツールは色々使ってきたし、最初のコメントが攻撃的に聞こえたら申し訳ない。

Yahiaさん、最近YCのレジストリであなたのスタートアップを見ました。今回のバッチの中でも特に有望だと感じたので、頑張ってください！差し支えなければ、Brand.devの最初のユーザーをどうやって獲得したのか教えてもらえますか？

Interceptを見てみるといいよ。[0] 私自身は必要ないし、少し古いから調整が必要かもしれないけど、スクレイピングから脱却したいなら面白いかも。どんなサイトに対しても型付きのTypescriptプロキシAPIを作成できるのは役立つかもしれない。

Reverse-engineers any website by doing a breadth search across every transport (JSON, WebSocket, WebRTC, GraphQL, SSE, HLS, PubSub), listing them all, and generating a typed JSON API that bypasses almost all bot protections — including Turnstile. I didn't include the ability, but it bypassed the most advanced ChatGPT + Turnstile. Built with self-improving Claude Code agents that rewrite their own instructions until fresh agents consistently succeed.

Once connected to a page, it intercepts every byte of network traffic — then actively drives the page to surface endpoints that only fire on interaction. It types into forms, clicks buttons, scrolls, triggers modals, paginates, submits searches, and walks through multi-step flows, watching what each action produces on the wire. Every request gets captured with its method, headers, payload shape, and response, then classified by transport (JSON, WebSocket, WebRTC, GraphQL, SSE, HLS, PubSub). The result is a complete map of the site's real API surface — including the hidden endpoints that only exist behind a click — turned into typed proxy routes you can curl.

[0] https://github.com/adam-s/intercept (https://github.com/adam-s/intercept)

Semantic Webがウェブ全体を機械可読にしようとした時代を思い出したよ。

https://en.wikipedia.org/wiki/Semantic_Web (https://en.wikipedia.org/wiki/Semantic_Web)

すごくクールなアイデアだね！僕も昔同じようなものを考えたことがある。MCPを使う方法を考えて、クライアントが箱から出してすぐ接続できるようにしたらどうかな。