Scrapling MCPサーバー

概要

Scraplingは、Pythonで書かれた適応型Webスクレイピング（ウェブページから自動でデータを収集する仕組み）フレームワークです。単発のページ取得から大規模なクロール（自動巡回）まで、あらゆるWebデータ収集ニーズに対応しています。パーサー（HTML解析エンジン）はウェブサイトのレイアウト変更を学習し、ページ構造が変わっても自動で目的の要素を再発見してくれます。さらに、CloudflareのTurnstile（よく見かける「ロボットでないことを確認」認証）などのBot対策を追加設定なしに突破できるフェッチャー（データ取得部品）を搭載しています。

注目を集める最大の理由は、内蔵MCPサーバー機能です。MCP（AIツールと外部サービスを繋ぐ共通規格）対応により、Claude DesktopやCursorといったAIツールに繋げるだけで、「このページの価格を取得して」のような自然な会話でWebスクレイピングが実行できます。他の同種MCPサーバーとの決定的な違いは、AIに渡す前にCSSセレクター（ページの特定パーツを指定する記述法）で必要な要素だけに絞り込める点です。これにより、AIが無関係なコンテンツを読む手間が省けてレスポンスが速くなり、APIのトークン（AIの処理量の単位）コストも削減できます。

主な機能

• 10種類のスクレイピングツール（MCP経由）: get（高速HTTP取得）、bulk_get（複数URL並列取得）、fetch（Chromiumブラウザで動的ページ取得）、bulk_fetch（並列ブラウザ取得）、stealthy_fetch（CloudflareなどBot対策突破）、bulk_stealthy_fetch（並列ステルス取得）、open_session（ブラウザセッション持続管理）、スクリーンショット取得など、用途別に使い分けられる。

• アダプティブ（適応型）スクレイピング: ウェブサイトのデザインが変更されても、過去に学習した要素の場所を自動で再探索する。一度設定すれば、サイト改修でスクリプトが壊れる手間が大幅に減る。

• プロンプトインジェクション対策: main_content_only（デフォルト有効）をオンにすると、CSSで非表示にされた要素・ゼロ幅文字・HTMLコメントなど、悪意あるサイトがAIに不正な命令を埋め込むために使う隠しテキストを自動除去する。

• 広告・トラッカー自動ブロック: ブラウザ系ツール（fetch系・セッション系）は約3,500件の既知広告・トラッカードメインへのリクエストを常時ブロック。ページ読み込みが速くなり、AIに渡すトークン数も節約できる。

• プロキシ対応: 各ツールにプロキシURLを渡すだけで、匿名アクセスや地域別コンテンツの取得が可能。セッションレベルとリクエストレベルでのプロキシ設定を厳格に管理し、IPリーク（本来のIPアドレス漏洩）を防ぐ修正も施されている。

• ターミナルから直接実行: Pythonコードを一切書かずに、scrapling extract get <URL> のようなコマンドラインだけでページ内容をファイルに保存できる。初心者でもすぐに試せる。

• Docker対応・CI自動ビルド: リリースごとにブラウザ込みのDockerイメージが自動ビルド・公開される。環境構築の手間なく、すぐに本番利用できる状態で提供される。

料金プラン

※料金に関する詳細は公式サイトを参照してください。

導入方法

ステップ1：Scrapling本体とMCP用依存パッケージをインストール

# MCPサーバー機能込みでインストール
pip install "scrapling[ai]"

# ブラウザ本体（Chromium等）をダウンロード
scrapling install

ステップ2：Claude Desktop の設定ファイルに追記

設定ファイルの場所：

• macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
• Windows: %APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "ScraplingServer": {
      "command": "scrapling",
      "args": ["mcp"]
    }
  }
}

ステップ3：Claudeを再起動して確認

Claude Desktopを完全に終了して再起動すると、チャット入力欄の右下に🔧マークが表示されます。「このURLの商品価格を取得して」のように話しかければ、すぐに使えます。

（参考）ブラウザなしでコマンドラインだけで試す場合

# URLのページ内容をMarkdown形式でファイルに保存
scrapling extract get https://example.com

こんな人におすすめ

• 価格・情報モニタリングをしたい個人開発者: 競合サイトの価格や在庫状況をClaudeに定期チェックさせたい人。Bot対策で跳ね返されていたサイトも取得できるようになる。

• コードを書かずにデータ収集したい非エンジニア: CLIコマンドやClaude Desktopへの自然言語指示だけで動くため、Pythonの知識がなくても基本的な収集作業が実現できる。

• AI自律エージェントを構築しているエンジニア: 「複数URLを並列取得→特定要素だけ抽出→AIに渡す」という一連のパイプラインを、セッション管理やプロキシローテーション付きで組める。

• 調査・リサーチ業務をAIで効率化したい人: 複数のニュースサイトや公開データベースから情報をまとめてAIに分析させるワークフローを構築したい人。トークン節約機能により、大量URL処理でもAPI費用を抑えられる。

よくある質問

Q. プログラミングの知識がなくても使えますか？ A. Claude DesktopにMCPサーバーとして接続すれば、日本語でのチャット指示だけでWebスクレイピングが実行できます。初期設定（設定ファイルへの数行追記）はやや技術的ですが、公式ドキュメントに手順が詳しく記載されています。

Q. Cloudflareなどの「ロボット検知」で弾かれているサイトも取得できますか？ A. stealthy_fetchツールを使うことで、Cloudflare TurnstileやInterstitial（ページ遷移時に表示される確認画面）などのBot対策を突破できます。ただし、ログイン認証が必要なサイトや、利用規約でスクレイピングを禁止しているサイトへの使用は、各サービスの利用規約と法令を必ず確認してください。

Q. AIに渡すトークン費用を抑えることはできますか？ A. CSSセレクターを指定すると、ページ全体ではなく必要な要素だけをAIに渡せます。また、広告・トラッカーの自動ブロック機能により、不要なコンテンツの読み込み自体を防ぎます。これらの組み合わせで、他のMCPスクレイピングサーバーと比べてトークン消費を大幅に削減できます。

Q. Windowsでも使えますか？ A. 使えます。公式の設定ファイルパスとして%APPDATA%\Claude\claude_desktop_config.json（Windows用）が明示されており、Dockerイメージ経由での利用も可能です。最新版ではWindowsでのスパイダー（自動巡回）のチェックポイント保存バグも修正されています。