Scrapyのプロジェクトを作成する方法は?
Scrapyプロジェクトを作成するには、次の手順に従って操作してください。
- コマンドラインまたはターミナルウィンドウを開いてください。
- プロジェクトの作成先のディレクトリを特定してください。
- Scrapyプロジェクトを作成するには、次のコマンドを実行してください。
- プロジェクト名を指定して、scrapyのプロジェクトを開始します。
- その中で、「プロジェクト名」をお好きなプロジェクト名に置き換えてください。
- 新しく作成されたプロジェクトディレクトリに移動してください。
- プロジェクト名に移動します。
- 作成したプロジェクト名を「プロジェクト名」に置き換えてください。
- プロジェクト内でScrapy Spider(Webクローラー)を作成する。
- スクレイプ genspider 爬虫の名前 ウェブサイトのドメイン
- 「爬虫名称」とは、欲しいクローラーの名称であり、「サイトドメイン」はクロールしたいウェブサイトのドメインです。
- プロジェクト内のクローラーファイルにクローラーコードを記述します。
- クローリングを実行する。
- スクレイプを実行する、クローラーの名前
- 「”クローラー名”はあなたが作成したクローラーの名前です。」
Scrapyプロジェクトを作成する基本的なステップはこれだけです。必要に応じて、プロジェクトにさらに多くのスパイダー、パイプライン、ミドルウェアなどを追加することができます。