Node.jsでスクレイピングコードを簡単に実装する方法

2年 ago
陽, 向宇
1 minute

非常に単純なNode.jsクローラーのコードの例の1つを次に示します。

const request = require('request');
const cheerio = require('cheerio');

// 目标网站的URL
const url = 'https://example.com';

// 发送HTTP请求并获取页面内容
request(url, (error, response, body) => {
  if (error) {
    console.error(error);
    return;
  }

  // 使用cheerio解析页面内容
  const $ = cheerio.load(body);

  // 使用CSS选择器获取目标数据
  const title = $('title').text();
  const links = $('a').map((i, el) => $(el).attr('href')).get();

  // 输出结果
  console.log('Title:', title);
  console.log('Links:', links);
});

このコードでは、requestモジュールを使用してHTTPリクエストを送信し、cheerioモジュールでページ内容を解析します。CSSセレクターを使用すると、ページ内の対象となるデータを手軽に取り出すことができます。この例では、ページのタイトルとリンクを取り出して印刷しています。

この例は単純な一例であり、実際のスクレイピングのコードではページ処理や非同期で読み込まれるコンテンツ処理など、さらに多くの状況を考慮する必要があることに注意しましょう。

bannerAds