Pythonのバッチ画像クロールはどのように実現されていますか?

PythonのrequestsライブラリとBeautifulSoupライブラリを使用してWebページからコンテンツを取得し、正規表現または他の方法で画像URLを抽出し、requestsライブラリを使用して画像をダウンロードすることで、画像を大量にクロールできます。

下面是一个基本的示例代码：

import requests
from bs4 import BeautifulSoup
import os

# 定义要爬取的网页URL
url = 'http://example.com'

# 发送GET请求获取网页内容
response = requests.get(url)
html = response.text

# 创建保存图片的目录
os.makedirs('images', exist_ok=True)

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')

# 查找所有的图片标签
img_tags = soup.find_all('img')

# 遍历图片标签，获取图片的URL并下载
for img_tag in img_tags:
    img_url = img_tag['src']
    img_name = img_url.split('/')[-1]  # 获取图片文件名
    img_path = os.path.join('images', img_name)  # 拼接图片保存路径

    # 发送GET请求下载图片
    img_response = requests.get(img_url)
    with open(img_path, 'wb') as f:
        f.write(img_response.content)
        print(f'Downloaded {img_path}')

指定したWebページのURLからすべての画像をスクレイピングして、現在のディレクトリの「images」フォルダに保存します。必要に応じてコードを適切に変更してください。