PythonのWebスクレイピングは、cookiejarでCookieを管理します。

2年 ago

優斗, 朝陽

1 minute

Pythonでは、http.cookiejarモジュールのCookieJarクラスを使用してcookieを管理できます。次のサンプルコードは、CookieJarクラスを使用してcookieを管理する方法を示しています。

import urllib.request
import http.cookiejar
# 创建一个CookieJar对象
cookie_jar = http.cookiejar.CookieJar()
# 创建一个HTTPCookieProcessor对象
cookie_processor = urllib.request.HTTPCookieProcessor(cookie_jar)
# 创建一个OpenerDirector对象
opener = urllib.request.build_opener(cookie_processor)
# 使用OpenerDirector对象发送HTTP请求
response = opener.open('http://www.example.com')
# 打印响应内容
print(response.read().decode('utf-8'))
# 输出所有的cookie
for cookie in cookie_jar:
print(cookie.name, cookie.value)

指定した例では、まずCookieJarオブジェクトを作り、次にHTTPCookieProcessorを使ってbuild_opener関数が返すOpenerDirectorオブジェクトと関連付けます。次に、OpenerDirectorオブジェクトでHTTPリクエストを送信すると、Cookieは自動で処理されます。最後に、CookieJarオブジェクトをイテレートしてすべてのCookieを取得します。

http.cookiejarモジュールでは、FileCookieJar、MozillaCookieJar、LWPCookieJarなどの別のクラスも提供されていることに注意してください。必要に応じて、適切なクラスを選択してCookieを管理できます。