Pythonを使用してローカルサーバーからデータをスクレイピングする方法は?

ローカルサーバーからデータをスクレイピングするには、Pythonの組み込みモジュールであるurllibまたはrequestsを使用できます。以下は、urllibモジュールを使用したサンプルコードです。

import urllib.request
# 创建一个请求对象
request = urllib.request.Request('http://localhost:8000/api/data')
# 发送请求并获取响应
response = urllib.request.urlopen(request)
# 读取响应内容
data = response.read()
# 解码响应内容
decoded_data = data.decode('utf-8')
# 输出解码后的内容
print(decoded_data)

このコードでは、urllib.request.Requestオブジェクトを作成してアクセスするURLを指定し、次にurllib.request.urlopen()メソッドを使用してリクエストを送信してレスポンスを取得しています。最後に、response.read()メソッドを使用してレスポンスのコンテンツを読み取り、.decode()メソッドを使用してコンテンツをデコードしています。

もしすでにrequestsモジュールがインストールされている場合は、requestsモジュールを使用して同様の機能を実現することもできます。以下は、requestsモジュールを使用したサンプルコードです。

import requests
# 发送请求并获取响应
response = requests.get('http://localhost:8000/api/data')
# 获取响应内容
data = response.text
# 输出响应内容
print(data)

リクエストオブジェクトのget()メソッドを使用してGETリクエストを送信し、レスポンスを取得します。その後、レスポンスオブジェクトのtext属性を使用してレスポンス本文を取得します。最後に、レスポンス本文を出力します。

なお、このコード例では、ローカルサーバーのアドレスが http://localhost:8000/api/data としていますが、実際の環境に合わせて URL を修正する必要があります。

bannerAds