Pythonでウェブサイトを走査するためには、いくつかの方法を使うことができますが、一般的な2つの方法を以下に示します：

1. requestsライブラリとBeautifulSoupライブラリを使用します。最初にrequestsライブラリを使ってHTTPリクエストを送り、ウェブページのHTMLコンテンツを取得し、その後BeautifulSoupライブラリを使用してHTMLコンテンツを解析します。BeautifulSoupのfind_all()メソッドを使って、特定のタグや要素をウェブサイト上で見つけることができます。

import requests
from bs4 import BeautifulSoup

# 发送HTTP请求获取网页内容
response = requests.get('http://example.com')
html_content = response.text

# 解析HTML内容
soup = BeautifulSoup(html_content, 'html.parser')

# 遍历网页上的所有链接
for link in soup.find_all('a'):
    print(link.get('href'))

1. Scrapyライブラリの使用：ScrapyはPythonの強力なウェブクローリングフレームワークであり、ウェブデータを収集、処理、保存するためのツールやメソッドを提供しています。カスタムのSpiderを作成することで、ウェブページ上のリンクやページを巡回することができます。

import scrapy

class MySpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://example.com']

    def parse(self, response):
        # 遍历网页上的所有链接
        for link in response.css('a::attr(href)').getall():
            yield {
                'link': link
            }

具体のニーズに応じて、適切な方法を選択してウェブページを横断するための一般的な2つの方法があります。