使用 Debian 操作系统来运行 Selenium.

概括

由于需要执行网络爬虫操作,我在Debian上进行搜索,发现有很多关于在Ubuntu上使用Chrome的文章,而在Debian上执行此操作的文章却很少。我觉得既然可以使用软件包中提供的工具,为什么还要费力地安装Chrome呢?因此,我将这些内容整理成参考资料。实际上,这并不需要总结,因为非常简单。

安装所需的软件包。

apt install chromium-driver python3-selenium

通过这个命令,会安装所需的包,包括Chromium。

使用Selenium

请参考各种不同网页上的介绍。

在代理环境下使用

如果在Proxy环境中使用,需要设置代理信息。由于python3-selenium安装的是Selenium4,因此需要进行以下设置。

    • http_proxy

 

    • https_proxy

 

    no_proxy

特别是如果不设置no_proxy=localhost、127.0.0.1和::1,那么与本地主机的通信(Selenium使用的?)也将通过代理进行,并导致错误。您可以在环境变量中设置这些,但也可以在源代码内部设置。

os.environ["https_proxy"] = "http://proxy.xxx.xxx:8080"
os.environ["no_proxy"] = "localhost,127.0.0.1,::1"

可能的选择是这样。