Python3 爬虫开发

Python2 马上就要不维护了,现在要尽量使用 Python3,正好崔庆才写了一本《Python 3网络爬虫开发实战》,介绍了 Requests、Selenium、PhantomJS、Beautiful Soup 等 python 库的用法。

用 virtualenv 创建的 python 运行环境,指定用 python3,并安装要用到的库:

pip install virtualenv
mkdir spider3
cd spider3

virtualenv -p python3 env
source env/bin/activate
pip3 install django mysqlclient requests beautifulsoup4

随时将依赖的 python 包更新到 requirements.txt 文件中:

pip3 freeze > requirements.txt

参考

  1. 李佶澳的博客
  2. Python3网络爬虫开发实战教程
  3. What is Selenium?
  4. 崔庆才:《Python 3网络爬虫开发实战》