Scrapy,在本章中,我们将讨论如何安装和设置Scrapy。Scrapy必须和Python一起安装。
Scrapy可以通过使用pip来安装。要安装,请运行以下命令 −
pip install Scrapy
Windows
步骤 1 – 从 Python 安装 Python 2.7。
通过在PATH中添加以下路径来设置环境变量 −
C:\Python27\;C:\Python27\Scripts\;
你可以用以下命令检查Python的版本 −
python --version
第2步 – 安装OpenSSL。
在你的环境变量中加入C:\OpenSSL-Win32\bin。
注意 – OpenSSL已经预装在除Windows之外的所有操作系统中。
第3步 – 安装Visual C++ 2008再分配程序。
第4步 – 安装pywin32。
第5步 – 安装pip,用于2.7.9以上的Python版本。
你可以使用下面的命令检查pip的版本 −
pip --version
第6步 – 要安装scrapy,运行以下命令 −
pip install Scrapy
Anaconda
如果你的机器上安装了anaconda或miniconda,运行下面的命令,用conda安装Scrapy −
conda install -c scrapinghub scrapy
Scrapinghub 公司支持Linux、Windows和OS X的官方conda包。
注意 – 如果你通过pip安装有问题,建议使用上述命令来安装Scrapy。
Ubuntu 9.10或以上
最新版本的Python已经预装在Ubuntu操作系统上。使用由Scrapinghub提供的Ubuntu软件包apttable。要使用这些软件包 —
第1步 – 你需要将用于签署Scrapy软件包的GPG密钥导入APT密钥圈中 −
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
步骤2 – 接下来,使用下面的命令来创建/etc/apt/sources.list.d/scrapy.list文件 –
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee
/etc/apt/sources.list.d/scrapy.list
第3步 – 更新软件包列表并安装scrapy −
sudo apt-get update && sudo apt-get install scrapy
Archlinux
你可以用以下命令从AUR的Scrapy软件包中安装Scrapy −
yaourt -S scrapy
Mac OS X
使用以下命令来安装Xcode命令行工具 −
xcode-select --install
不要使用系统的Python,而是安装一个新的更新版本,它不会与你系统的其他部分冲突。
步骤 1 – 安装 homebrew。
第2步 – 设置环境PATH变量,指定自制软件包应在系统软件包之前使用 −
echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
步骤3 – 为确保修改完成,使用以下命令重新加载.bashrc −
source ~/.bashrc
第4步 – 接下来,使用以下命令安装Python −
brew install python
第5步 – 使用以下命令安装Scrapy −
pip install Scrapy