Scrapy – 环境搭建

在本章中，我们将讨论如何安装和设置Scrapy。Scrapy必须与Python一起安装。

Scrapy可以通过使用 pip . 要安装，请运行以下命令−

pip install Scrapy

窗口

注意 - 在Windows操作系统上不支持Python 3。

第1步 - 从Python 安装Python 2.7

通过在PATH中添加以下路径来设置环境变量 –

C:\Python27\;C:\Python27\Scripts\; 

你可以使用以下命令检查Python的版本 −

python --version

第2步 - 安装OpenSSL .

在你的环境变量中添加C:\OpenSSL-Win32\bin。

注意 - OpenSSL已经预装在除Windows之外的所有操作系统中。

第3 步 – 安装Visual C++ 2008 再分配程序。

第 4 步 – 安装pywin32 。

第5步 - 为2.7.9以上的Python版本安装pip 。

你可以使用以下命令检查pip的版本 −

pip --version

第6步 - 要安装scrapy，请运行以下命令 —

pip install Scrapy

Anaconda

如果你的机器上安装了Anaconda 或miniconda ，运行下面的命令，使用conda安装Scrapy —

conda install -c scrapinghub scrapy 

Scrapinghub 公司支持Linux、Windows和OS X的官方conda软件包。

注意 - 如果你通过pip安装有问题，建议使用上述命令来安装Scrapy。

Ubuntu 9.10或以上

最新版本的Python已经预装在Ubuntu操作系统上。使用由Scrapinghub提供的Ubuntu软件包apttable。To use the packages −

第1步 - 你需要将用于签署Scrapy软件包的GPG密钥导入APT密钥圈 —

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

第2步 - 接下来，使用以下命令创建/etc/apt/sources.list.d/scrapy.list文件 –

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

第3步 - 更新软件包列表并安装scrapy —

sudo apt-get update && sudo apt-get install scrapy

Archlinux

你可以使用以下命令从AUR的Scrapy包中安装Scrapy −

yaourt -S scrapy

Mac OS X

使用下面的命令来安装Xcode命令行工具 –

xcode-select --install 

与其使用系统Python，不如安装一个新的更新版本，与你系统的其他部分不发生冲突。

第1步 - 安装自制软件。

第2步 - 设置环境PATH变量，指定自制的软件包应在系统软件包之前使用 —

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

第3步 --为了确保修改完成，使用以下命令重新加载 .bashrc

source ~/.bashrc 

第4步 - 接下来，使用以下命令安装Python —

brew install python

第5步 - 使用下面的命令安装Scrapy —

pip install Scrapy