欢迎各位小伙伴入群学习交流，则不用更新

问题描述: 

问题描述

本文转自

运行平台：Windows 

使用pip安装Python Scrapy时出现以下错误:

当前环境win10，python_3.6.1，64位。

并加入补充

Python版本：Python3.x 

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":

在windows下，在dos中运行pip install Scrapy报错：

Python3.6安装Scrapy爬虫框架

IDE：Sublime text3

环境是 Win8 64位 Python3.6

building 'twisted.test.raiser' extension

Windows10 64位系统安装Scrapy版本

转载请注明作者和出处：

解决方法:

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":

更新pip

Python学习交流群：125240963，群内每天分享干货，包括最新的python企业案例学习资料和零基础入门教程，欢迎各位小伙伴入群学习交流

安装对应环境下的whl文件

解决方案

安装 wheel

一、Scrapy简介

详细步骤:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载twisted对应版本的whl文件（如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl），cp后面是python版本，amd64代表64位，运行命令：

安装lxml

    Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在，Scrapy已经推出了曾承诺过的Python3.x版本。

1. 下载对应的whl文件:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 

pip install C:UsersCRDownloadsTwisted-17.5.0-cp36-cp36m-win_amd64.whl

安装zope.interface

    为什么学习Scrapy呢？它能我们更好的完成爬虫任务，自己写Python爬虫程序好比孤军奋战，而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以，学习Scrapy也就显得很有必要了。

    Twisted, an event-driven networking engine.

1

*安装pyOpenSSL

二、Scrapy安装

• Twisted‑18.7.0‑cp27‑cp27m‑win32.whl
• Twisted‑18.7.0‑cp27‑cp27m‑win_amd64.whl
• Twisted‑18.7.0‑cp34‑cp34m‑win32.whl
• Twisted‑18.7.0‑cp34‑cp34m‑win_amd64.whl
• Twisted‑18.7.0‑cp35‑cp35m‑win32.whl
• Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl
• Twisted‑18.7.0‑cp36‑cp36m‑win32.whl
• Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl
• Twisted‑18.7.0‑cp37‑cp37m‑win32.whl
• Twisted‑18.7.0‑cp37‑cp37m‑win_amd64.whl

其中install后面为下载的whl文件的完整路径名

安装Twisted

    1.直接使用指令pip3 install scrapy，发现有诸多错误。

    cp后面表示python的版本号, 32/64表示操作系统.

安装完成后，再次运行：

安装pywin32

• Failed building wheel for lxml
• Microsoft Visual C++ 10.0 is required
• Failed building twisted
• Unable to find vcvarsall.bat

    我这里是64位, python3.6, 就下载 "Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl"

pipinstallScrapy

安装Scrapy

    遇到的错误，如下图所示：

1. 接下来就是安装了:

1

第一步: 需要安装wheel文件,在cmd命令窗口执行pip install wheel

即可成功。

更新pip

 

注意: 这里就必须要安装wheel, 否则直接执行第二步会出现以下异常:

python -m pip install --upgrade pip

Invalid requirement: 'D:downloadTwisted-18.7.0-cp36-cp36m-win_amd64'
It looks like a path. File 'D:downloadTwisted-18.7.0-cp36-cp36m-win_amd64' does not exist.

若已经是最新版pip， 则不用更新

第二步: 执行pip install D:/download/Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl  即可完成whl文件的安装

2.解决办法

第三步: 安装Scrapy,执行命令:pip install Scrapy

安装 wheel

(1)在cmd中输入指令python，查看python的版本，如下：

试运行一下, 只要没有报错, 就说明已经安装成功:

pip install wheel

安装lxml（本地安装）

 从上图可以看出可以看出我的Python版本为Python3.5.2-64bit。

 

Python3.6版本，windows 10系统下，在（http://www.lfd.uci.edu/~gohlke/pythonlibs/）找到lxml‑3.8.0‑cp36‑cp36m‑win_amd64.whl，采用pip方式安装。

(2)登陆，Ctrl+F搜索Lxml、Twisted、Scrapy，下载对应的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本为3.7.3，对应的python版本为3.5-64bit。我下载的版本如下图所示：

以上是对安装Python Scrapy时出现问题的总结, 希望能给大家一个参考.

pip install lxml‑3.8.0‑cp36‑cp36m‑win_amd64.whl

参考资料:

安装zope.interface

 

 

在（https://pypi.python.org/pypi/zope.interface#downloads）下载zope.interface对应版本的wheel文件，然后pip安装，下载zope.interface-4.4.2-cp36-cp36m-win_amd64.whl

 

pip install zope.interface-4.4.2-cp36-cp36m-win_amd64.whl

在cmd中输入DOS指令，进入下载好的whl文件夹下，例如我的三个whl文件放在了Scrapy文件夹下：

安装pyOpenSSL

 

官方网站下载wheel文件，https://pypi.python.org/pypi/pyOpenSSL#downloads，如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl，下载后安装即可。

pip install pyOpenSSL-16.2.0-py2.py3-none-any.whl

    (4)依次执行如下命令：

安装Twisted

a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

同理，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件，利用pip安装即可。

    这样Scrapy的安装就完成了，请忽略最后两行让我升级pip的信息。*.*

如Python 3.6版本，Windows 64位系统，下载

    (5)Srapy已经安装成功，还要下载pywin32，找到对应版本下载，一路下一步安装即可。安装完成后，就可以正常使用Scrapy了。

Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl，然后pip安装。

    URL：

pip install Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl

安装pywin32

    至此，大功告成，我们可以愉快的使用Scrapy了。

9159.com ，从官方网站https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/下载对应版本的安装包安装即可。

创建以下python文件pythonregistry.py并运行，注意installpath要与python安装路径一致

---

# -*- coding: utf-8 -*-

# Run from the command window (Run as Administrator!):

# python registerPython.py

# script to register Python 2.0 or later for use with win32all

# and other extensions that require Python registry settings

#

# written by Joakim Löw for Secret Labs AB / PythonWare

#

# source:

#

import sys

from _winreg import *

# tweak as necessary

version = sys.version[:3]

installpath = sys.prefix

#installpath = "D:Program FilesPython36"  # 注意这里是python安装路径

regpath = "SOFTWARE\Python\Pythoncore\%s\" % (version)

installkey = "InstallPath"

pythonkey = "PythonPath"

pythonpath = "%s;%s\Lib\;%s\DLLs\" % (

installpath, installpath, installpath

)

def RegisterPy():

try:

reg = OpenKey(HKEY_LOCAL_MACHINE, regpath)

except EnvironmentError:

try:

print("No Key Found, attempting to register")

reg = CreateKey(HKEY_LOCAL_MACHINE, regpath)

SetValue(reg, installkey, REG_SZ, installpath)

SetValue(reg, pythonkey, REG_SZ, pythonpath)

CloseKey(reg)

except:

print("*** Unable to register!")

return

print("--- Python", version, "is now registered!")

return

if (QueryValue(reg, installkey) == installpath and

QueryValue(reg, pythonkey) == pythonpath):

CloseKey(reg)

print("=== Python", version, "is already registered!")

return

CloseKey(reg)

print("*** Unable to register!")

print("*** You probably have another Python installation!")

if __name__ == "__main__":

RegisterPy()

---

---

安装Scrapy

也是采用wheel形式安装Scrapy-1.4.0-py2.py3-none-any.whl

pip install Scrapy-1.4.0-py2.py3-none-any.whl

大功告成 输入scrapy 结果如下：

本文由9159.com发布于编程,转载请注明出处：欢迎各位小伙伴入群学习交流，则不用更新

关键词：