欢迎各位小伙伴入群学习交流,则不用更新

作者: 编程  发布:2019-11-21

问题描述: 

问题描述

本文转自

运行平台:Windows 

使用pip安装Python Scrapy时出现以下错误:

当前环境win10,python_3.6.1,64位。

并加入补充

Python版本:Python3.x 

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":

在windows下,在dos中运行pip install Scrapy报错:

Python3.6安装Scrapy爬虫框架

IDE:Sublime text3

环境是 Win8 64位 Python3.6

building 'twisted.test.raiser' extension

Windows10 64位系统安装Scrapy版本

转载请注明作者和出处:

解决方法:

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":

更新pip

Python学习交流群:125240963,群内每天分享干货,包括最新的python企业案例学习资料和零基础入门教程,欢迎各位小伙伴入群学习交流

安装对应环境下的whl文件

解决方案

安装 wheel

一、Scrapy简介

详细步骤:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载twisted对应版本的whl文件(如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl),cp后面是python版本,amd64代表64位,运行命令:

安装lxml

    Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。

  1. 下载对应的whl文件:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 

pip install C:UsersCRDownloadsTwisted-17.5.0-cp36-cp36m-win_amd64.whl

安装zope.interface

    为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以,学习Scrapy也就显得很有必要了。

    Twisted, an event-driven networking engine.

1

*安装pyOpenSSL

二、Scrapy安装

  • Twisted‑18.7.0‑cp27‑cp27m‑win32.whl
  • Twisted‑18.7.0‑cp27‑cp27m‑win_amd64.whl
  • Twisted‑18.7.0‑cp34‑cp34m‑win32.whl
  • Twisted‑18.7.0‑cp34‑cp34m‑win_amd64.whl
  • Twisted‑18.7.0‑cp35‑cp35m‑win32.whl
  • Twisted‑18.7.0‑cp35‑cp35m‑win_amd64.whl
  • Twisted‑18.7.0‑cp36‑cp36m‑win32.whl
  • Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl
  • Twisted‑18.7.0‑cp37‑cp37m‑win32.whl
  • Twisted‑18.7.0‑cp37‑cp37m‑win_amd64.whl

其中install后面为下载的whl文件的完整路径名

安装Twisted

    1.直接使用指令pip3 install scrapy,发现有诸多错误。

    cp后面表示python的版本号, 32/64表示操作系统.

安装完成后,再次运行:

安装pywin32

  • Failed building wheel for lxml
  • Microsoft Visual C++ 10.0 is required
  • Failed building twisted
  • Unable to find vcvarsall.bat

    我这里是64位, python3.6, 就下载 "Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl"

pipinstallScrapy

安装Scrapy

    遇到的错误,如下图所示:

  1. 接下来就是安装了:

1

9159.com 1

第一步: 需要安装wheel文件,在cmd命令窗口执行pip install wheel

即可成功。

更新pip

 

注意: 这里就必须要安装wheel, 否则直接执行第二步会出现以下异常:

python -m pip install --upgrade pip

9159.com 2

Invalid requirement: 'D:downloadTwisted-18.7.0-cp36-cp36m-win_amd64'
It looks like a path. File 'D:downloadTwisted-18.7.0-cp36-cp36m-win_amd64' does not exist.

若已经是最新版pip, 则不用更新

9159.com 3

第二步: 执行pip install D:/download/Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl  即可完成whl文件的安装

2.解决办法

第三步: 安装Scrapy,执行命令:pip install Scrapy

安装 wheel

(1)在cmd中输入指令python,查看python的版本,如下:

试运行一下, 只要没有报错, 就说明已经安装成功:

pip install wheel

9159.com 4

9159.com 5

安装lxml(本地安装)

 从上图可以看出可以看出我的Python版本为Python3.5.2-64bit。

 

Python3.6版本,windows 10系统下,在(http://www.lfd.uci.edu/~gohlke/pythonlibs/)找到lxml‑3.8.0‑cp36‑cp36m‑win_amd64.whl,采用pip方式安装。

(2)登陆,Ctrl+F搜索Lxml、Twisted、Scrapy,下载对应的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示lxml的版本为3.7.3,对应的python版本为3.5-64bit。我下载的版本如下图所示:

以上是对安装Python Scrapy时出现问题的总结, 希望能给大家一个参考.

pip install lxml‑3.8.0‑cp36‑cp36m‑win_amd64.whl

9159.com 6

参考资料:

安装zope.interface

 

 

在(https://pypi.python.org/pypi/zope.interface#downloads)下载zope.interface对应版本的wheel文件,然后pip安装,下载zope.interface-4.4.2-cp36-cp36m-win_amd64.whl

 

pip install zope.interface-4.4.2-cp36-cp36m-win_amd64.whl

在cmd中输入DOS指令,进入下载好的whl文件夹下,例如我的三个whl文件放在了Scrapy文件夹下:

安装pyOpenSSL

 

官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads,如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl,下载后安装即可。

9159.com 7

pip install pyOpenSSL-16.2.0-py2.py3-none-any.whl

    (4)依次执行如下命令:

安装Twisted

a.pip3 install wheel

9159.com 8

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

9159.com 9

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

9159.com 10

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

9159.com 11

同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。

    这样Scrapy的安装就完成了,请忽略最后两行让我升级pip的信息。*.*

如Python 3.6版本,Windows 64位系统,下载

    (5)Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。

Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl,然后pip安装。

    URL:

pip install Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl

9159.com 12

安装pywin32

    至此,大功告成,我们可以愉快的使用Scrapy了。

9159.com ,从官方网站https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/下载对应版本的安装包安装即可。

创建以下python文件pythonregistry.py并运行,注意installpath要与python安装路径一致


# -*- coding: utf-8 -*-

# Run from the command window (Run as Administrator!):

# python registerPython.py

# script to register Python 2.0 or later for use with win32all

# and other extensions that require Python registry settings

#

# written by Joakim Löw for Secret Labs AB / PythonWare

#

# source:

#

import sys

from _winreg import *

# tweak as necessary

version = sys.version[:3]

installpath = sys.prefix

#installpath = "D:Program FilesPython36"  # 注意这里是python安装路径

regpath = "SOFTWARE\Python\Pythoncore\%s\" % (version)

installkey = "InstallPath"

pythonkey = "PythonPath"

pythonpath = "%s;%s\Lib\;%s\DLLs\" % (

installpath, installpath, installpath

)

def RegisterPy():

try:

reg = OpenKey(HKEY_LOCAL_MACHINE, regpath)

except EnvironmentError:

try:

print("No Key Found, attempting to register")

reg = CreateKey(HKEY_LOCAL_MACHINE, regpath)

SetValue(reg, installkey, REG_SZ, installpath)

SetValue(reg, pythonkey, REG_SZ, pythonpath)

CloseKey(reg)

except:

print("*** Unable to register!")

return

print("--- Python", version, "is now registered!")

return

if (QueryValue(reg, installkey) == installpath and

QueryValue(reg, pythonkey) == pythonpath):

CloseKey(reg)

print("=== Python", version, "is already registered!")

return

CloseKey(reg)

print("*** Unable to register!")

print("*** You probably have another Python installation!")

if __name__ == "__main__":

RegisterPy()



安装Scrapy

也是采用wheel形式安装Scrapy-1.4.0-py2.py3-none-any.whl

pip install Scrapy-1.4.0-py2.py3-none-any.whl

大功告成 输入scrapy 结果如下:

9159.com 13

本文由9159.com发布于编程,转载请注明出处:欢迎各位小伙伴入群学习交流,则不用更新

关键词:

上一篇:没有了
下一篇:/多行注释,5.类型转换