番外篇 - 安装分布式环境

番外篇 - 安装分布式环境

二月 01, 2020

使用CentOS6 标准版系统

因为CentOS默认是python2

  1. 安装 python3

    1. 安装装python3的环境

      1
      yum install -y gcc,zlib*,openssl*

    2. 解压压缩包
      tar -xf python3.6.1.tar

      (参考Linux安装python3)

  2. 安装scrapy

    1. 安装装scrapy的环境

      1
      2
      3
      4
      5
      6
      yum install -y wget
      wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2

      tar -jxvf Twisted-17.1.0.tar.bz2  
      cd Twisted-17.1.0  
      python3 setup.py install

    2. 安装scrapy

      1
      pip3.6 install scrapy

  3. 安装 scrapy-redis

    pip3.6 install scrapy-redis
  1. 1. 使用CentOS6 标准版系统