最近接了一个任务，爬取中国高校的百度百科，记录其信息以及图片并存入MySQL中。

点击进入

第一步，分析网页，并尝试获取每个学校对应的URL

点进去以后猜测是Ajax加载的网页（鼠标滚轮往下滚的同时加载出新的内容，并且没有改变URL）
为了验证猜测，打开chrome开发者工具（右击，检查）

点击‘Network’，检查网页在动态加载过程中发送的请求

Ajax请求一般都能在‘XHR栏目中找到’
保持打开开发者工具，将鼠标一直往下滚动，可以发现在不断加载出新内容的同时，浏览器一直在发送名叫getlemmas的请求

猜测正确，确实是Ajax加载的网页
中国高校信息百度百科网页的url是‘https://baike.baidu.com/wikitag/taglist?tagId=60829’
但是如果单单请求这个url，我们只能得到第一页的内容，仅仅三十条高校信息，而实际上一共有两千五百多条信息
所以，想要爬取每个页面的信息，就要找到每个页面对应的url
随便点击一个getlemmas的请求，能看到如下界面

从Request URL中我们得到了这些请求真正访问的网页的url：‘https://baike.baidu.com/wikitag/api/getlemmas’
但是我们在浏览器中输入这个url并回车的时候会发现根本无法访问
这是因为在访问的时候缺少了某些参数，我们继续探究getlemmas的请求的界面

在底部，我们发现了一些参数。切换getlemmas请求，发现改变的值只有page。可以轻易地发现，page代表的就是访问的页数，一直往下翻翻到底，一共有81页。显然的，在我们请求该网页的时候需要带上这些参数
同时注意，该网页的请求方式不是get，而是post

那么，获取源码的代码就可以写出来了

for i in range(1, 82):#一共有81页
    params = {
        'limit': '30',
        'timeout': '3000',
        'filterTags': '[0,0,0,0,0,0,0]',
        'tagId': '60829',
        'fromLemma': 'false',
        'contentLength': '40',
        'page': str(i)
    }
    r = requests.post('https://baike.baidu.com/wikitag/api/getlemmas', headers=headers, data=params)#注意是post形式
    json_ans = r.json()#返回json数据，并对json数据进行解析。当然，返回text数据并用etree来解析也是一样的效果
    for i in range(0, 30):#每个页面有30所学校
        sc_url = json_ans['lemmaList'][i]['lemmaUrl']
        try:
            spider_detail(sc_url)#爬取每个学校的详细信息。该函数的代码会出现在后面
        except AttributeError:#防止异常中断程序
            print('err')
            pass

就这样，我们完成了第一步，获取每个学校的URL，下面，我们进行对每个学校信息的爬取

第二部，根据每个学校对应的URL，获取其信息
这一步难度不是很大，注意xpath书写的正确性，想要的信息就都能得到
但是要注意，某些学校缺少一些信息（如有些学校有显示官方网址，而有些网站没有），这样进行xpath定位的时候就会报错.但是我们又想尽量多地爬到信息，所以就在每个信息上都设置了异常处理，如果找不到对应的xpath，就把该信息设置成‘无’
下面是代码

def spider_detail(url):
    selector = download(url)
    try:
        name = selector.xpath('string(//*[@class="lemmaWgt-lemmaTitle-title"]/h1)')
    except IndexError:
        name = '无'
    infor = selector.xpath('string(//*[@class="lemma-summary"])')
    time = selector.xpath('string(//*[@class="dl-baseinfo"]/dl/dd)')
    try:
        species = selector.xpath('string(//*[@class="dl-baseinfo"][2]/dl/dd)')
    except IndexError:
        species = '无'
    try:
        attribute = selector.xpath('//*[@class="dl-baseinfo"]/dl[2]/dd/@title')[0]
    except IndexError:
        attribute = '无'
    try:
        sc_friend = selector.xpath('//*[@class="dl-baseinfo"]/dl[2]/dd/@title')[1]
    except IndexError:
        sc_friend = '无'
    try:
        agent = selector.xpath('string(//*[@class="dl-baseinfo"]/dl[3]/dd)')
    except IndexError:
        agent = '无'
    try:
        offical_url = selector.xpath('//*[@class=" bottomLine"]/dd/@title')[1]
    except IndexError:
        offical_url = '无'
    try:
        pic = selector.xpath('//*[@class="summary-pic"]/a/img/@src')[0]
        xx = download_pic(name, pic)
    except IndexError:
        xx = '无'
    write_in_sql(name, infor, time, species, attribute + '\n', sc_friend, agent, offical_url, xx)

download函数是自己写的，就是通过请求网页的url返回其源码
根据要求，图片要单独保存在某个文件夹中，于是写了download_pic函数
其他信息写入SQL server，所以写了write_in_sql函数
这些函数会在后面贴出来，这部分主要就是获取信息

这个时候，爬虫已经可以运行了。但是因为没有更换ip和访问频率的问题，容易被对方服务器检查出来，所以进入第三部分。

第三步，优化代码，使用IP池，并添加报错处理机制
这个时候就需要使用更换ip。但是单一的代理无法完成两千多个网页的爬取，手动收集的话效率又太低。于是这个时候就需要用到ip代理池
关于代理池的问题，可以直接在百度上找（如快代理），也可以在淘宝上搜索，商家都能提供高匿代理
第一次使用ip代理池，废了好大劲，回头来发现其实是很简单的事情。小伙伴们可以自己先试试，有问题联系我鸭（大佬走开！！）
这里要注意的是在使用代理池时需要配套使用动态 UA，不然同样可能出错。联系商家，他们应该会提供UA给你

使用代理池之后爬虫不会那么容易被服务器检查出来啦，但是由于访问频率的问题，服务器仍然有可能将你判定为爬虫。当我们的代码因为访问被拒绝而报错时，前面辛辛苦苦爬的内容就都浪费了。所以，我们需要一个报错处理机制，当因为访问频率问题被拒绝访问时，代码不应该直接报错退出爬取，而是等待一段时间以后继续爬取，这样，就不用怕功亏一篑啦
下面是代码

def download(targetUrl):
    proxyHost = 'u3462.b5.t.16yun.cn'
    proxyPort = "6460"

    # 代理隧道验证信息
    proxyUser = "16AOTZQK"
    proxyPass = "860038"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host": proxyHost,
        "port": proxyPort,
        "user": proxyUser,
        "pass": proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http": proxyMeta,
        "https": proxyMeta,
    }
    #  设置IP切换头
    tunnel = random.randint(1, 10000)
    headers = {"Proxy-Tunnel": str(tunnel),
               'User-Agent': ua_list[random.randint(0, 9)],
               'Connection': 'close'}
    while(1):
        try:
            resp = requests.get(targetUrl, proxies=proxies, headers=headers)
            time.sleep(2)
            resp.encoding = 'utf-8'
            return etree.HTML(resp.text)
        except :
            print('sleep 10 s')
            time.sleep(10)
            continue

现在，我们已经能成功地爬到想要的信息了。注意如果没有设置多协程，爬取时间会较长，千万不要让电脑休眠了，不然代码就会停下来
那么，只剩最后一步，将爬到的信息写入MySQL中了

第四步，将信息写入数据库

def write_in_sql(name, infor, time, species, attribute, sc_friend, agent, offical_url, xx):
    db = pymysql.connect(host="*****", port=10136,  user="*****", passwd="*****", db="university-info")
    cursor = db.cursor()
    sql = """INSERT INTO ui VALUE ('%s','%s','%s','%s','%s','%s','%s','%s','%s')""" % (name, infor, time, species, attribute, sc_friend, agent, offical_url, xx)
    try:
        cursor.execute(sql)
        db.commit()
        print('正在爬取：'+name)
        db.close()
    except pymysql.err.ProgrammingError:
        print('error')
        pass

那么到此为止任务就完成了，下面贴出全部代码，仅供跟我一样的萌新参考，大佬就笑着看看就行了

import requests
from lxml import etree
import random
from string import punctuation
import re
import time
import pymysql


ua_list = ['Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 GTB6 (.NET CLR 3.5.30729)',
'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',
'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:26.0) Gecko/20100101 Firefox/26.0',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1',
'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.120 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.115 Safari/537.36',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; en-US; .NET CLR 1.0.3328)',
'Mozilla/5.0 (Windows NT x.y; rv:10.0) Gecko/20100101 Firefox/10.0',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)'
]


def download(targetUrl):
    proxyHost = 'u3462.b5.t.16yun.cn'
    proxyPort = "6460"

    # 代理隧道验证信息
    proxyUser = "16AOTZQK"
    proxyPass = "860038"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host": proxyHost,
        "port": proxyPort,
        "user": proxyUser,
        "pass": proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http": proxyMeta,
        "https": proxyMeta,
    }
    #  设置IP切换头
    tunnel = random.randint(1, 10000)
    headers = {"Proxy-Tunnel": str(tunnel),
               'User-Agent': ua_list[random.randint(0, 9)],
               'Connection': 'close'}
    while(1):
        try:
            resp = requests.get(targetUrl, proxies=proxies, headers=headers)
            time.sleep(2)
            resp.encoding = 'utf-8'
            return etree.HTML(resp.text)
        except :
            print('sleep 10 s')
            time.sleep(10)
            continue


def write_in_sql(name, infor, time, species, attribute, sc_friend, agent, offical_url, xx):
    db = pymysql.connect(host="xxxxx", port=xxxxx,  user="root", passwd="xxxxx", db="university-info")
    cursor = db.cursor()
    sql = """INSERT INTO ui VALUE ('%s','%s','%s','%s','%s','%s','%s','%s','%s')""" % (name, infor, time, species, attribute, sc_friend, agent, offical_url, xx)
    try:
        cursor.execute(sql)
        db.commit()
        print('正在爬取：'+name)
        db.close()
    except pymysql.err.ProgrammingError:
        print('error')
        pass


def download_pic(name, url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}
    r = requests.get(url).content
    path = 'E:\Download\pic\\' + name + '.jpg'
    with open(path, 'wb') as f:
        f.write(r)
    return path


def spider_detail(url):
    selector = download(url)
    try:
        name = selector.xpath('string(//*[@class="lemmaWgt-lemmaTitle-title"]/h1)')
    except IndexError:
        name = '无'
    infor = selector.xpath('string(//*[@class="lemma-summary"])')
    time = selector.xpath('string(//*[@class="dl-baseinfo"]/dl/dd)')
    try:
        species = selector.xpath('string(//*[@class="dl-baseinfo"][2]/dl/dd)')
    except IndexError:
        species = '无'
    try:
        attribute = selector.xpath('//*[@class="dl-baseinfo"]/dl[2]/dd/@title')[0]
    except IndexError:
        attribute = '无'
    try:
        sc_friend = selector.xpath('//*[@class="dl-baseinfo"]/dl[2]/dd/@title')[1]
    except IndexError:
        sc_friend = '无'
    try:
        agent = selector.xpath('string(//*[@class="dl-baseinfo"]/dl[3]/dd)')
    except IndexError:
        agent = '无'
    try:
        offical_url = selector.xpath('//*[@class=" bottomLine"]/dd/@title')[1]
    except IndexError:
        offical_url = '无'
    try:
        pic = selector.xpath('//*[@class="summary-pic"]/a/img/@src')[0]
        xx = download_pic(name, pic)
    except IndexError:
        xx = '无'
    write_in_sql(name, infor, time, species, attribute + '\n', sc_friend, agent, offical_url, xx)


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
    'Referer': 'https://baike.baidu.com/wikitag/taglist?tagId=60829',
    'Cookie': 'BAIDUID=EC95F5E6FCDA1C64E019CD2D2B1EA6D7:FG=1; BIDUPSID=EC95F5E6FCDA1C64E019CD2D2B1EA6D7; PSTM=1566982298; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; Hm_lvt_55b574651fcae74b0a9f1cf9c8d7c93a=1566996146,1568346698,1569165138,1569213110; pgv_pvi=7965312000'
}
for i in range(1, 82):
    params = {
        'limit': '30',
        'timeout': '3000',
        'filterTags': '[0,0,0,0,0,0,0]',
        'tagId': '60829',
        'fromLemma': 'false',
        'contentLength': '40',
        'page': str(i)
    }
    r = requests.post('https://baike.baidu.com/wikitag/api/getlemmas', headers=headers, data=params)
    json_ans = r.json()
    for i in range(0, 30):
        sc_url = json_ans['lemmaList'][i]['lemmaUrl']
        try:
            spider_detail(sc_url)
        except AttributeError:
            print('err')
            pass

第五步，总结和思考
希望有朋友能多多跟我交流鸭
这篇博客我写了好久，应该是自己第一篇认认真真写的博客了，希望看到的朋友们能指出我的错误和不足，给我这个新手提供一些意见和建议~
其实是一个非常简单和基本的任务，因为经验不足，我做了一天半才做完。主要是对ip代理池的不熟练，对报错的处理能力不够及对MySQL的基本操作不是特别熟练造成的
因为对多协程的不熟练，同时任务时间又比较赶，代码中就没有尝试使用多协程（爬了两个多小时才爬完）
同时，如果熟悉scrapy，爬取的效率肯定比现在高很多
给自己定个小目标，尽早熟悉多协程和scrapy
什么时候才能不这么菜呢
以上。