文科生自学Python-初识简易爬虫(request)

--世界上只有一种真正的英雄主义,就是看清生活的真相之后依然热爱生活，学习编程成就更好的自己--

Python语言简洁生动，特别适合文科生学习入门IT世界，用几十行代码就能够做一个完整的爬虫脚本，开发效率杠杠的！短时间内即可解决工作和学习中碰到的各种棘手问题。(本人外语专业毕业，机缘巧合爱上编程，自学道路曲曲折折，痛并快乐！)在这里总结一下自学Python遇到的难点和重点，分享码过的代码和要点总结，希望能够给初学者一点启示和鼓励，同时愿意结交更多大神交流有助提升自己的水平。

今天分享一下本人初学爬虫时写过的简易脚本，通过该实例想证明：爬虫并不是多复杂和高深的技术，只要大家有足够的兴趣和耐心一定能够爬到工作和学习所需的数据(一定要合规和合法的爬)，主要过程分为三个步骤：

1.构造网页访问请求-即打开指定网站或相关网页；

2.爬取网页数据并解析-关键点如何得到出想要的信息数据；

3.解析好的数据保存到本地-一般用pandas来保存成excel格式文件。

接下来看看具体实例吧，下面要爬取的内容是“某瓣”一指定网页上的所有电影中文名和对应出品年份，主要使用request库来完成相关任务。

1.构造网页访问请求-生成一个自定义访问请求函数

2.爬取相关数据-使用访问请求函数爬出数据并进行分析和解析

通过观察找到电影中文名的规律并用正则写好相应提取函数

通过观察找到电影出品年份的规律并用正则写好相应提取函数

3.将解析出来的数据通过pandas方法装入dataframe并保存到本地

保存后的Excel文件结果显示如下：

代码汇总如下：

from pandas.core.frame import DataFrame
import urllib.request,urllib.error
import pandas as pd
import datetime
import time
import os
import re

def Set_Work_Path(x):
    try:
        os.chdir(x)
        route = os.getcwd()
        print(route)
        return route
    except Exception:
        print("No Result")
work_path = r"E:\DATA\10AUG21"
Set_Work_Path(work_path)

#define a website openning function
def Get_Url_Link(url):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"}
    req = urllib.request.Request(url=url, headers=headers)
    response = urllib.request.urlopen(req, timeout=5)
    data = response.read().decode("utf-8")
    return data
link_airlines = "https://movie.douban.com/top250?start=00"
web_data = Get_Url_Link(link_airlines)
print(web_data)

#define a function to locate the film title
def Get_Film_Title(x):
    mode = re.compile(r'class\=\"title\"\>([\u4E00-\u9FA5]+)\<\/span\>')
    list = re.findall(mode,x)
    print(len(list))
    return list

#define a function to locate the film year
def Get_Film_Year(x):
    mode = re.compile(r'(\d{4}) ')
    list = re.findall(mode,x)
    print(len(list))
    return list

title_list = Get_Film_Title(web_data)
print(title_list)
year_list = Get_Film_Year(web_data)
print(year_list)

#get the list into a dataframe
df = {"Title":title_list,"Year":year_list}
data = DataFrame(df)
print(data)

#create file name
nowTime = datetime.datetime.now()
fraTime = nowTime
Update_Time = fraTime.strftime('%Y-%m-%d-%H-%M-%S')
data_out_title = "爬取网页"+Update_Time+".xlsx"
print(data_out_title)
#get data saved into excel file
writer = pd.ExcelWriter(data_out_title)
data.to_excel(writer,encoding="utf_8_sig",sheet_name="data",index=False)
writer.save()

#show the running time
show = "Time: %s Seconds" % time.perf_counter() + ", Well Done!"
print(show)
print("Running is OVER!!")

今天的案例非常简单，主要目的是为了让大多数小白明白爬虫的基本原理和过程，增加初学者的信心和勇气，通常来讲新手先要学会爬取静态网页数据，然后慢慢增加难度来做完成更复杂的爬虫任务，有句古话说的好：不积跬步，无以至千里！！！

END

我为人人，人人为我！！欢迎大家关注，点赞和转发！！！

~~人生不是赛场，梦想不容退场~~不断努力学习蜕变出一个更好的自己，不断分享学习路上的收获和感悟帮助他人成就自己！！！