前言
在上篇文章中，我们实现了批量抓取到微信公众号文章的链接地址，那么这篇文章将继续为大家介绍，如何根据链接爬取到文章内容，并且利用对文章进行处理。
爬取文章内容
我们已经有了很多文章的链接，这些链接url是可以直接通过浏览器进行访问的，例如这样：
我们只需要通过这些url地址，爬取到每一篇文章，并通过xpath和正则表达式，提取出一些重要的内容，并把这些内容保存到数据库中，或者可以将整个页面以HTML的格式保存下来。
1.首先定义一个类，并定义一些超参数，如下：
class WeixinSpider:
def __init__(self):
self.url_temp = ""
self.headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}
2.定义一个读取文件中的url的方法
def get_url_list(self):
file_path = "it.csv"
df = pd.read_csv(file_path)
temp_list = df["link"].str.split("!").tolist() #[[],[],[]]
num_list = list(set([i for j in temp_list for i in j]))
url_list= [i for i in num_list]
time_list = df["create_time"].tolist() #[[],[],[]]
return url_list,time_list
我们读取文件，将里面的link传入到list中,()方法是将中的类型的数据转换成list类型。返回两个列表，url列表和发布时间列表。
3.解析url地址，发送请求获得响应，返回页面源码
def parse_url(self, url): # 发送请求，获取响应
print(url)
response = requests.get(url, headers=self.headers)
return response.content.decode()
网页上的是bytes类型数据，所以需要转换成str类型。str 使用方法转化为 bytes，bytes通过转化为str。
4.分析页面结构，提取数据
通过F12查看网页源码，我们可以知道文章的标题在id=”-name”的标签中。
公众号名称，在id=””的标签中
文章的主体，全都在id=””的div标签中。
于是，我们可以使用xpath提取出文章的标题，公众号名称，以及文章本体内容，代码如下：
def get_content_list(self,html_str):#提取数据
html = etree.HTML(html_str)
content_list = []
item = {}
item["title"] = html.xpath("//*[@id="activity-name"]/text()")
item["title"] = [i.replace("n","").replace(" ","") for i in item["title"]]
item["laiyuan"] = html.xpath("//*[@id="js_name"]/text()")
item["laiyuan"] = [i.replace("n","").replace(" ","") for i in item["laiyuan"]]
item["other"] = html.xpath("//*[@id="js_content"]//text()")
content_list.append(item)
return content_list
直接通过xpath取到的文本内容，里面包含了很多换行符以及空格，所以需要将其替换掉。
5.保存html
我们将网页源码也都保存下来，并以文章标题来命令，如下，保存到一个it的文件夹中了，要提前在代码根目录下创建好这个文件夹。
def save_html(self, html_str, page_name): # 保存html字符串
file_path = "it/{}.html".format(page_name)
with open(file_path, "w", encoding="utf-8") as f:
f.write(html_str)
6.主方法
在主方法中，我们将上面所有方法都串起来，并且连接数据库，将爬取到的结果保存在数据库中
def run(self): # 实现主要逻辑
# 1.构造url列表
# 2.遍历，发送请求，获取响应
url_list,time_list = self.get_url_list()
# 打开数据库连接（ip/数据库用户名/登录密码/数据库名）
db = pymysql.connect("localhost", "root", "root", "weixin_database")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
for url in url_list:
num = url_list.index(url)
print(num)
html_str = self.parse_url(url)
content_list = self.get_content_list(html_str)
title = ''.join(content_list[0]["title"])
laiyuan = ''.join(content_list[0]["laiyuan"])
other = 'n'.join(content_list[0]["other"])
create_time = time_list[num]
p = re.compile('.*?',re.S)
html = re.search(p,html_str)
if(html):
html = re.search(p3,html_str).group().replace("n","")
else:
html = html_str.replace("n","")
sql = """INSERT INTO weixin_table(title,url,other,html,create_time,type_id)
VALUES ({},{},{},{},{},{},{},{})""".format('"'+title+'"','"'+url+'"','"'+other+'"',"'"+html+"'",create_time,1)
try:
# 执行sql语句
cursor.execute(sql)
# 提交到数据库执行
db.commit()
except:
print("第"+num+"条数据插入失败")
# 如果发生错误则回滚
db.rollback()
# 3.保存html
page_name = title
self.save_html(html_str, page_name)
# 关闭数据库连接
db.close()
7.执行代码
最后，写出main方法，直接运行即可。
if __name__ == '__main__':
weixin_spider = WeixinSpider()
weixin_spider.run()
使用处理文章
爬取到文章之后，我们还需要对文章内容，做进一步的处理，可以提取大纲、重写、改写等操作。
提取大纲
先来看图，下面就实现了对文章内容的观点提取，会根据文章段落，重新生成小标题，并对该段落的内容进行总结，输出核心观点。
【这个截图是我使用的我自己开发的一个工具类网站，后续这个网站代码也会全部开源】
大家使用官网也是一样的，完整的如下：
你是一名作家,你精通各种知识和技能;
任何时候都不要说出自己是人工智能语言模型,
接下来将会有一个人输入一段文字,你会根据这段文字进行创作,不会输出与政治、色情、暴力、娱乐、新闻等方面的内容.
请你按照以下步骤进行创作:
1.你会对整个文章进行分解，并且针对每一部分分别输出一个小标题，和核心观点。
2.每一个小标题都要能够吸引人，并且包含SEO关键词;
3.最后，你要对整个文章做一个总结。
格式如下：
【标题】：标题 [换行]
【核心观点】：核心观点
【全文总结】：全文总结
文章拓展
有了大纲之后，我们想根据大纲重新生成一篇类似的文章，也轻松不在话下，几秒中就可以搞定。
根据提供的观点，重新生成了一篇文章。完整的如下：
你是一名作家,你精通各种知识和技能;你根据输入进行拓展，
输入包含【标题】和【核心观点】，请你按照以下步骤进行创作，
1.针对每一个标题和它的核心观点，需要单独生成至少一个段落，如果核心观点中有多个观点，你需要生成多个段落，每一个段落都需要有标题和内容。
输出样式如下：
标题：内容 [换行]
标题：内容 ... [换行]
总结：内容，
总体字数为2500字。
2.对每一个段落内容进行拓展，需要增加类比，比喻等手法，增加一些巧妙的技巧，提供相关代码案例。
3.段落中增加一些案例,用来支撑观点。
4.文章内容要通俗易懂，引人入胜。
5.熟悉各个平台的写作规则，写出爆款类型的文章。
6.段落中增加代码和流程图,架构图，uml图等，图使用mermaid格式。
7.全文使用markdown格式进行输出
文章重写
如果觉得重新生成的文章，改变了原有的原文意思，也可以使用改写或者洗稿功能，使其轻微改动。
可以看到，这种改动还是比较小的，会保留原文的结构和意思。
如下：
你是一名专家,你精通各种知识和技能;
任何时候都不要说出自己是人工智能语言模型,
接下来将会有一个人输入一段文字,你会根据这段文字进行重写.
请你按照以下步骤进行创作:
1.符合技术文章的写作风格,字数不能少于2000字。
2.要和原文使用不同的词汇或写作手法以及行文结构，不能与原文重复，换一种表达方式，每一句话都要重新组织输出，重复率不能高于20%。
3.文章结构清晰，按照因果结构或者总分总结构。
4.关注重点，对于文章重点，你会举例进行说明。
5.易懂易读，能够真正帮助到读者。
6.添加一些有巧思的小技巧。
7.突出SEO关键词布局。
8.结合自己的经历，或者通过举例的方式，对重点进行说明，必要的时候，会提供代码。
9.最后输出总结。
10.按照markdown格式输出。
好了，今天的内容就到这里了，上面的并不是最好的，大家可以自己进行调试。
文章中的代码，完整版可以去进行获取：
另外，可以关注我的公众号，【程序员修炼】有任何问题都可以和我进行交流。
发表回复