猫史档案馆


【Python作品分享】大学高校信息采集系统【教程贴】

用户:sparkle-xUisparkle-xUi查看:0 回复:0 评论:0 创建时间:2023-04-25T16:40:23


【作品展示】

center_image

 

【作品介绍】

jafafa

 

【作品源代码】

import requests     # python 的requests库
import time
import json
import jsonpath

#https://gaokao.chsi.com.cn/zyk/pub/myd/schAppraisalTop.action?start=0  数据来源

print("欢迎您来到大学高校信息采集系统!")
print("校名         城市 综合满意度 环境满意度 生活满意度 网址")
x_save="校名,城市,综合满意度,环境满意度,生活满意度,网址"+"\n"  #保存文件表头

header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win喵; x喵; rv:60.0) Gecko/20100101 Firefox/60.0',
          "Content-Type":"application/x-www-form-urlencoded"
         }

for i in range(1,128):          #共127页
	html=requests.post("https://my.chsi.com.cn/zyzsk/wap/zyk/pub/yxmydinfolist",data="start="+str(i*20)+"&yxmc=&yxlx=&yxls=&ssdm=&yx喵z=&xlcc=",headers=header)
	strr=html.text
	data = json.loads(strr)                     
	yxmc = jsonpath.jsonpath(data,'$..yxmc') # 校名
	yxszd = jsonpath.jsonpath(data,'$..yxszd') # 城市
	avgRank = jsonpath.jsonpath(data,'$..appraisalTopInfos[0].right.avgRank') # 综合满意度
	avgRank1 = jsonpath.jsonpath(data,'$..appraisalTopInfos[1].right.avgRank') # 环境满意度
	avgRank2 = jsonpath.jsonpath(data,'$..appraisalTopInfos[2].right.avgRank')# 生活满意度
	schInfoHref = jsonpath.jsonpath(data,'$..schInfoHref') # 网址

	for j,k in enumerate(yxmc):
		x_save=x_save+yxmc[j] +","+yxszd[j]+","+str(avgRank[j])+","+ str(avgRank1[j])+","+ str(avgRank2[j])+","+ schInfoHref[j]+"\n"           #累加各条数据
		print(yxmc[j] +","+yxszd[j]+","+str(avgRank[j])+","+ str(avgRank1[j])+","+ str(avgRank2[j])+","+ schInfoHref[j]) 

	time.sleep(1)       #延时1秒
with open('大学高校信息采集系统.csv','w',encoding='utf_8_sig') as f:
	f.write(x_save)    #保存数据

print("全部完成")	

 

【提示】

部分含有Python第三方库相关内容的作品,在海龟编辑器网页端无法运行哦!如遇到这种情况,可以打开下面的链接,下载海龟编辑器客户端:

https://python.codemao.cn


回复

上一页1 页 / 共 0下一页