项目
博客
文档
归档
资源链接
关于我
项目
博客
文档
归档
资源链接
关于我
Python爬虫掘金获取文章(源码)
2021-06-27
·
yuan
·
原创
·
源码
·
本文共 118个字，预计阅读需要 1分钟。
```python import requests import json import pymysql conn = pymysql.connect(host="", user="root",password="",database="",charset="utf8") cursor = conn.cursor() url = 'https://www.jianshu.com/programmers?page=1&type_id=27&count=400' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36' } response = requests.get(url,headers=headers) data = list() for x in response.json(): # 要执行的SQL语句 sql = "INSERT INTO resource_article (platform,`type`,title,url,`desc`) VALUES ('jianshu','后端',%s,%s, %s)" # 以元组的形式填入数据 val = (x.get("title"), 'https://www.jianshu.com/p/'+x.get("slug"),x.get("desc")) # 执行操作 cursor.execute(sql, val) # 提交事务 conn.commit() print('完成') ```