내 연락처 정보
우편메소피아@프로톤메일.com
2024-07-12
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
안녕하세요 여러분, 오늘은 실용적인 내용을 공유하고 싶습니다.파이썬 스크립트 를 사용하면 CSDN 블로그에 게시된 모든 기사의 관련 데이터를 일괄적으로 가져오고 해당 데이터를 Excel 파일에 저장하는 데 도움이 될 수 있습니다. 또한 스크립트는 각 기사의 품질 점수를 얻고 이 점수를 Excel에도 기록합니다. 시작하자!
이 스크립트는 주로 두 부분으로 나뉩니다.
먼저 이 작업을 수행하는 데 도움이 되는 일부 Python 라이브러리를 가져와야 합니다.
- import json
- import pandas as pd
- from openpyxl import Workbook, load_workbook
- from openpyxl.utils.dataframe import dataframe_to_rows
- import math
- import requests
우리는 클래스를 정의합니다GetInformationToExcel
기사 정보 가져오기 및 Excel 파일 저장을 처리하려면:
- class GetInformationToExcel:
- def __init__(self, username, cookies, Referer, page, size, filename):
- self.username = username
- self.cookies = cookies
- self.Referer = Referer
- self.size = size
- self.filename = filename
- self.page = page
-
- # 发送HTTP GET请求到CSDN的API,获取文章列表
- def get_articles(self):
- url = "https://blog.csdn.net/community/home-api/v1/get-business-list"
- params = {
- "page": {self.page},
- "size": {self.size},
- "businessType": "blog",
- "username": {self.username}
- }
- headers = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 11.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
- 'Cookie': self.cookies,
- 'Referer': self.Referer
- }
-
- try:
- response = requests.get(url, params=params, headers=headers)
- response.raise_for_status()
- data = response.json()
- return data.get('data', {}).get('list', [])
- except requests.exceptions.HTTPError as e:
- print(f"HTTP错误: {e.response.status_code} {e.response.reason}")
- except requests.exceptions.RequestException as e:
- print(f"请求异常: {e}")
- except json.JSONDecodeError:
- print("解析JSON失败")
- return []
-
- # 将文章列表转换为Pandas DataFrame,选择并重命名必要的列。
- def export_to_excel(self):
- df = pd.DataFrame(self.get_articles())
- df = df[['title', 'url', 'postTime', 'viewCount', 'collectCount', 'diggCount', 'commentCount']]
- df.columns = ['文章标题', 'URL', '发布时间', '阅读量', '收藏量', '点赞量', '评论量']
- wb = Workbook()
- sheet = wb.active
- for r in dataframe_to_rows(df, index=False, header=True):
- sheet.append(r)
- for column in sheet.columns:
- max_length = 0
- column = [cell for cell in column]
- for cell in column:
- try:
- if len(str(cell.value)) > max_length:
- max_length = len(cell.value)
- except:
- pass
- adjusted_width = (max_length + 5)
- sheet.column_dimensions[column[0].column_letter].width = adjusted_width
- # Save the workbook
- wb.save(self.filename)
이 클래스에서는 다음 메서드를 구현합니다.
__init__
: 클래스의 기본 속성을 설정하는 초기화 방법입니다.get_articles
: 기사 목록을 얻으려면 CSDN API에 HTTP GET 요청을 보냅니다.export_to_excel
: 기사 목록을 Pandas DataFrame으로 변환하여 엑셀 파일로 저장합니다.다음으로 다른 클래스를 정의합니다.GetArticleScores
기사 품질 점수 획득 및 Excel 파일 업데이트를 처리하려면:
- class GetArticleScores:
- def __init__(self, filepath):
- self.filepath = filepath
-
- # 发送HTTP POST请求到一个API,获取文章的质量分。
- @staticmethod
- def get_article_score(article_url):
- url = "https://bizapi.csdn.net/trends/api/v1/get-article-score"
- headers = {
- "Accept": "application/json, text/plain, */*",
- "X-Ca-Key": "203930474",
- "X-Ca-Nonce": "b35e1821-05c2-458d-adae-3b720bb15fdf",
- "X-Ca-Signature": "gjeSiKTRCh8aDv0UwThIVRITc/JtGJkgkZoLVeA6sWo=",
- "X-Ca-Signature-Headers": "x-ca-key,x-ca-nonce",
- "X-Ca-Signed-Content-Type": "multipart/form-data",
- }
- data = {"url": article_url}
- try:
- response = requests.post(url, headers=headers, data=data)
- response.raise_for_status() # This will raise an error for bad responses
- return response.json().get('data', {}).get('score', 'Score not found')
- except requests.RequestException as e:
- print(f"Request failed: {e}")
- return "Error fetching score"
-
- def get_scores_from_excel(self):
- """读取Excel文件,获取文章URL列表。
- 对每个URL调用 get_article_score 方法,获取分数列表。
- 返回分数列表。"""
- df = pd.read_excel(self.filepath)
- urls = df['URL'].tolist()
- scores = [self.get_article_score(url) for url in urls]
- return scores
-
- def write_scores_to_excel(self):
- """读取Excel文件到DataFrame。
- 将获取的分数添加到DataFrame中。
- 将更新后的DataFrame保存回Excel文件。"""
- df = pd.read_excel(self.filepath)
- df['质量分'] = self.get_scores_from_excel()
- df.to_excel(self.filepath, index=False)
이 클래스에서는 다음 메서드를 구현합니다.
__init__
: 클래스의 기본 속성을 설정하는 초기화 방법입니다.get_article_score
: 정적 메서드는 기사의 품질 점수를 얻기 위해 API에 HTTP POST 요청을 보냅니다.get_scores_from_excel
: 엑셀 파일을 읽고, 기사 URL 목록을 가져오고, 점수 목록을 가져옵니다.write_scores_to_excel
: Excel 파일을 DataFrame으로 읽어 들여 얻은 점수를 DataFrame에 추가하고 다시 Excel 파일에 저장합니다.마지막으로 메인 프로그램에서 총 기사 수, 쿠키, 리퍼러 및 CSDN 사용자 ID를 설정하고 다음 단계를 수행했습니다.
- if __name__ == '__main__':
- # 请填写:已发文章总数量,cookies,你的首页Referer,你的id:CSDNid
- total = 145
- cookies = 'uuid_tt_dd=10' # Simplified for brevity
- Referer = 'https://blog.csdn.net/q244645787'
- CSDNid = 'q244645787'
- # 下面是计算和获取
- t_index = math.ceil(total / 100) + 1 # 向上取整,半闭半开区间,开区间+1。
- for index in range(1, t_index): # 文章总数
- filename = "score" + str(index) + ".xlsx"
- exporter_excel = GetInformationToExcel(CSDNid, cookies, Referer, index, 100, filename) # Replace with your username
- exporter_excel.export_to_excel()
- article_score = GetArticleScores(filename)
- article_score.write_scores_to_excel()
-
- print("获取完成")
실행 후에는 모든 기사 데이터와 품질 점수가 포함된 Excel 파일을 받게 됩니다.
- import json
- import pandas as pd
- from openpyxl import Workbook, load_workbook
- from openpyxl.utils.dataframe import dataframe_to_rows
- import math
- import requests
-
-
- # 批量获取文章信息并保存到excel
- class GetInformationToExcel:
- def __init__(self, username, cookies, Referer, page, size, filename):
- self.username = username
- self.cookies = cookies
- self.Referer = Referer
- self.size = size
- self.filename = filename
- self.page = page
-
- # 发送HTTP GET请求到CSDN的API,获取文章列表
- def get_articles(self):
- url = "https://blog.csdn.net/community/home-api/v1/get-business-list"
- params = {
- "page": {self.page},
- "size": {self.size},
- "businessType": "blog",
- "username": {self.username}
- }
- headers = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 11.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
- 'Cookie': self.cookies,
- 'Referer': self.Referer
- }
-
- try:
- response = requests.get(url, params=params, headers=headers)
- response.raise_for_status()
- data = response.json()
- return data.get('data', {}).get('list', [])
- except requests.exceptions.HTTPError as e:
- print(f"HTTP错误: {e.response.status_code} {e.response.reason}")
- except requests.exceptions.RequestException as e:
- print(f"请求异常: {e}")
- except json.JSONDecodeError:
- print("解析JSON失败")
- return []
-
- # 将文章列表转换为Pandas DataFrame,选择并重命名必要的列。
- def export_to_excel(self):
- df = pd.DataFrame(self.get_articles())
- df = df[['title', 'url', 'postTime', 'viewCount', 'collectCount', 'diggCount', 'commentCount']]
- df.columns = ['文章标题', 'URL', '发布时间', '阅读量', '收藏量', '点赞量', '评论量']
- wb = Workbook()
- sheet = wb.active
- for r in dataframe_to_rows(df, index=False, header=True):
- sheet.append(r)
- for column in sheet.columns:
- max_length = 0
- column = [cell for cell in column]
- for cell in column:
- try:
- if len(str(cell.value)) > max_length:
- max_length = len(cell.value)
- except:
- pass
- adjusted_width = (max_length + 5)
- sheet.column_dimensions[column[0].column_letter].width = adjusted_width
- # Save the workbook
- wb.save(self.filename)
-
-
- # 获取每篇文章的质量分,并将分数写入到Excel文件中
- class GetArticleScores:
- def __init__(self, filepath):
- self.filepath = filepath
-
- # 发送HTTP POST请求到一个API,获取文章的质量分。
- @staticmethod
- def get_article_score(article_url):
- url = "https://bizapi.csdn.net/trends/api/v1/get-article-score"
- headers = {
- "Accept": "application/json, text/plain, */*",
- "X-Ca-Key": "203930474",
- "X-Ca-Nonce": "b35e1821-05c2-458d-adae-3b720bb15fdf",
- "X-Ca-Signature": "gjeSiKTRCh8aDv0UwThIVRITc/JtGJkgkZoLVeA6sWo=",
- "X-Ca-Signature-Headers": "x-ca-key,x-ca-nonce",
- "X-Ca-Signed-Content-Type": "multipart/form-data",
- }
- data = {"url": article_url}
- try:
- response = requests.post(url, headers=headers, data=data)
- response.raise_for_status() # This will raise an error for bad responses
- return response.json().get('data', {}).get('score', 'Score not found')
- except requests.RequestException as e:
- print(f"Request failed: {e}")
- return "Error fetching score"
-
- def get_scores_from_excel(self):
- """读取Excel文件,获取文章URL列表。
- 对每个URL调用 get_article_score 方法,获取分数列表。
- 返回分数列表。"""
- df = pd.read_excel(self.filepath)
- urls = df['URL'].tolist()
- scores = [self.get_article_score(url) for url in urls]
- return scores
-
- def write_scores_to_excel(self):
- """读取Excel文件到DataFrame。
- 将获取的分数添加到DataFrame中。
- 将更新后的DataFrame保存回Excel文件。"""
- df = pd.read_excel(self.filepath)
- df['质量分'] = self.get_scores_from_excel()
- df.to_excel(self.filepath, index=False)
-
-
- if __name__ == '__main__':
- # 请填写:已发文章总数量,cookies,你的首页Referer,你的id:CSDNid
- total = 145
- cookies = 'uuid_tt_dd=10' # Simplified for brevity
- Referer = 'https://blog.csdn.net/q244645787'
- CSDNid = 'q244645787'
- # 下面是计算和获取
- t_index = math.ceil(total / 100) + 1 # 向上取整,半闭半开区间,开区间+1。
- for index in range(1, t_index): # 文章总数
- filename = "score" + str(index) + ".xlsx"
- exporter_excel = GetInformationToExcel(CSDNid, cookies, Referer, index, 100, filename) # Replace with your username
- exporter_excel.export_to_excel()
- article_score = GetArticleScores(filename)
- article_score.write_scores_to_excel()
-
- print("获取完成")