首页 论文爬取

论文信息爬取与批量导入

输入单篇论文标题,或粘贴标题列表和上传CSV,自动补齐论文信息

主来源 Semantic Scholar · 备用 Crossref 链接核对 DBLP / CVF

数据来源与规则说明

以下规则对所有单篇爬取与批量导入任务生效
主要来源:Semantic Scholar

通过 Graph API 按标题检索,返回标题、作者、摘要、会议与年份等字段。

备用元数据来源:Crossref

当主接口字段缺失或限流时,使用 Crossref REST 补齐 DOI 与出版信息。

原始链接核对:DBLP / CVF Open Access

交叉核对会议与年份,生成可访问的官方原文链接,剔除失效地址。

论文年份范围:2022 至 2025

区间外的论文会被自动过滤,并在结果说明中标注原因。

会议范围:CVPR、ICCV、ECCV

仅收录三大顶会主会论文,workshop 与 arXiv 预印本不计入统计。

关键词提取:TF-IDF 自动提取

从英文摘要中通过 TF-IDF 抽取关键词,去停用词后最多保留 10 个。

单篇论文爬取

按标题精确检索,自动补齐作者、摘要、关键词、会议与年份

接口:Semantic Scholar Graph API · 兜底:Crossref REST
抓取过程状态
原型演示:点击下方状态标签可直接切换该状态
|

等待:请输入论文标题后点击“开始爬取”。

结果变量演示: (用于查看“重复论文”与“摘要缺失”两种提示)
尚未发起查询

输入论文标题后点击“开始爬取”,系统将查询 Semantic Scholar,并用 Crossref 与 DBLP 核对元数据。

批量导入

粘贴标题列表或上传 CSV / TXT 文件,逐条查询并写入论文列表

单次上限 200 条 · 超出部分自动排队
已识别 8 条标题
导入模板

模板仅需一列 title,可附带 venue、year 作为辅助校验字段。

导入规则提示
  • 自动去重:与本地论文列表比对标题,重复项跳过写入并更新原记录
  • 单篇失败不影响其他论文,失败项可单独重试
  • 接口限流时自动重试(指数退避,最多 3 次)
批量任务进度 已完成 0 / 8 条
当前状态:初始空状态
成功
0
失败
0
重复
0
待处理
0
原型状态演示:

任务明细

“数据来源”列为该条最终取数的接口 · 失败项可单独重试
序号 论文标题 查询状态 数据来源 结果说明 操作
暂无导入任务

粘贴标题列表或上传文件后点击“开始批量导入”,任务明细会实时显示每一条的处理结果。

批量任务完成后,可进入论文列表查看已入库记录并继续编辑关键词。
接口限流与缓存

学术接口可能限流,系统会缓存已获取结果并自动重试。

使用范围

爬取结果仅用于课程学习和趋势分析。

关键词说明

关键词为系统提取结果,不一定等同于作者关键词。