Skip to content

修复四位 arXiv 编号识别与过长数字误截断 - #1

Merged
HsukqiLee merged 2 commits into
mainfrom
codex/arxiv-four-digit-identifiers
Nov 14, 2026
Merged

HsukqiLee merged 2 commits into
mainfrom
codex/arxiv-four-digit-identifiers

Conversation

@hao2530

@hao2530 hao2530 commented Nov 9, 2026 •

Copy link
Copy Markdown

背景

文章识别和独立论文验证脚本中的现代 arXiv 正则只接受五位序号,导致 arXiv:1409.0473 这类四位序号无法进入确定性的论文识别链路。

arXiv 官方标识规范规定 2007-04 至 2014-12 使用四位序号,2015-01 起使用五位序号。本次修复覆盖两种形式,不引入额外模型调用。

修改

  • 同步修正 fastinsight/article.py 和 scripts/verify_paper.py,接受四位或五位现代编号。
  • 保留版本号、旧分类式 ID、现有 DOI 优先级及 canonical URL 规则。
  • 为标签式、裸编号、abs/pdf URL、版本号及文章 HTML 提取增加回归。
  • 防止将过长数字串截取成合法编号;不扩展到日期有效性校验或无关的来源域名分类问题。

验证与范围

  • 修复前定向 26 个测试方法产生 90 条失败记录(含 subTest),0 errors;四位编号提取为空,超长数字被误截断。
  • 修复后定向 26/26、全量 unittest 57/57 通过(原有 45 项、新增 12 项)。
  • 命令:PYTHONDONTWRITEBYTECODE=1 python3 -B -m unittest discover -s tests -v;git diff --check 通过。
  • 本地 Python 3.13.7;使用离线样例和现有测试,不调用真实飞书、LLM、FastResearch 或 arXiv 查询接口。

协作与状态

提交前使用 gh 复核:默认分支仍为 4dd0f14,仅有 main,无开放 PR 或可见重叠分支;公开信息无法排除私有或线下工作。

先以 draft 提交,独立评审完成后转 ready for review。不变更发布路径、凭据或运行配置,不代表可以跳过维护者审查直接合并。

独立评审(2026-11-09)

  • 未参与实现的审阅者未发现本次引入的实质缺陷;禁止网络后57项测试仍全部通过,另有1116次补充断言通过。
  • 在内存恢复基线正则后,同组测试出现90条失败记录、0 errors,确认测试真实覆盖问题。
  • PR 当前没有报告远端检查,不能写成“CI 全绿”;以上为本地与独立复跑证据。
  • arXiv HTML URL 等原有支持范围之外的场景未在本次扩展。

@HsukqiLee

Copy link
Copy Markdown
Contributor

已在最新 main 合并结果 ce1a9df 上复跑 Linux 全量 unittest:57/57 通过。Windows 首轮存在 fcntl/默认编码限制,未计为通过。合并结果已推送;本 PR 没有远端 checks。

@HsukqiLee
HsukqiLee merged commit 162df2b into main Nov 14, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants