数据采集与研究工具箱技术规格

1. 文档定位

这十个仓库不构成一个曾经统一部署的系统。本规格将它们恢复为“可管理批处理工具箱”的目标形态，使一次性脚本也能拥有可追溯输入、标准输出和失败处理。

2. 工具类别

• finance/demo：股票、汽车、金融网站、新闻消息、指数预测和分类评估的实验集合。
• DBtransf：SSDB、Couchbase、MongoDB 与 GridFS 之间的数据迁移。
• crunchbase：组织、人物、融资、投资、并购与上市 CSV 的关系化导入。
• 股票工具：按周期获取行情并在关系数据库与键值存储之间更新。
• 行业研究工具：报告采集、PDF 下载、目录、文本和图片抽取。
• 社会组织与公司工具：网页、表格和关系数据库之间的采集与整理。
• 专利工具：多版本 XML 解析、清洗、MongoDB 与 Elasticsearch 入库。
• third_party：分词和其他依赖快照，不作为自研工具。
• 空仓：不含代码，只保留“未实施”的事实。

3. 统一逻辑架构

每个批处理应实现同一生命周期：任务清单、来源适配、原始保存、字段转换、质量校验、目标写入和运行清单。工具本身只实现来源或领域差异，调度、日志、重试、秘密管理和指标由共享运行层提供。

统一任务描述至少包含工具版本、输入位置、数据时间、字段版本、并发限制、输出目标和幂等键。运行清单记录开始与结束时间、成功数、跳过数、失败分类、输出校验和及重试入口。

4. 技术亮点

• 投融资转换按组织、人物、融资、投资和并购关系分别建模。
• 专利解析为不同年代的 XML 保留多个入口，承认来源结构会变化。
• PDF 工具不仅提取正文，还处理目录与图片等研究所需结构。
• 数据迁移工具覆盖结构化记录与大对象，适应多种历史存储。
• 金融演示仓同时保留模型评估函数，说明算法实验曾考虑基本分类指标。

5. 共同缺口

• 大部分工具没有正式命令行契约、固定样本或自动化测试。
• 配置、日志、输入文件和生成结果经常与源码混放。
• 多个工具复制数据库连接、日志和重试逻辑，修复难以同步。
• 依赖版本老旧，部分仓库直接保存第三方源码或构建产物。
• 来源许可、访问限制和个人信息处理没有统一机器可读记录。

6. 重建验收标准

• 每个非空仓库提供用途、输入、输出、运行命令、配置项和失败恢复说明。
• 固定小样本可在隔离环境中完成端到端运行。
• 所有输出携带来源、批次、程序版本和校验和。
• 失败记录可以重放，重复运行不会覆盖未经确认的人工修订。
• 第三方组件建立来源与许可证清单，运行配置不进入代码历史。

7. 证据边界

这些仓库从 0 到 65 次提交不等；其中一些文件量很大是因为包含依赖、样本或编译产物。本文只恢复共同工程契约和可确认的工具职责，不声称它们曾由统一平台调度，也不以仓库体积推断完成度。