项目

一般

简介

行为

Story #187

已关闭

S2-04-数据血缘、审计日志与内存压测

Huarui Lin5 天 之前添加. 更新于 大约 22 小时 之前.

状态:
Completed
优先级:
Normal
指派给:
目标版本:
开始日期:
2026-04-29
计划完成日期:
2026-04-30
% 完成:

100%

预期时间:
16:00 小时

描述

计算处理后 Hash,生成结构化审计 JSON,在 64GB 实体机执行全量压测并记录内存峰值。


① 落盘后即刻按年份文件逐个计算 SHA-256,产出 data/metadata/processed_hash.json;
② 产出 data/metadata/data_audit.json,严格符合 5 大根节点 Schema,拒绝任何自定义;whitelist_retention_rate 分母必须取原始 CSV 物理总行数(若为 0 返回 0.0),交付 calc_rate 工具函数(禁止悬空代码);
③ 压测环境:必须在 64GB 实体机裸跑(不施加 cgroup 限制);压测日志需包含 DuckDB/Arrow 转换/Polars 状态机三个维度的 peak_memory_gb,且总峰值 ≤ 40GB;
④ R-6 风险应对:若真实触发 retention_rate < 15%,M2 标记“带风险通过”,必须在 Redmine 建立 High 级别 Bug 单拉起排查。


章程 M2 Done 标准(更新版);规约 7.3 (数据血缘)

行为

导出 Atom PDF