0003-Sprint3回顾会议 » 历史记录 » 版本 1
Huarui Lin, 2026-04-20 17:38
| 1 | 1 | Huarui Lin | # Sprint 3 (M3a) 回顾会议 Agenda |
|---|---|---|---|
| 2 | |||
| 3 | **会议时间**:待定 (预计 30 分钟) |
||
| 4 | **会议目标**:基于客观数据度量 S3 “防 OOM 与宽表架构”的有效性,闭环所有 CR/ADR 决策资产,并确立 S4 强制准入门禁。 |
||
| 5 | |||
| 6 | ## 议题 1:S3 核心防线度量审查 (10 mins) |
||
| 7 | |||
| 8 | *本环节纯读数据,评估架构设计的物理表现。* |
||
| 9 | * **1.1 OOM 防线成效验收** |
||
| 10 | * **数据展示**:读取 `s3_memory_profile.json`,确认全量 25 年流水线峰值内存仅为 **3.14 GB**(发生 in `standardization_2025`)。 |
||
| 11 | * **结论**:远低于 64GB 红线,单年内存即用即释放的“累积架构”设计完全达标。 |
||
| 12 | * **1.2 度量盲区排查与补齐决策** |
||
| 13 | * **盲区 A**:当前仅有内存 Profile,**缺失全量 25 年跑完的总 Wall Clock Time(挂钟耗时)**。对于 260 万行体量,耗时是评估后续重跑频次的关键。 |
||
| 14 | * **盲区 B**:`sprint3.xml` 显示 S3 共 34 个用例全绿,但**缺失 `feature_engineering.py` 与 `standardization.py` 的行覆盖率具体百分比**。 |
||
| 15 | * **需决策**:是否接受当前“用例全绿+极低耗时(1.2s)”作为质量过关标志?还是要求会后必须补录一次耗时与覆盖率报告并归档至 `report/performance/`? |
||
| 16 | |||
| 17 | ## 议题 2:产出物物理契约闭环 (5 mins) |
||
| 18 | |||
| 19 | * **2.1 数据血缘与防漂移** |
||
| 20 | * 确认 `features_hash.json` 已成功拦截潜在的存量脏数据(结合 S2 审计日志中的 2870 万行去重背景)。 |
||
| 21 | * 确认 `standardization_params.parquet` 成功落地 `is_production_ready=false` 物理列(会议 CONF-09 落地验证)。 |
||
| 22 | * **2.2 Schema 刚性验证** |
||
| 23 | * 确认单测 `test_per_year_parquet_schema_consistency` 已卡死跨年 Schema 一致性(为 ADR-0004 的推迟决定提供物理层保障)。 |
||
| 24 | |||
| 25 | ## 议题 3:架构决策执行复盘 (5 mins) |
||
| 26 | |||
| 27 | * **3.1 CR-004 (长表转宽表) 收益确认** |
||
| 28 | * 回顾决策:废弃 `unpivot`,内存与落盘统一为宽表。 |
||
| 29 | * 验证:结合 3.14GB 的低内存占用,证明宽表并未引发 OOM,且规避了下游 LightGBM 的 Pivot 开销。 |
||
| 30 | * **3.2 ADR-0004 (共线性剔除推迟) 闭环** |
||
| 31 | * 确认将 `remove_collinear_features` 从 S3 纯函数中彻底剥离的正确性,S3 交付物纯粹锁定为 38 维全量宽表。 |
||
| 32 | |||
| 33 | ## 议题 4:Sprint 4 准入门禁确立 (10 mins) |
||
| 34 | |||
| 35 | * **4.1 准入基线确认** |
||
| 36 | * 基于决策:S4 允许直接基于 S3 产出的 `final_feature_list.json` (38维) 启动模型加载与筛选逻辑开发。 |
||
| 37 | * **4.2 强制缓冲任务插入(防算力浪费)** |
||
| 38 | * 基于决策:在 S4 首次将数据送入 LightGBM 之前,必须插入一个**“S4-00 特征分布合理性探查”**的硬性前置任务。 |
||
| 39 | * **探查标准(需确认)**:我提议该任务需至少输出两样东西:① 38 个特征在全量样本上的 Z-Score 直方图(验证 MAD clip 是否生效,是否还存在离谱极端值);② 基础统计量描述(验证没有全为 0 或全为 NULL 的废特征)。 |
||
| 40 | * **需决策**:是否同意将上述两点作为 S4 真正启动训练前的“门禁卡点”? |
||
| 41 | |||
| 42 | ## 议题 5:待改进项 与 Action 派发 (5 mins) |
||
| 43 | |||
| 44 | * 汇总上述议题中产生的 TODO(如:补录耗时报告、编写 S4-00 探查脚本等),指定责任人。 |