行为
Sprint 3 (M3a) 回顾会议 Agenda¶
会议时间:待定 (预计 30 分钟)
会议目标:基于客观数据度量 S3 “防 OOM 与宽表架构”的有效性,闭环所有 CR/ADR 决策资产,并确立 S4 强制准入门禁。
议题 1:S3 核心防线度量审查 (10 mins)¶
本环节纯读数据,评估架构设计的物理表现。
-
1.1 OOM 防线成效验收
-
数据展示:读取
s3_memory_profile.json,确认全量 25 年流水线峰值内存仅为 3.14 GB(发生 instandardization_2025)。 - 结论:远低于 64GB 红线,单年内存即用即释放的“累积架构”设计完全达标。
-
数据展示:读取
-
1.2 度量盲区排查与补齐决策
- 盲区 A:当前仅有内存 Profile,缺失全量 25 年跑完的总 Wall Clock Time(挂钟耗时)。对于 260 万行体量,耗时是评估后续重跑频次的关键。
-
盲区 B:
sprint3.xml显示 S3 共 34 个用例全绿,但缺失feature_engineering.py与standardization.py的行覆盖率具体百分比。 -
需决策:是否接受当前“用例全绿+极低耗时(1.2s)”作为质量过关标志?还是要求会后必须补录一次耗时与覆盖率报告并归档至
report/performance/?
议题 2:产出物物理契约闭环 (5 mins)¶
-
2.1 数据血缘与防漂移
- 确认
features_hash.json已成功拦截潜在的存量脏数据(结合 S2 审计日志中的 2870 万行去重背景)。 - 确认
standardization_params.parquet成功落地is_production_ready=false物理列(会议 CONF-09 落地验证)。
- 确认
-
2.2 Schema 刚性验证
- 确认单测
test_per_year_parquet_schema_consistency已卡死跨年 Schema 一致性(为 ADR-0004 的推迟决定提供物理层保障)。
- 确认单测
议题 3:架构决策执行复盘 (5 mins)¶
-
3.1 CR-004 (长表转宽表) 收益确认
- 回顾决策:废弃
unpivot,内存与落盘统一为宽表。 - 验证:结合 3.14GB 的低内存占用,证明宽表并未引发 OOM,且规避了下游 LightGBM 的 Pivot 开销。
- 回顾决策:废弃
-
3.2 ADR-0004 (共线性剔除推迟) 闭环
- 确认将
remove_collinear_features从 S3 纯函数中彻底剥离的正确性,S3 交付物纯粹锁定为 38 维全量宽表。
- 确认将
议题 4:Sprint 4 准入门禁确立 (10 mins)¶
-
4.1 准入基线确认
- 基于决策:S4 允许直接基于 S3 产出的
final_feature_list.json(38维) 启动模型加载与筛选逻辑开发。
- 基于决策:S4 允许直接基于 S3 产出的
-
4.2 强制缓冲任务插入(防算力浪费)
- 基于决策:在 S4 首次将数据送入 LightGBM 之前,必须插入一个**“S4-00 特征分布合理性探查”**的硬性前置任务。
- 探查标准(需确认):我提议该任务需至少输出两样东西:① 38 个特征在全量样本上的 Z-Score 直方图(验证 MAD clip 是否生效,是否还存在离谱极端值);② 基础统计量描述(验证没有全为 0 或全为 NULL 的废特征)。
- 需决策:是否同意将上述两点作为 S4 真正启动训练前的“门禁卡点”?
议题 5:待改进项 与 Action 派发 (5 mins)¶
- 汇总上述议题中产生的 TODO(如:补录耗时报告、编写 S4-00 探查脚本等),指定责任人。
由 Huarui Lin 更新于 6 个月 之前 · 1 修订