基金量化定投选基系统

# Sprint 5

## 第 4 阶段：S5 - 标准化与 Spearman 降维

融合“截面数学推导”与“内存防爆累加”。

### Step 4.1: 截面聚合与双形态参数物理时序隔离

1.  **纯横截面聚合**：按 `net_value_date` 分组计算 38 维的 `mean, std, median, mad`，推导 MAD 上下界，生成 `is_production_ready` 哨兵。

2.  **路径 A (训练宽表)**：宽表上 `.shift(1)` 实现 T-1 对齐，按日期排序落盘。

3.  **路径 B (推理长表)**：Unpivot 为长表，动态生成自然日历 `forward_fill` 至每日，按 `["feature_name", "date"]` 绝对物理排序落盘。

### Step 4.2: 标准化 Apply 与 IEEE 754 拦截

1.  实体表 `.collect()` 后与几百行宽表参数 Join（零内存膨胀广播）。

2.  遍历 38 列构建 `when(std==0).then(None).otherwise(...)` 表达式，封杀除零产生 `Inf`。

### Step 4.3: 训练 Join 三键死锁与毒样本截断

1.  三键强锁 Join：`["fund_id", "net_value_date", "segment_id"]`。

2.  哨兵覆写：`is_feature_complete == False` 的行，标签强制覆写为 `0`。

### Step 4.4: Spearman 秩相关内存防爆防线

1.  按年流式加载标准化特征。

2.  截面内 `rankdata(method="average")` 锁定平均秩，算秩后立即减均值。

3.  Pearson 展开项 `np.dot` 联合累加 `sum_xy`，利用对称性减半算力。

4.  跨年累加后执行 `(matrix + matrix.T) / 2.0` 强制对称化截断。

5.  剔除 `>= 0.90` 的冗余特征，输出 `final_feature_list`。

---