端到端投资组合构建 (End-to-End Portfolio Construction)

核心理念#

传统”先预测，再优化”(predict-then-optimize) 的两阶段框架存在根本性缺陷：预测模型优化的是预测误差，而非最终的投资决策质量。端到端(E2E)方法将预测层和决策层联合训练，使模型参数直接优化最终的任务损失(task loss)。

1. Butler & Kwon (2023) — Integrating Prediction in MVO#

IPO (Integrated Prediction & Optimization) 框架：

• 将线性回归预测嵌入均值-方差优化(MVO)中
• 目标是选择参数 $\theta$ 最小化实际决策成本（而非预测误差）： $\min_\theta \mathbb{E}[c(z^*(\hat{y}), y)] \quad \text{s.t.} \quad z^*(\hat{y}) = \arg\min_{z\in S} c(z, \hat{y})$
• 利用基于隐式微分(KKT条件)的梯度传播，通过可微QP层实现

主要贡献：

1. 无约束情形：IPO可转化为凸二次规划，有闭式解 $\theta^* = H(x)^{-1}d(x,y)$
2. 等约束情形：同样可转化为凸QP，有闭式解
3. 不等约束情形：使用端到端神经网络 + 可微QP层（借用Amos & Kolter, 2017 的 OptNet方法）
4. 解析解的优势：相比迭代梯度法快100-1000倍，且保证最优性

关键发现：

• IPO比OLS更鲁棒：当协方差估计存在误差时，IPO显著优于OLS。误差越大，优势越明显
• 较低预测精度但更优决策：IPO模型的PVE（预测解释方差）低于OLS，但MVO决策成本更低——这验证了”优化预测 vs 优化决策”的核心差异
• 跟踪误差视角：IPO系数等价于最小化估计最优权重与事后最优权重之间的跟踪误差
• 协方差误差小时，IPO表现与OLS相当；误差大时，IPO显著胜出

实验：

• 24个商品期货市场（1986-2020），年化收益率和决策成本均优于OLS
• 模拟实验显示，在SNR<0.01（金融数据的典型范围）时，IPO的表现优势最显著

2. Costa & Iyengar (2023) — Distributionally Robust End-to-End#

DR-E2E 框架创新：

• 在E2E系统中引入分布鲁棒优化(DRO)，显式建模模型风险
• 决策层求解minimax问题：假定收益分布属于以经验分布为中心的模糊集 $P(\delta)$
• 使用$\phi$-散度（选择Hellinger距离）定义模糊集大小

三层设计：

1. 预测层：可微预测模型（线性或神经网络），输出点预测 $\hat{y}_t$ 和历史预测误差集 $\epsilon$
2. DR决策层：minimax组合构建
3. 任务损失：可以是夏普率、收益等，不必与决策层目标一致

技术突破：

• 利用凸对偶将minimax问题转化为可微凸优化问题，使得梯度能反向传播
• $\gamma$（风险偏好）和 $\delta$（鲁棒性程度）可作为可学习参数从数据中训练，无需手动校准

实验结论（美股20只，2000-2021，周频）：

• DR > 名义 > 基础 > PO > EW — 纳入鲁棒性后，夏普率、收益和波动率综合最优

3. Yu et al. (2025) — EFO-DDPG: End-to-end Frequency Online DDPG#

创新：频谱分析 + 深度强化学习 + 端到端组合优化

核心技术：

• 用离散傅里叶变换(DFT) 将资产收益序列分解为不同频率分量
• 不把高频分量当噪声过滤，而是用DRL动态调整各频率分量的影响
• 将均值-方差组合优化问题嵌入深度学习网络，提高可解释性
• 基于POMDP建模，用Transformer编码器处理状态

核心贡献：传统观点认为高频=噪声，但EFO-DDPG证明高频分量包含有价值信息，且不同频率的重要性随时间动态变化

4. Zhang et al. (2020) — Deep Learning for Portfolio Optimization (Oxford)#

核心思想：用深度学习直接优化组合夏普比率，绕开预测步骤

方法特点：

• 不选个股，而是交易ETF指数（S&P500、债券、商品等），降低标的维度
• 将多个资产的多维度特征拼接，用神经网络输出权重
• 优化目标直接是夏普比率 → 最大化每单位风险的风险调整后收益

实验结论（2011-2020，含2020Q1市场动荡）：

• 端到端方法在所有对比算法中表现最优
• 敏感性分析：考察不同输入特征的重要性、不同交易成本率和风险水平下的表现

5. Zhang et al. (2021) — A Universal End-to-End Approach (Oxford)#

框架特点：

• 不预测、不估计协方差矩阵，直接由深度学习获得资产分布
• 灵活优化多种目标函数：夏普比率、均值-方差权衡等
• 支持实空，并支持多种约束：基数约束、最大持仓约束、杠杆约束
• 通过特定神经层将约束融合到目标函数中

实验：

• 合成数据：验证端到端优于传统预测方法
• 真实数据：数百只标的，20年以上回测

6. Uysal, Li & Mulvey (2024) — End-to-End Risk Budgeting (Princeton)#

两种架构对比：

• 模型无关：纯神经网络直接输出权重，黑箱
• 模型驱动：将风险预算模型嵌入为NN的隐式层（implicit layer），提高可解释性和稳健性

关键结果：

• 模型驱动端到端夏普比率 1.16 vs 纯风险预算 0.83 (2017-2021)
• 扩展：剔除低波动+低收益的资产后，夏普比率提升至 1.24
• 统计检验证实模型驱动与模型无关有显著差异

7. Zhang et al. (2024) — End-to-End with Stop-Loss Orders#

创新：端到端框架同时确定资产配置和止损单，每个资产达到止损价时触发卖出

架构：

• 双分支神经网络：时间序列分支（RNN提取特征）+ 辅助输入分支（预测收益、波动率等）
• 输出：组合权重 + 对应的止损价格

实验结果（四组市场数据）：

• 在累积收益、Alpha收益、风险调整收益上均优于基准
• 平均超额收益 0.33%，平均Calmar比率 4.50
• 引入止损带来显著正超额收益，且0.3%交易成本下仍保持优势

8. Elmachtoub & Grigas (2021) — Smart Predict-then-Optimize (SPO)#

SPO+损失函数：核心创新——使用决策误差（而非预测误差）训练预测模型

数学性质：

• SPO损失 = 使用预测值时作决策的成本 − 使用真实值时的最优成本
• SPO+是SPO的凸代理损失函数，基于对偶理论推导
• 统计一致性：在温和条件下，SPO+损失收敛于SPO损失

适用性：可处理任意多面体、凸、甚至混合整数优化问题（线性目标）

实验结论：

• 最短路径和组合优化问题中，SPO显著优于传统predict-then-optimize
• 线性SPO+模型优于随机森林，即使真实数据高度非线性

9. Contextual Optimization Survey (Sadana et al., 2024, EJOR)#

定位：统一”contextual optimization”领域的综述——涵盖数据驱动优化、决策聚焦学习、端到端学习等不同名称下的方法

三大框架：

1. Predict-then-Optimize：先预测再优化（传统）
2. Joint Model：同时学习预测和决策（如IPO, SPO）
3. Policy Optimization：直接学习从特征到决策的映射

10. Tu & Li (2024) — Robust Portfolio with Smart Return Prediction#

创新：用鲁棒MVO效用来优化回报预测模型的参数，同时解决两个问题

• 预测与决策分离 → 联合优化
• 预测不确定性 → 鲁棒框架

关键发现：

• 在S&P 500成分股上：更低风险、更高风险调整收益
• 收益来源：更稳定的权重估计和多样化组合
• 市场摩擦特征显著贡献策略表现

11. Koshiyama et al. (2021) — GANs for Trading Strategy#

创新：用条件GAN (cGAN) 做交易策略的校准和组合

方法：

• cGAN生成合成时间序列数据
• 每条样本用于策略校准
• 所有生成样本用于集成建模(ensemble)

实验：579个资产，多个交易策略——cGAN在传统方法失效时仍能创造alpha

关键对比表#

交叉引用#

• 见 因子检验方法 — 传统因子预测模型的方法论对比
• 见 华泰多因子 — 传统四步多因子流程（“预测-优化”范式的实际应用）
• 见 Barra纯因子 — 风险模型与组合优化的基础框架
• 见 稳健组合优化 — 鲁棒组合优化（BNP实操指南+DR风险平价）
• 见 SVM组合优化 — SVM+基数约束组合优化
• 见 GAN策略组合 — GAN交易策略微调组合
• 见 CNN+IV曲面收益预测 — Kelly et al. (2023) CNN从IV曲面预测收益