Risk-Sensitive Reinforcement Learning for an Options Market Maker: An Empirical Study with Real S&P 500 Options

我们使用S&P 500 选项数据，从 1996 到 2017 构建经验回放环境，并与匹配的几何布朗运动（GBM）环境、随机波动（SABR）模拟器以及一种结合Black-Scholes模型值历史路径的混合模型进行比较，这些模型共享相同的投资组合机制、随机到达、成本和测试周期。我们训练了一种分布性双延迟深度确定性策略梯度（TD3）代理，并在 2018 到 2023 期间进行出样评估。基于经验数据训练的代理可将条件价值-at-风险（CVaR）尾部损失减少 3.1%，优于训练期间选择的每种对冲比率规则，并优于每种替代训练环境。