目标不确定性下的风险决策规划策略研究

概要

当目标本身也是不确定的，人类如何规划？本项目构建并测试了一个双阶段 MDP 框架——把”目标推断”与”目标导向的规划”拆开——再以人类行为数据为基准，与启发式策略和混合策略基线做对比。

动机

真实世界的多数决策，目标不是给定的：读懂同事意图、猜陌生人在地铁里的下一步、在一段不熟悉的对话中决定下一个问什么——目标都是隐藏的，必须从稀疏的观察中反推。经典 MDP 假设目标已知；纯贝叶斯的解释通常又停在”目标变得可信后人就 commit 了某个计划”这一步。本工作正好落在两者之间。

方法

• 阶段一 — 目标推断。 在离散候选目标空间上做 POMDP 风格的后验更新，输入是观察到的状态序列。
• 阶段二 — 目标条件规划。 给定目标后验分布，求解在最优策略下最大化期望回报的动作序列。
• 启发式基线。 用线性回归拟合手写的状态/行为特征作为预测因子——能捕获大部分行为，把”目标推断真正起作用的部分”隔离出来。
• 混合策略模型。 用 Logistic 回归对”最优策略特征”和”启发式特征”的加权组合建模，吸收两种成分都解释不了的剩余方差。
• 多目标扩展。 把单目标启发式特征向量化，让同一个预测器可以跨目标共享，不再每次从头训练。

高光

• 设计了双阶段 MDP，把”推断目标”与”在目标下规划”分开，在观察信息充分时恢复最优策略。
• 搭出特征驱动的启发式模型（线性回归），捕获了大部分人类行为，把目标推断的独立贡献剥离出来。
• 引入混合策略模型（Logistic 回归加权组合），解释最优策略单独解释不了的剩余方差。
• 把单目标启发式特征向量化，迁移到多目标场景而无需重训。

我的角色

概念化、建模、结果分析。 与团队共同设计建模框架；负责参数拟合与模型对比流水线；主导分析部分。

技术栈

Python · scikit-learn · NumPy · PyMC（贝叶斯拟合）

进展

进行中（2024.08 – 2026.04）。 论文撰写中。

合作者

待补充。

相关

• 方法论：不确定性下的双阶段 POMDP 规划。
• 应用：社会认知实验中的目标推断。