强化学习进阶 第十讲 逆向强化学习（第三节 基于最大熵的方法）

最大熵方法可以克服歧义性问题的原因在于，它选择满足约束条件的熵最大的概率分布，这种分布未对未知信息做主观假设，从而避免了因假设不同导致的回报函数歧义性。最大熵原理的定义：熵是概率论中不确定性的度量，不确定性越大，熵越大。例如，在固定区间内，均匀分布的熵最大，因为其取值概率均等，不确定性最高。最大熵原理指出，在满足约束条件的概率模型中，熵最大的模型是最优的，因为它未对未知信息做任何主观假设。例如，猜测骰子各面朝上的概率时，若仅知概率总和为1，则均匀分布（各面概率为1/6）是最大熵解。逆向强化学习中的歧义性问题：基于最大边际的方法可能产生歧义，即存在多个回报函数导致相同的专家策略，这些回报函数具有随机偏好。例如，在特征期望约束下，可能存在多个概率分布满足条件，但这些分布对未知信息的假设不同，导致回报函数不一致。最大熵方法如何克服歧义性：建模逆向强化学习问题：将逆向强化学习建模为已知专家轨迹，求解产生该轨迹的概率分布问题。约束条件为特征期望匹配专家特征期望，即：[ sum_{Pathzeta_i}{Pleft(zeta_iright)f_{zeta_i}=tilde{f}} ]其中，( f )表示特征期望，( tilde{f} )表示专家特征期望。选择熵最大的分布：在满足约束条件的所有概率分布中，选择熵最大的分布。这种分布未对未知信息做任何假设，因此避免了歧义性。例如，若仅知特征期望约束，最大熵分布会均匀覆盖所有可能轨迹，而非偏向特定假设。数学形式化与求解：优化问题：将熵最大化转化为优化问题：[ max-plog p s.t.sum_{Pathzeta_i}{Pleft(zeta_iright)f_{zeta_i}=tilde{f}} varSigma P=1 ]拉格朗日乘子法：通过引入拉格朗日乘子，将约束优化问题转化为无约束优化问题，并求解得到最大熵概率分布：[ p=frac{1}{Z}expleft(sum_{j=1}^n{lambda_jf_j}right) ]其中，参数( lambda_j )对应回报函数参数，可通过最大似然方法求解。次梯度法：由于配分函数( Z )未知，直接求解困难，因此采用次梯度法迭代更新参数( lambda )，直至收敛。与基于最大边际方法的对比：最大边际方法：通过最大化专家策略与学习策略之间的边际来求解回报函数，但可能因假设不同导致多个解。最大熵方法：通过选择熵最大的分布，确保未对未知信息做主观假设，从而唯一确定回报函数，克服歧义性。