第67章 Q&A

“首先，我们将‘被压缩的AI模型’与‘负责调教的AI元模型’之间的关系，形式化为一个非零和合作博弈。

‘被压缩的AI模型’选择一组模型参数θ目标是在给定的压缩约束下最小化任务损失函数

L_task(θ)，

而‘负责调教的AI元模型’选择一种压缩策略φ，目标是最小化一个元损失函数

L_meta(φ，θ)，

这样就能得到一个组合的惩罚项，也就是一般模型里的损失函数L_meta(φ，θ)=

L_task(θ')+λ*

R(φ)，

我们并不追求一个无限递归的最优，而是试图找到一个平衡，这正是一个纳什均衡点的概念。

之后我设计了一个交替优化算法来逼近这个均衡点，其迭代过程可以假设地抽象为一个映射T:(θ_k，φ_k)->(θ_{k+1}，φ_{k+1})

......

经过以上的过程，我们就可以证明T确实是压缩映射，根据Banach不动点定理，

这个映射就存在唯一的不动点，并且无论从任何初始点开始迭代，

该算法都会以线性收敛速度全局收敛到这个唯一的不动点(θ*，φ*)。

而这个不动点正是我们寻求的纳什均衡。”

其实说到一半的时候大部分人就已经跟不上周昀的思路了，毕竟不是数学系的，

对于这种数学证明，大部分人都不是特别擅长，更别说周

本章未完，请点击下一页继续阅读！ 第4页 / 共5页