最优控制理论

Introduction

最优控制解决的是对某个给定的系统寻找其一个满足特定最优标准的控制规律。它是变分法的一个扩展，也是一种得到控制规律的数值最优方法。这一方法大部分由Lev Pontryagin和Richard Bellman发展，最优控制可以视为控制理论中的一个控制策略。一个控制问题包括一个损失泛函，它是状态变量与控制变量的函数。一个最优控制是描述最小化损失泛函控制变量路径的微分方程集合，它可以由Pontryagon极小法则（这是一个必要条件）得到，或者通过求解Hamilton-Jacobi-Bellman方程（充分条件）得到。

Adjoint State Method

Abstract

将深度神经网络视为连续动力系统的想法诞生了一类新的深度学习模型，它们拥有着一些独特的性质，在实践性能上也较为优越。需要指出，动力系统的解是以数值形式隐式表达的，通常的反向传播算法并不适用，ASM长久以来被用于此类模型的优化中。

Notes on "FFJORD: Free-form Continuous Dynamics for Scable Reversible Generative Models"

Abstract

T. Q. Chen等提出的连续时间可逆生成模型，在算法复杂度、内存效率、实践性能上都表现了很强的竞争力。

Hydrangea after the Rain

他那曾经沐浴着枝叶间洒落的阳光，轻盈起伏的白衬衫如今正在燃烧。谁能想象那纯粹为了光明而生、只有光明才与之相称的肉体与精神，会被墓土掩埋而长眠地下。

《金阁寺》

金阁寺之夜

寺内一片寂静。金阁内只有我孤身一人。身处月光无法触及之地，我恍惚觉得金阁厚重而奢华的黑暗包裹了我。这种现实的感觉缓慢浸润着我，仿佛它将直接化为幻觉。待回过神时我才明白，如今我真实地存在于当初在龟山公园将我与人生隔离开来的那个幻影里。

《金阁寺》

Notes on "Neural Ordinary Differential Equations"

前言

这篇18年Neurlps的bestpaper，主要的卖点在于改进了以往网络随着深度增加所需求的内存不断增多的问题，通过求解常微分方程的形式，在不储存中间状态的情况下，计算出网络的最终输出，将神经网络控制在了常数级的内存消耗(与网络深浅无关）。