揭开看不见的面纱——恢复手工绘本的数学方法

当一幅旧画出现腐烂的迹象时，大多数人的本能是要把它复原，以便使它更接近原来的样子。然而，有些绘画，特别是有些精度很高的手工绘本，过于精致，无法修复。令人惊讶的是，在这种情况下，数学或许能起到帮助作用：正如《遗产科学》上发表的一篇新文章所显示的那样，数学不仅可以用来数字化地还原一幅画，还可以重新建立被过度渲染的画的原始版本，甚至是动画艺术作品。

当我们欣赏一件艺术品时，我们都至少扮演过一次艺术品修复者和翻译的角色，这件艺术品可能会因时间流逝、元素、人为干预或磨损而受损。“这件艺术品创作时是什么样子的？“我们现在能看到什么但看不到？“是用什么材料做的，随着时间的推移有没有变化？“这只是我们可能问过自己的几个问题。如何客观、知情地回答这些问题？令人惊讶的是，这是数学可以发挥作用的地方。

在过去的十年里，由于艺术数字化的出现，用于分析和处理艺术品的数学方法变得非常流行。值得注意的是，数字复原问题已经引起了数学影像学界的注意，他们已经开始应用最先进的图像复原方法来增强艺术作品中的某些方面，并帮助回答上述问题。

用“修复”技术实现手工绘本的数字化复原

我们工作的一个方面是数字图像复原方法在手工绘本中的应用。

1500年以前，手工绘本是欧洲最大、保存最完好的画库。尽管它们比任何其他形式的中世纪绘画存在的数量和条件都要大得多，但有些绘画在几个世纪里遭受颜料的自然降解以及改变了它们原始形象的偶像崇拜和审查制度的折磨。由于它们的颜料层非常薄而细腻，所以通常情况下，保护人员不会像壁画那样来恢复手工绘本。

虚拟修复和虚拟操作通常是修复受损照明的唯一方法。使用可用信息“画入”数字图像缺失内容的数学技术称为图像修复。

在我们的工作中，我们应用图像修复技术来修复被照亮的手稿中的内容，这些手稿是由于金叶子上的大而不规则的划痕而丢失的。为了检测划痕，我们提出了一种简单的方法，只需要一个艺术专家的单一输入。该输入用作识别与给定种子共享相同颜色特征的周围图像区域的种子。通过标准的聚类算法，这种“训练”示例可以自动地在图像中找到所有相似的损伤区域。

一旦所有这些区域都被识别出来，一个数学的“复制粘贴”修复算法就可以应用于在整个图像中扫描最有可能传输到受损区域的信息，从而揭示在受损发生之前，照明可能是什么样子的。

在本例中，照明的损坏区域中的图像内容完全丢失，并且仅根据图片其余部分中可用的信息来估计。

然而，这并不是修复被照亮的手稿过程中遇到的唯一一种退化。在某些情况下，照明的某些部分可能被涂上了油漆。这种情况的一个突出例子，以及艺术历史和科学分析以及数学图像复原如何有助于揭示人眼看不见的东西，是《卫报》2016年一篇文章中的法国底漆克劳德（Claude of France’s Primer）的一个亮点，该作品在2016年菲茨威廉博物馆（Fitzwilliam Museum）的色彩展上展出。

这一过程从一张彩色数码照片和一张红外图像开始。红外图像显示了这幅画的原始结构。基于彩色照片和红外图像的数字复原涉及多个步骤。首先我们标记了要恢复的部分并创建了一个掩码。然后，我们在面具上求解所谓的渗透过滤，这是一个由所谓的偏微分方程建模的过程。渗透作用取掩模边界上给定的颜色，并按照从红外图像中提取的结构将其传播到掩模中。

就像走进一幅画

除了数字复原之外，艺术品的数字化（结合虚拟现实和相关技术）还使得创建只能以数字方式体验的3D或动画版本的艺术品成为可能（例如，请参见此处、此处、此处和此处）。在我们工作的这一部分中，我们将重点放在前者，应用最初为好莱坞电影开发的三维转换技术，并将其应用于照明手稿和绘画。

给定输入图像，术语“3D转换”是指生成可使用3D眼镜观看的左眼和右眼图像对的输出。我们所采取的方法，除其他外，要求我们为画中所描绘的场景建立一个貌似合理的三维模型，将绘画本身投射到这个模型上。我们在上面的动画gif中演示的其他步骤包括从一个新的视点渲染3D场景和修复以前被遮挡的区域。

在大多数情况下，这个过程很简单。然而，在埃德瓦德·芒奇的《尖叫》中，我们发现了一些有趣的东西。尖叫者是“尖叫”的焦点，部分地挡住了桥的栏杆。当执行3D转换过程中的“咬合不全”步骤时，我们发现桥的两边——如果外推到被人遮挡的区域——是不相交的！因此，我们不得不在桥梁的三维模型中引入“扭结”。

在过去的50年里，数字图像分析和处理的数学方法取得了令人瞩目的发展，主要是在摄影、生物医学成像和各种工程形式的背景下。在这一过程中，除了过去10年中的一些杰出作品外，艺术大多被忽略了。然而，随着艺术数字化的迅速出现，艺术领域越来越容易接受数字图像处理方法，因此关注数字图像处理方法的重要性也随之增加。数学方法为数字艺术的复原和处理提供了一个强大的工具，为欣赏、分析和解读艺术作品开辟了新的途径。