谷歌如何用『AR视频』指导『画字』学习，释放AR视频教学潜能

Drawalong AR是谷歌创意实验室的一项AR实验，并旨在将教育性YouTube艺术教程变成虚拟描图纸。独立游戏开发者简·弗里德霍夫（Jane Friedhoff）参与了这一项目，并于日前分享了自己在开发Drawalong AR时所学习到的经验教训。下面是映维网的具体整理：

近年来出现了大量关于开发者利用增强现实来帮助人们发挥创意的酷炫例子。从创作艺术到故事书，当你将几何画板和屏幕结合起来时，有趣的事情就会发生。

这不禁令我思考AR可以为我的一个新爱上的兴趣提供帮助：学习Hand-Lettering（Hand-Lettering是指画字，属于绘制字的艺术；不同于英文书法Calligraphy，亦即手写字的艺术）。是一种放松的好方式，但学习起来是出人意料的困难。在字词之间实现优雅的过渡涉及大量微妙的调整：正确地握笔，有效地发力，并且勾勒出合适的弧线。从肩膀到纸张的一切都非常重要。

由于在现实世界缺乏Hand-Lettering老师，我只能选择字帖或视频进行学习，但两者都并非我的本意。字帖对粗线条有用，但对于我来说，一步接一步的性质无法提供额外的精细信息。另一方面，尽管视频教程有丰富的细节，但它们同样存在问题：我需要来回看着屏幕和描图纸。你可以想象，这个过程通常不会顺利。

在我吐糟了多次失败的节日贺卡后，我们中的几个人开始讨论视频和画板之间的视线来回问题：如果无需选择字帖或视频，我们是否可以利用AR直接在面前展示视频呢？如果应用关于涂鸦，Hand-Lettering和英文书法的YouTube教程，并直接在AR中葫芦画瓢，效果又会如何呢？无需视频博主的任何额外付出，我们是否可以实现酷炫的学习体验呢？在这个过程中，我们又能学习到什么与增强现实视频UX相关的经验呢？我们决定进行实验并分享相关的结果。

为了参考专家的意见，我们邀请了著名YouTuber AmandaRachLee来帮助我们。我们原本就是她的粉丝，而且她的粉丝非常多。阿曼达（AmandaRachLee）的YouTube频道有130万的订阅者，而她会分享关于英文书法和绘图等主题的分步演示，深入浅出地向观众讲解困难的地方。她亲切又实用的教学风格已经帮助培育了一个庞大的社区，大家都非常积极地进行模仿创作，并形成了自己独有的风格。

下面我将向你介绍我们是如何制作Drawalong AR的原型，这款工具的用法，一些最佳实践，以及关于UI/UX可供性的建议，而你可能会希望在自己的项目中予以借鉴。

1. 制作原型

在开始思考YouTube视频在AR中的UI/UX之前，有些技术问题需要我们考虑：叠加视频；维持非常高的追踪保真度；并且把YouTube视频带到Unity。

1.1 叠加视频

为了设置我们的AR世界，我们创建了一个全新的Unity ARCore项目。然后，我们可以轻松地从HelloAR示例开始着手。HelloAR示例包含处理寻找平面和可视化平面的代码，以及处理光线投射和将虚拟对象锚定至相关表面的代码。我们只需将AR视频“描图纸”替换默认的预制件即可。

不过，尽管放置视频十分简单，但确保其维持在原位，尤其是对于画字这样的精确用例，事情变得相当棘手。

1.2 维持非常高的追踪保真度

绘画对增强现实而言是一项不简单的用例，因为我们一般希望在平滑的空白表面中进行绘画，但平滑的空白表面对AR而言通常意味着“氪星石”（会令超人失去超能力的元素）。

AR应用程序一般是通过检测所谓的“特征点”来获取对世界的理解。特征点是摄像头图像中的显著特征，它可以帮助AR应用确定具体的方位。具有独特纹理，轮廓，以及颜色变化的区域都属于优秀的特征点。这有点像是当来到一座陌生城市时，你在黑夜和白天判断方位的情形对比：如果没有可以帮助判断方位的显著建筑物，你更能难以确定自己所在的位置。

几何画板通常不存在特征点：它就是要设计成空白和平整。所以，AR应该如何挂接并精确地定位呢？一个非常关键的字词是“精确”。因为你显然希望超高的精度。尽管你可能不会注意到虚拟凳子偏移了一英寸或两英寸，但在绘图时些许的误差都非常重要。

AR开发者已经通过众多不同的方法来解决高保真度追踪的问题。下面是一些有用的技巧：