按：世界上公认的第一个商业化VR（虚拟现实）电子游戏产品，是任天堂于年发表的VirtualBoy（参见第五十一期）。
藏家年收藏的VirtualBoy
VirtualBoy的设计者横井*平（-），于年进入任天堂，“70年代中期开始负责任天堂的电子游戏事业，这给予了他本人更广阔的创造空间，从TVGAME15到GAMEBOY的这个时间段完全可以看作任天堂游戏产品由萌芽转向完全成熟的整个发展进程，无论是十字键的设计还是GAMEWATCH软件的制作，横井*平的设计思想都影响了任天堂乃至整个日本游戏业界。十字键是当时针对街机摇杆和电脑鼠标进行差别化设计的革命产品，充分体现了任天堂产品一贯的简便、耐用、轻巧、合理的特点，即使到了位元时代十字键仍然被作为手柄的标准设计而存在着。
VirtualBoy由横井*平设计，是游戏界对虚拟现实的第一次尝试。原先VB计划以头罩式眼镜方式实现户外娱乐的可能性。山内溥在年5月突然独断决定将VB于7月15日投放市场，为了赶在预定目标推出，最终不得不把VB原先的头罩眼镜式设计改为三角支架平置桌面的妥协设计。VirtualBoy称得上是任天堂最革命的产品，横井*平试图用一种突破性的创意来改变游戏的发展方向，可惜由于理念过于前卫以及当时时代技术力的局限等原因被唾弃。（摘自百度百科）”。
任天堂的产品中，藏家对俗称红白机的FC最为熟悉，启发了藏家的很多创作。但令藏家最为惊叹的产品，还是GameBoy（参见第七十七期）、GameWatch（参见第一百六十期）和VirtualBoy，这些都是横井*平主持设计的。
藏家收藏的GAMEBOYLIGHT，年发表
藏家收藏的GameWatch:Ball，这是年复刻出品的，任天堂俱乐部特典
藏家非常喜欢VirtualBoy的设计，其硬件设计极为精美，尤其是带双十字键的手柄，如果从中间拆开，跟现在的VR手柄很接近。两块屏幕虽然是单色（红色）液晶，但由于是真正的双眼立体视觉，加上精心设计的游戏内容，感觉十分带劲，并不觉得简陋。配上本体左右的小扬声器，立体声近在咫尺，令人沉浸。唯一的缺点就是迫于上市时间的压力，没有做成头戴式的，玩游戏时只能把本体架在桌上，探着头够着眼罩，姿势尴尬容易累。
VirtualBoy对于藏家这种人很有吸引力，但对当时的消费者而言可能是个鸡肋，结果市场惨败。“年8月15日横井*平以承担VirtualBoy失败责任为理由，从工作三十多年的任天堂退职”。这么了不起的产品，这么杰出的人才，竟然以这样的理由黯然退场，藏家是怎么也不能接受的。如果横井*平继续留在任天堂指导游戏设计，一定会继续推出让人惊奇的玩法的。
横井*平的墓碑，图片来自网络
横井*平于年10月4日因车祸不幸丧生。在位于京都的墓地，他的墓碑上镌刻着他的主要工作成果，唯独没有VirtualBoy，令人叹息：
年：UltraMachine（一种击球玩具）
年：LasarClay（一种激光射击系统）
年：TenBillionBarrel（一种益智玩具）
年：GameWatch（一种手持式游戏机）
年：GameBoy（一种手持式游戏机）
（详见参考）
藏家对VR和AR一直有兴趣，但一直觉得还没到可用的地步。今年，藏家成功申请到了中央美术学院的年度“致远计划”科研项目基金，课题叫《虚拟现实和增强现实在艺术创作和教学中的应用》。有了这笔经费，藏家就开始购置相关设备，进行VR和AR的研究。因为要经常摘戴VR和AR的头显，藏家把留了一年的头发又剃成了短寸（笑）。
消发明志图，藏家摄于年7月6日
这篇不是技术帖，有些研究成果也需要暂时保密，就先以设备为主吧。
虚拟现实头显套装
型号：VivePro
出品：HTC
年代：年
来源：网购
中央美术学院固定资产
虚拟现实（VR）头显有几种选择，藏家初次接触，不知怎么选，就问了身边几位使用VR的朋友，多数还是建议HTC，藏家就去订了套VivePro。
VR对电脑硬件的要求很高。藏家平时只用苹果电脑，上台PC还是Alienware，当年是顶级台式机，毕竟九年了肯定没法用。藏家新得到一台最新的顶配iMacPro，但是上网查看的结果是，无论iMacPro还是新款16寸MacbookPro，都不能用于VR，因为GPU（显卡）都是AMD（俗称A卡），而主流VR都用NVIDIA（俗称N卡）。个别硬用iMacPro或苹果笔记本的，要把显卡插到一个外置箱里，占地儿不说，成本也很高。
藏家就想，管他，等到手了先插iMacPro试试，不行再说。
苹果前几年对VR还是有兴趣的，它的视频软件FinalCutPro也支持度VR，甚至还有直接输出到VR头显预览的功能，但好像只支持Oculus。SteamVR对三个平台支持的都很好，包括HTC、Oculus和他们自己的ValueIndex，还有WindowsXR。但今年开始，SteamVR正式宣布不再支持Mac平台了。藏家只好在iMacPro上用Bootcamp双系统装了个Windows10，坐等VR到货。
新版Windows10安装中；这种安装过程中显示古诗的俗称“诗词版”
VivePro开箱照
VivePro到了以后，藏家发现它只提供了一根连接到显卡用的DP线，没法直接插iMacPro，就去买了一条DP到USB-C的线。藏家还配了一个第三方的磁吸充电支架，事后看来真是方便。买了一个ViveTracker，为以后在虚拟制片中实时追踪真实摄影机做准备。使用过程中，发现手柄充电时间较长，又多配了一对手柄，可以轮流充电，不影响工作。
ViveTracker
VivePro定位基站之一
藏家头戴VivePro，脑后拖着一根长长的线缆
藏家事先下载好了最新的虚幻引擎（UnrealEngine）和Unity3D，简单试用后觉得虚幻更适合自己，就没怎么碰Unity。安装VivePro的驱动和软件的时候，被明确警告硬件达不到要求。藏家不听这套，费了些周折，还是装好了。进入SteamVR，也屡屡被警告，最后有惊无险地完成了设置。用iMacPro运行VR，是很不容易的事，网上成功的案例寥寥，中间有很多需要注意的部分，以后有时间藏家写一些供大家参考。后来系里给配了一台新款MacbookPro，藏家也成功地运行了SteamVR，那个更难些。
VR的效果令人震惊，因为它是全封闭的，又是完全的双眼视觉，带来难以置信的沉浸感。这套VivePro的显示纱窗效应可以接受，清晰度也行，唯一的问题就是头显后面拖着的那条线，站立不动还好，走起来还是很碍事。Vive有无线套件，但需要有台式PC，插一块卡。藏家没有PC，暂时先用有线方式吧。
虚幻引擎开发VR内容，入门比藏家之前想象的简单得多，而且效果非常好。藏家除了自己研究和准备创作的同时，也在要求自己的研究生，甚至三四年级学生都下载和学习虚幻引擎，鼓励大家用电子游戏或虚拟制片进行创作。现在的技术进步太快了，这些工具即使在两年前也是不敢想象的事。
增强现实头显
型号：Hololens2
出品：微软（美国）
年代：年
来源：网购
中央美术学院固定资产
藏家早就知道微软的Hololens，太贵了没法下手。这次终于可以买了，发现微软不对个人用户发售。费了半天劲，还给微软写了电邮，人家提出一堆要求，还要提供营业执照什么的好麻烦。藏家只好多加钱去找了一家有现货的公司，很快就到手了。
Hololens2开箱照
Hololens2的佩戴很舒适，又是无线的，也不重。藏家一摆弄就明白难怪微软不对个人发售，设置相当麻烦，一般用户估计得把支持电话打爆了。Hololens2按照目前微软的市场策略，主要是针对企业用户的，最好的例子是用来做医疗辅助和远程指导修理机器什么的，除了几个简单的游戏，消费者可玩的东西不多。
增强现实（AR）跟VR相比，体验十分不同，尤其是Hololens，没有常规的鼠标键盘或者手柄，需要用语音和手势跟系统互动，也可以用眼球跟踪。这套技术很新，开发者和使用者都在早期的摸索之中，离成熟还远得很。
Hololens2不能在户外使用，因为它的深度摄像机在明亮环境不行，头显里也看不清，最大的问题还是视野太小，较大的场景需要来回来去转头。但这些都能忍，因为Hololens的科技感太强了，戴上以后，操作界面就漂浮在空中，挥手指点加上语音命令，完全是《碟中谍》的情节，十分神奇。
藏家已经能把在虚幻引擎中自制的内容，输出到Hololens2里运行了，其过程可以说是艰辛，有很多弯路要走。虚幻是明确支持Hololens的，但是VR和AR的配置不同，又加上WindowsXR来捣乱，里面的坑太多了。藏家那几天反复装系统和所有软件，因为一旦Hololens2能用虚幻了，VR就出千奇百怪的毛病，最后连蓝牙鼠标键盘等都彻底失灵，因为iMacPro的Windows蓝牙驱动等，对付不了这么多它根本没考虑支持的新设备。
藏家为Hololens想出了不少创意和应用场景，等以后有机会跟专家合作的时候，看哪些可以实现，这个急不得。
藏家佩戴Hololens2
深度和体感摄影机
型号：Kinect
出品：微软（美国）
年代：年
来源：网购
中央美术学院固定资产
早在年左右，藏家就在Macbook上玩过一个游戏，使用内置摄像头，玩家可以隔空触摸或拍打屏幕上出现的元素，这些和玩家自己的影像叠在一起，十分好玩儿。
藏家和孩子玩Kinect体感游戏时Xbox的自动截图，年
年左右，藏家有时会和孩子和朋友们一起玩玩Xbox的体感游戏。本来是想接PC看看怎么用在互动艺术上，发现还得买PC版，和的不通用，就作罢了，但是对Kinect的能力印象很深。
这次有了Hololens2，明白头显的深度摄像头和Kinect的有相通之处，上网一看，Kinect已经变身了，老款已经退市，新款样子完全变了，性能强劲太多，但不再针对个人用户，只作为Azure的开发套件，对公司用户出售。跟Hololens2一样的问题，藏家只好找加价找有现货的公司去买。
KinectDK开箱照
KinectDK的外壳是全铝制，布满散热孔，使用中没感到发烫。微软简介：“AzureKinectDK是一款开发人员套件和PC外部设备，它搭载万像素高级深度摄像头、?麦克风阵列，万像素全高清摄像头和方向传感器，适用于先进的计算机视觉和语音模型开发。”这不是消费产品，而且太新了，微软提供的软件开发包很有限，对于藏家这种菜鸟来说，只有几个东西可用，一是下图的观测器，二是需要用命令行启动的录像机，三是人体动作捕捉，除了第一个都不是即插即用的。
观测器软件界面
从上图可以看到，左边是信息和参数，后边分为四屏，顺时针分别是深度信息，六声道阵列音频讯号，高清视频和红外视频（单色）。不知它的方向传感器是不是陀螺仪，六声道音频也能起到方向作用。可以单独观测深度、彩色和红外视频，从二维视图切换为三维以后，可以用鼠标随意旋转三轴，就是实时采集的三维模型。单个Kinect只能看到近一半体积，后面是空的，所以理想的用法是把三台Kinect编组，这样就接近度了。用命令行可以调出录像机，但是藏家不知道怎么用这些数据。藏家的理想是记录一个人物的模型和实时动画，目前还不得其解。
下图是Kinect的人体跟踪开发软件，人家也明确说只支持N卡（讨厌吧），藏家的iMacPro虽然能用，但不流畅。这个软件十分惊人，可以准确地判断人体关节运动包括手指，前后关系也没问题，更惊人的是可以同时跟踪两人。问题是藏家也不知道怎么存储和使用这些数据。
人体跟踪SDK界面
总之，DK套件是需要专业人员来开发的，这确实超出了藏家的能力范围。藏家看到了KinectDK的潜力，这些功能不但强大，而且很有用，只能期待有公司来发行可用的消费级软件了。
动作捕捉服
型号：SmartsuitPro
出品：Rokoko
年代：年
来源：网购
中央美术学院固定资产
年左右，藏家开始在中央美院设计学院代课时，数码专业主任马刚老师主持建了一个动作捕捉影棚，很大，墙上涂了绿漆，挂了一圈动捕摄影机，可惜没什么人会用，过几年就荒废了。
当年，动作捕捉不但占地儿，设备复杂昂贵，而且需要专人操作。藏家的脾气，凡事习惯单打独斗，最好设备随时在手边，有什么想法可以马上试验，不求人。虽然一直