ARKit入门 - HelloWorld开发者社区

ARKit介绍

ARKit是iOS11引入的一个全新的框架，使用Visual Inertial Odometry(VIO，视觉惯性里程计)来精确跟踪现实世界中的真实场景。相比其它设备平台，ARKit中的VIO可以将传感器数据和CoreMotion的数据融合在一起，从而提供更为精确的信息。ARKit可以让iOS设备精确感知它如何在房间内移动，而无需外部设备的校准。基于此原理，ARKit可以获取关于iOS设备位置和运动信息的高精度模型，并在场景中使用。

ARKit的强悍功能都是基于海量的计算，因此目前只支持Apple A9和A10处理器。从硬件设备上来看，目前搭载了Apple A9和A10处理器的只有iPhone 6s, iPhone 6s Plus, iPhone SE，iPhone7，iPhone 7 Plus，两代iPad Pro和最新的iPad。

ARKit目前已经支持Unity、Unreal Engine和Scenekit，由于目前正在做Unity开发，故下面就简单介绍一下Unity下的ARKit开发。

工具版本要求

开发IDE：Unity 5.6.1p1 或以上版本
运行系统：iOS 11 或以上版本
编译工具：XCode 9 beta 或以上版本
运行设备：支持ARKit的iOS设备

Unity插件介绍

插件的下载地址：https://oc.unity3d.com/index.php/s/3hfM9T05P9vOpCf

该Unity插件将让开发者们可以轻松访问ARKit的功能，例如世界追踪（World Tracking）、实时视频渲染（Live Video Rendering）、平面预测与更新（Plane Estimation and Updates）、碰撞检测API（Hit-testing API）、环境光预测（Ambient Light Estimation）以及原点云数据（Raw Point Cloud Data）

其基本使用方法可以参考此文，这里不做重复叙述。

将该插件导入到Unity中，有几个重要文件需要做一下说明：

"/Assets/Plugins/iOS/UnityARKit/NativeInterface/ARSessionNative.mm" - OC文件，ARKit SDK的本地接口文件

"/Assets/Plugins/iOS/UnityARKit/NativeInterface/UnityARSessionNativeInterface.cs" - C#版本的ARKit SDK接口文件这两个文件完成了C#对OC跨语言调用ARKit功能的工作

UnityARSessionNativeInterface 包含下面几个重要方法：

public void RunWithConfigAndOptions(ARKitWorldTackingSessionConfiguration config, UnityARSessionRunOption runOptions)
public void RunWithConfig(ARKitWorldTackingSessionConfiguration config) public void Pause()
public List HitTest(ARPoint point, ARHitTestResultType types)
public ARTextureHandles GetARVideoTextureHandles()
public float GetARAmbientIntensity()
public int GetARTrackingQuality()

还包含几个重要事件

public delegate void ARFrameUpdate(UnityARCamera camera)
public delegate void ARAnchorAdded(ARPlaneAnchor anchorData)
public delegate void ARAnchorUpdated(ARPlaneAnchor anchorData)
public delegate void ARAnchorRemoved(ARPlaneAnchor anchorData)
public delegate void ARSessionFailed(string error)

"/Assets/Plugins/iOS/UnityARKit/NativeInterface/AR*.cs" - ARKit用到的数据结构脚本

"/Assets/Plugins/iOS/UnityARKit/Utility/UnityARAnchorManager.cs" - 一个实用程序，可以跟踪ARKit的锚更新，并可以为其创建相应的Unity游戏对象 (具体可以参看在 GeneratePlanes.cs 组件里查看使用方法)

"/Assets/Plugins/iOS/UnityARKit/Editor/UnityARBuildPostprocessor.cs” - 编译时用到的编辑脚本，对导出工程做一些相应的操作，例如添加ARKit库文件等

ARKit有用的组件 "/Assets/Plugins/iOS/UnityARKit/UnityARCameraManager.cs" - 这个组件应该放置在通过ARKit引用的摄像机的场景中的一个游戏对象，并且它将定位和旋转相机，并提供基于ARKit更新的正确投影矩阵。该组件还具有初始化ARKit的功能

"/Assets/Plugins/iOS/UnityARKit/UnityARVideo.cs" - 该组件应放置在相机上，并抓取渲染视频所需的纹理，并将其设置为对后缓冲区进行拼接所需的材质，并设置命令缓冲区以进行实际布局

ARKit使用说明

首先给Camera挂上UnityARCameraNearFar和UnityARVideo这两个脚本并为UnityARVideo的ClearMaterial设置上YUVMaterial材质，其中UnityARCameraNearFar脚本将Camera的nearClipPlane和farClipPlane提供给ARKit使用，UnityARVideo则将摄像头拍摄到的真实世界组合到Camera呈现的背景中去。
通过UnityARSessionNativeInterface.GetARSessionNativeInterface()拿到ARKit的会话接口，暂且叫它m_session。
调用m_session.RunWithConfig(config)或m_session.RunWithConfigAndOption(config，option)可以创建一个ARSession，这也代表着ARKit的启动。
通过m_session.GetCameraPose()可以获取ARKit所认为的Camera当前姿态，例如位置和旋转，将其设置给Camera。
通过m_session.GetCameraProjection()可以获取ARKit所认为的Camera当前投影矩阵，将其设置给Camera。(以上2-5步可以参考UnityARCameraManager.cs中的使用)
通过以上步骤，一个基本的AR场景就算搭建好了，你可以通过m_session.HitTest(point，resultTypes)来确定摄像头中的该位置在ARKit理解中是虚拟世界的什么位置和形态。(参考UnityARHitTestExample.cs)
也可以通过m_session的配置进行平面检测，通过设置UnityARSessionNativeInterface.ARAnchorAddedEvent，UnityARSessionNativeInterface.ARAnchorUpdatedEvent和UnityARSessionNativeInterface.ARAnchorRemovedEvent来获得ARkit对摄像头中平面的理解。(参考UnityARAnchorManager.cs)
同样的，如果想获取ARKit理解的特征点数据，可以通过设置UnityARSessionNativeInterface.ARFrameUpdatedEvent来及时获取。(参考PointCloudParticleExample.cs)
还可以通过m_session.GetARAmbientIntensity()来获取对光线强度的估算(参考UnityARAmbient.cs)
最后需要注意的是，ARKit的各种方法的回调速度和Unity的更新速度是不一样的。