ARKit入门

Stella981
• 阅读 618

ARKit介绍

ARKit是iOS11引入的一个全新的框架,使用Visual Inertial Odometry(VIO,视觉惯性里程计)来精确跟踪现实世界中的真实场景。相比其它设备平台,ARKit中的VIO可以将传感器数据和CoreMotion的数据融合在一起,从而提供更为精确的信息。ARKit可以让iOS设备精确感知它如何在房间内移动,而无需外部设备的校准。基于此原理,ARKit可以获取关于iOS设备位置和运动信息的高精度模型,并在场景中使用。

ARKit的强悍功能都是基于海量的计算,因此目前只支持Apple A9和A10处理器。从硬件设备上来看,目前搭载了Apple A9和A10处理器的只有iPhone 6s, iPhone 6s Plus, iPhone SE,iPhone7,iPhone 7 Plus,两代iPad Pro和最新的iPad。

ARKit目前已经支持Unity、Unreal Engine和Scenekit,由于目前正在做Unity开发,故下面就简单介绍一下Unity下的ARKit开发。

工具版本要求

  • 开发IDE:Unity 5.6.1p1 或以上版本
  • 运行系统:iOS 11 或以上版本
  • 编译工具:XCode 9 beta 或以上版本
  • 运行设备:支持ARKit的iOS设备

Unity插件介绍

插件的下载地址:https://oc.unity3d.com/index.php/s/3hfM9T05P9vOpCf

该Unity插件将让开发者们可以轻松访问ARKit的功能,例如世界追踪(World Tracking)、实时视频渲染(Live Video Rendering)、平面预测与更新(Plane Estimation and Updates)、碰撞检测API(Hit-testing API)、环境光预测(Ambient Light Estimation)以及原点云数据(Raw Point Cloud Data)

其基本使用方法可以参考此文,这里不做重复叙述。

将该插件导入到Unity中,有几个重要文件需要做一下说明:

"/Assets/Plugins/iOS/UnityARKit/NativeInterface/ARSessionNative.mm" - OC文件,ARKit SDK的本地接口文件

"/Assets/Plugins/iOS/UnityARKit/NativeInterface/UnityARSessionNativeInterface.cs" - C#版本的ARKit SDK接口文件 这两个文件完成了C#对OC跨语言调用ARKit功能的工作

UnityARSessionNativeInterface 包含下面几个重要方法:

  • public void RunWithConfigAndOptions(ARKitWorldTackingSessionConfiguration config, UnityARSessionRunOption runOptions)
  • public void RunWithConfig(ARKitWorldTackingSessionConfiguration config) public void Pause()
  • public List HitTest(ARPoint point, ARHitTestResultType types)
  • public ARTextureHandles GetARVideoTextureHandles()
  • public float GetARAmbientIntensity()
  • public int GetARTrackingQuality()

还包含几个重要事件

  • public delegate void ARFrameUpdate(UnityARCamera camera)
  • public delegate void ARAnchorAdded(ARPlaneAnchor anchorData)
  • public delegate void ARAnchorUpdated(ARPlaneAnchor anchorData)
  • public delegate void ARAnchorRemoved(ARPlaneAnchor anchorData)
  • public delegate void ARSessionFailed(string error)

"/Assets/Plugins/iOS/UnityARKit/NativeInterface/AR*.cs" - ARKit用到的数据结构脚本

"/Assets/Plugins/iOS/UnityARKit/Utility/UnityARAnchorManager.cs" - 一个实用程序,可以跟踪ARKit的锚更新,并可以为其创建相应的Unity游戏对象 (具体可以参看在 GeneratePlanes.cs 组件里查看使用方法)

"/Assets/Plugins/iOS/UnityARKit/Editor/UnityARBuildPostprocessor.cs” - 编译时用到的编辑脚本,对导出工程做一些相应的操作,例如添加ARKit库文件等

ARKit有用的组件 "/Assets/Plugins/iOS/UnityARKit/UnityARCameraManager.cs" - 这个组件应该放置在通过ARKit引用的摄像机的场景中的一个游戏对象,并且它将定位和旋转相机,并提供基于ARKit更新的正确投影矩阵。该组件还具有初始化ARKit的功能

"/Assets/Plugins/iOS/UnityARKit/UnityARVideo.cs" - 该组件应放置在相机上,并抓取渲染视频所需的纹理,并将其设置为对后缓冲区进行拼接所需的材质,并设置命令缓冲区以进行实际布局

ARKit使用说明

  1. 首先给Camera挂上UnityARCameraNearFar和UnityARVideo这两个脚本并为UnityARVideo的ClearMaterial设置上YUVMaterial材质,其中UnityARCameraNearFar脚本将Camera的nearClipPlane和farClipPlane提供给ARKit使用,UnityARVideo则将摄像头拍摄到的真实世界组合到Camera呈现的背景中去。
  2. 通过UnityARSessionNativeInterface.GetARSessionNativeInterface()拿到ARKit的会话接口,暂且叫它m_session。
  3. 调用m_session.RunWithConfig(config)或m_session.RunWithConfigAndOption(config,option)可以创建一个ARSession,这也代表着ARKit的启动。
  4. 通过m_session.GetCameraPose()可以获取ARKit所认为的Camera当前姿态,例如位置和旋转,将其设置给Camera。
  5. 通过m_session.GetCameraProjection()可以获取ARKit所认为的Camera当前投影矩阵,将其设置给Camera。(以上2-5步可以参考UnityARCameraManager.cs中的使用)
  6. 通过以上步骤,一个基本的AR场景就算搭建好了,你可以通过m_session.HitTest(point,resultTypes)来确定摄像头中的该位置在ARKit理解中是虚拟世界的什么位置和形态。(参考UnityARHitTestExample.cs)
  7. 也可以通过m_session的配置进行平面检测,通过设置UnityARSessionNativeInterface.ARAnchorAddedEvent,UnityARSessionNativeInterface.ARAnchorUpdatedEvent和UnityARSessionNativeInterface.ARAnchorRemovedEvent来获得ARkit对摄像头中平面的理解。(参考UnityARAnchorManager.cs)
  8. 同样的,如果想获取ARKit理解的特征点数据,可以通过设置UnityARSessionNativeInterface.ARFrameUpdatedEvent来及时获取。(参考PointCloudParticleExample.cs)
  9. 还可以通过m_session.GetARAmbientIntensity()来获取对光线强度的估算(参考UnityARAmbient.cs)
  10. 最后需要注意的是,ARKit的各种方法的回调速度和Unity的更新速度是不一样的。

总结

ARKit的功能非常强大,但使用却如此简单,使用不难,只能说苹果牛逼呀!

本文来自网易云社区,经作者张志明授权发布。

原文地址:ARKit入门

更多网易研发、产品、运营经验分享请访问网易云社区

点赞
收藏
评论区
推荐文章
秃头王路飞 秃头王路飞
5个月前
webpack5手撸vue2脚手架
webpack5手撸vue相信工作个12年的小伙伴们在面试的时候多多少少怕被问到关于webpack方面的知识,本菜鸟最近闲来无事,就尝试了手撸了下vue2的脚手架,第一次发帖实在是没有经验,望海涵。languageJavaScript"name":"vuecliversion2","version":"1.0.0","desc
浅梦一笑 浅梦一笑
5个月前
初学 Python 需要安装哪些软件?超级实用,小白必看!
编程这个东西是真的奇妙。对于懂得的人来说,会觉得这个工具是多么的好用、有趣,而对于小白来说,就如同大山一样。其实这个都可以理解,大家都是这样过来的。那么接下来就说一下python相关的东西吧,并说一下我对编程的理解。本人也是小白一名,如有不对的地方,还请各位大神指出01名词解释:如果在编程方面接触的比较少,那么对于软件这一块,有几个名词一定要了解,比如开发环
blmius blmius
1年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
光头强的博客 光头强的博客
5个月前
Java面向对象试题
1、请创建一个Animal动物类,要求有方法eat()方法,方法输出一条语句“吃东西”。创建一个接口A,接口里有一个抽象方法fly()。创建一个Bird类继承Animal类并实现接口A里的方法输出一条有语句“鸟儿飞翔”,重写eat()方法输出一条语句“鸟儿吃虫”。在Test类中向上转型创建b对象,调用eat方法。然后向下转型调用eat()方
刚刚好 刚刚好
5个月前
css问题
1、在IOS中图片不显示(给图片加了圆角或者img没有父级)<div<imgsrc""/</divdiv{width:20px;height:20px;borderradius:20px;overflow:h
小森森 小森森
5个月前
校园表白墙微信小程序V1.0 SayLove -基于微信云开发-一键快速搭建,开箱即用
后续会继续更新,敬请期待2.0全新版本欢迎添加左边的微信一起探讨!项目地址:(https://www.aliyun.com/activity/daily/bestoffer?userCodesskuuw5n)\2.Bug修复更新日历2.情侣脸功能大家不要使用了,现在阿里云的接口已经要收费了(土豪请随意),\\和注意
晴空闲云 晴空闲云
5个月前
css中box-sizing解放盒子实际宽高计算
我们知道传统的盒子模型,如果增加内边距padding和边框border,那么会撑大整个盒子,造成盒子的宽度不好计算,在实务中特别不方便。boxsizing可以设置盒模型的方式,可以很好的设置固定宽高的盒模型。盒子宽高计算假如我们设置如下盒子:宽度和高度均为200px,那么这会这个盒子实际的宽高就都是200px。但是当我们设置这个盒子的边框和内间距的时候,那
艾木酱 艾木酱
5个月前
快速入门|使用MemFire Cloud构建React Native应用程序
MemFireCloud是一款提供云数据库,用户可以创建云数据库,并对数据库进行管理,还可以对数据库进行备份操作。它还提供后端即服务,用户可以在1分钟内新建一个应用,使用自动生成的API和SDK,访问云数据库、对象存储、用户认证与授权等功能,可专
NVIDIA安培架构下MIG技术分析
关键词:NVIDIA、MIG、安培一什么是MIG2020年5月,NVIDIA发布了最新的GPU架构:安培,以及基于安培架构的最新的GPU:A100。安培提供了许多新的特性,MIG是其中一项非常重要的新特性。MIG的全名是MultiInstanceGPU。NVIDIA安培架构中的MIG模式可以在A100GPU上并行运行七个作业。多实
helloworld_28799839 helloworld_28799839
5个月前
常用知识整理
Javascript判断对象是否为空jsObject.keys(myObject).length0经常使用的三元运算我们经常遇到处理表格列状态字段如status的时候可以用到vue
helloworld_34035044 helloworld_34035044
8个月前
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为