ISDF2016经典之A10:基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉
本帖最后由 lcytms 于 2017-5-12 17:38 编辑ISDF2016经典之A10:基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉
参考链接:
https://www.altera.com.cn/events/asia/altera-soc-developers-forum/isdf-content.html
全部经典内容包括:
K系列的主题演讲(K1~K3);
A系列的硬件主题(A1~A12);
B系列的软件主题(B1~B10)。
A10指的是硬件主题10。
20161108 ISDF 2016,北京
LIPS公司刘凌伟
硬件主题 11’58’’
下载视频链接:
视频文件:a10.Embedded-and-Reliable-Computer-Vision-Based-on-ToF-Depth-Camera-with-OpenCL-on-SoC-FPGA-刘凌伟-of-LIPS-Low.mp4
下载链接:https://www.altera.com.cn/content/dam/altera-www/global/zh_CN/video/ISDF2016-Beijing/a10.Embedded-and-Reliable-Computer-Vision-Based-on-ToF-Depth-Camera-with-OpenCL-on-SoC-FPGA-刘凌伟-of-LIPS-Low.mp4
本帖最后由 lcytms 于 2017-5-11 23:43 编辑
演示文档说明
a4-ts8-hw-101.pdf
TS08-HW
Innovate with SoC FPGAs
本文档涵盖内容:
A10 基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉 Embedded and Reliable Computer Vision Based on ToF Depth Camera with OpenCL* on SoC FPGA (刘凌伟, LIPS)
A11 利用开源平台支持的英特尔®SoC FPGA智能无人机 Flying with Intel®SoC FPGA: Smart Drones Enabled by Open-Source Platform (Lianying Ji, Aerotenna)
A12 工业物联网电机控制轨迹优化 Industrial IoTMotor Control Trajectory Optimization (Penny Tse, Digi-Key)
00
我们每一个人的身上有很多种颜色,但是区块化的时候很不容易把一个人区划出来,或是物件区划出来。
但是深度是连续的,因为在我们身上每一个pixel自身连在一起,所以有一些比较重要的线索,深度是连续的。
所以我们基于这个设计,这个所谓的深度设计,它第二个是,我们从深度资料里面去抓取这些深度资讯,变成一个有意义的资讯。
比如说,首饰,体感,或是整个空间物件的重建等等,就把它放在所谓的SDK里面。
这有一个蛮有名的SDK的framework,叫OpenNI。
我们的SDK跟这个OpenNI是完全相吻。
所以开发者只要去拿到这套SDK,跟我们的硬件,我们的深度设计,就可以很简单地去开发。
够深度,看着标题就云里雾里的 基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉 01
用我们的软体开发包,或是SDK,去开发它。
这是个人不同的application。
接下来,我们讲一下在OpenCL跟SoC的里面,它扮演一个重要的角色。
其实在FPGA上,写Verilog肯定是一个花蛮久时间的一个工作。
所以基本上我们的算法,从演算法到把这个式子导出来,要放到FPGA上的话,其实花的时间蛮久的。
但是我们就是说,为了要缩短这个演算法开发实际的implement出来的时间,因为有可能到时候验证出来说这个演算法可能是不正确的。
那再放到FPGA里面肯定是花了很多时间,所以目前我们都是用OpenCL快速做验证。
赞,,,,,,,,,,,,谢谢分享。。。。。。。。。。。。。。。。:lol 标题好长啊 02
基本上就是说,我们用Altera的FPGA,用这个OpenCL的tool,可以在演算法好的时候,我们就已经验证说当下是有没有问题。
然后再决定说去最佳化。
所以它做了很多事情,是包含了所有的这些我们该讲的ToF部分,还有些信号处理,这些信号处理肯定是类比信号。
类比信号要转成数位信号,所以它要做很多事情,这是一个ToF的基本转换公式。
就是利用打光出来的相位差,这边有一个IR。
打出光来之后,每个pixel都算出来它各自的相位差。
所以这样,每个pixel的计算量其实蛮大的。
第二个是说这个所谓打出来的光,都有一些物理特性,比如说在边缘的时候,它会折射掉。
03
信号处理会有一个叫多重路径的干涉,multi-pace。
这些的话,都会变成一个noise。
所以它的计算量,其实还蛮复杂的,所以我们用OpenCL去把这部分给解决掉。
另外一部分,就是ToF的部分。
我们当初验证完之后,把它放到一般的CPU上面的演算法,跟到最后我们放到Cyclone V它的FPGA上面的处理的相对时间大概是,每一秒,CPU大概只能处理0.5帧。
页:
[1]
2