ISDF2016经典之A10：基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉

lcytms · 发表于 2017-5-11 23:01:02

本帖最后由 lcytms 于 2017-5-12 17:38 编辑

ISDF2016经典之A10：基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉

参考链接：
https://www.altera.com.cn/events ... m/isdf-content.html

全部经典内容包括：
K系列的主题演讲（K1~K3）；
A系列的硬件主题（A1~A12）；
B系列的软件主题（B1~B10）。

A10指的是硬件主题10。

20161108 ISDF 2016，北京
LIPS公司刘凌伟
硬件主题 11’58’’

下载视频链接：
视频文件：a10.Embedded-and-Reliable-Computer-Vision-Based-on-ToF-Depth-Camera-with-OpenCL-on-SoC-FPGA-刘凌伟-of-LIPS-Low.mp4
下载链接：https://www.altera.com.cn/conten ... 栉�-of-LIPS-Low.mp4

lcytms · 发表于 2017-5-11 23:09:38

本帖最后由 lcytms 于 2017-5-11 23:43 编辑

演示文档说明
a4-ts8-hw-101.pdf

TS08-HW
      Innovate with SoC FPGAs

本文档涵盖内容：
      A10       基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉 Embedded and Reliable Computer Vision Based on ToF Depth Camera with OpenCL* on SoC FPGA (刘凌伟, LIPS)
      A11       利用开源平台支持的英特尔®SoC FPGA智能无人机    Flying with Intel®SoC FPGA: Smart Drones Enabled by Open-Source Platform                                  (Lianying Ji, Aerotenna)
      A12       工业物联网电机控制轨迹优化                                     Industrial IoTMotor Control Trajectory Optimization                                                                         (Penny Tse, Digi-Key)

lcytms · 发表于 2017-5-11 23:12:44

00
我们每一个人的身上有很多种颜色，但是区块化的时候很不容易把一个人区划出来，或是物件区划出来。
但是深度是连续的，因为在我们身上每一个pixel自身连在一起，所以有一些比较重要的线索，深度是连续的。
所以我们基于这个设计，这个所谓的深度设计，它第二个是，我们从深度资料里面去抓取这些深度资讯，变成一个有意义的资讯。
比如说，首饰，体感，或是整个空间物件的重建等等，就把它放在所谓的SDK里面。
这有一个蛮有名的SDK的framework，叫OpenNI。
我们的SDK跟这个OpenNI是完全相吻。
所以开发者只要去拿到这套SDK，跟我们的硬件，我们的深度设计，就可以很简单地去开发。

fpga_feixiang · 发表于 2017-5-31 11:39:54

够深度，看着标题就云里雾里的

4798345 · 发表于 2017-5-31 16:55:34

基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉

lcytms · 发表于 2017-6-15 09:16:33

01
用我们的软体开发包，或是SDK，去开发它。
这是个人不同的application。
接下来，我们讲一下在OpenCL跟SoC的里面，它扮演一个重要的角色。
其实在FPGA上，写Verilog肯定是一个花蛮久时间的一个工作。
所以基本上我们的算法，从演算法到把这个式子导出来，要放到FPGA上的话，其实花的时间蛮久的。
但是我们就是说，为了要缩短这个演算法开发实际的implement出来的时间，因为有可能到时候验证出来说这个演算法可能是不正确的。
那再放到FPGA里面肯定是花了很多时间，所以目前我们都是用OpenCL快速做验证。

小舍YZ · 发表于 2017-6-15 10:21:03

赞，，，，，，，，，，，，谢谢分享。。。。。。。。。。。。。。。。

fpga_feixiang · 发表于 2017-6-29 17:12:30

标题好长啊

lcytms · 发表于 2018-4-21 20:57:33

02
基本上就是说，我们用Altera的FPGA，用这个OpenCL的tool，可以在演算法好的时候，我们就已经验证说当下是有没有问题。
然后再决定说去最佳化。
所以它做了很多事情，是包含了所有的这些我们该讲的ToF部分，还有些信号处理，这些信号处理肯定是类比信号。
类比信号要转成数位信号，所以它要做很多事情，这是一个ToF的基本转换公式。
就是利用打光出来的相位差，这边有一个IR。
打出光来之后，每个pixel都算出来它各自的相位差。
所以这样，每个pixel的计算量其实蛮大的。
第二个是说这个所谓打出来的光，都有一些物理特性，比如说在边缘的时候，它会折射掉。

lcytms · 发表于 2018-4-21 20:59:13

03
信号处理会有一个叫多重路径的干涉，multi-pace。
这些的话，都会变成一个noise。
所以它的计算量，其实还蛮复杂的，所以我们用OpenCL去把这部分给解决掉。
另外一部分，就是ToF的部分。
我们当初验证完之后，把它放到一般的CPU上面的演算法，跟到最后我们放到Cyclone V它的FPGA上面的处理的相对时间大概是，每一秒，CPU大概只能处理0.5帧。

		自动登录	找回密码
密码			我要注册

ISDF2016经典之A10：基于ToF深度相机与OpenCL的嵌入式可靠计算机视觉

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

站长推荐 /1