3D
当前位置: 主页 > 3D >
肇观电子推出业界领先的Feynman系列3D+AI智能深度
更新时间:2021-11-25

  自主研发的NE-D163A 主控SoC人工智能视觉芯片,肇观电子近日面向机器人、安防、AR/VR、无感智能门禁、机器视觉、物联网、智能交通(客流统计)等行业推出内嵌AI智能深度相机Feynman系列,提供SDK,赋能客户部署差异化算法,支持客户深度定制,以满足各种智能设备定位、避障和智能分析等需求。Feynman系列深度相机的主控芯片内嵌几何和深度引擎DEP,AI加速引擎NPU与视觉加速引擎DSP,采用主动双目视觉技术,在室内外各种场景,均能生成高帧率和高精度的深度图,同时支持端侧实时智能AI算法的部署。整机具有深度图精度高、帧率高、AI算力强、ISP成像质量好、集成度高、功耗低、体积小等诸多优点。

  Feynman相机搭载了散斑结构光、双目红外摄像头IR模组、彩色摄像头RGB全局曝光模组以及惯性测量单元(IMU)。这些丰富的传感器组合提供了多维度的信息,使得Feynman相机能够帮助机器人构建强大的环境感知和理解能力。

  深度距离的精确程度取决于深度图的精度。Feynman相机具有强大的深度视觉处理能力,它无需外挂其他处理器,就可以产生性能高达720P30FPS的深度图,且具有极低的空洞率。实测数据表明,在同一物品和同一光照条件的情况下,某国际巨头R* D435 的空洞率在1%附近,Feynman空洞率为0.2%。

  Feynman的深度图具有90°对角的广角视场,可以帮助智能设备看得更广,实现更好的避障和路径规划。下图可以看出,Feynman所看到的场景比常规深度相机看到的视野更宽广。

  ▲市面常规相机深度图58°*45°(左)vs FeynmanM1深度图84°*60°(右)

  Feynman相机内置的NE-D163A芯片还具有业内创新的自学习ISP流水线架构,从而在各种复杂光照环境下均能获得优质的图像。Feynman相机传感器支持极高动态的HDR,并且在低照度场景下依然能清晰成像。

  在与市场上高端3D深度相机的性能指标进行比较之后(下表),可以看出Feynman 3D+AI深度相机的竞争优势,尤其在智能方面的亮点更加突出。相机的结构非常紧凑,尺寸为89.8mm x 25mm x 30.8mm,和市面主流深度相机的大小兼容。

  这颗主控SoC芯片NE-D163A是由肇观电子自主研发,拥有高性能深度视觉处理独立硬件IP,专门应用于机器人、AR/VR、工业检测等领域的芯片,已在客户产品中通过了人脸支付、活体检测的BCTC增强级认证。下表是芯片的各项参数:

  NE-D163A包含的NPU具有业界领先的硬件利用率。根据每TOPS下对典型网络的推理帧率,NE-D163A的性能比业界其它AI芯片相比要高2-3倍。其自带的AI编译器InferStudio™ 支持Caffe,Tensorflow,NCNN,ONNX等框架以及CNN,RNN,LSTM,Transformer等网络类型。同时,NE-D163A的NPU重点支持FP16和INT8两种精度类型,FP16精度无损、INT8精度损失在1%以内,提供了更高的算法部署的准确度。

  ▲经典网络模型在PC端和NE-D163A芯片上推理结果的精度实测对比,精度损失在1%以内

  Feynman相机不仅适用于室内,场景复杂的室外仍然适用,在阳光下也可以获得好的深度图。市面上常见的深度相机,其主动光在太阳光下容易受到干扰,从而无法获得良好的深度图。Feynman相机采用独特的光学设计,在室外阳光下应用时,能在降低太阳光干扰的同时,保持信噪比,从而保证深度图的准确性和完整性。

  除了在机器人领域的广泛应用,Feynman相机也在工业场景有诸多应用,针对工业场景,Feynman提供了具有千兆以太网,电源和控制信号航插的扩展款。

  Feynman出厂自带标定参数,支持固件升级。为了方便开发者快速评测和集成,肇观电子还提供了丰富的软件工具和SDK支持:

  主机端SDK源码,包括Windows/Ubuntu(ROS)/Android平台的SDK支持。该SDK用于主机访问和控制相机设备端,代码开源在Github和Gitee上面。对于需要利用端侧AI和DSP算力的产品和深度定制的客户,Feynman提供了设备端SDK。

  FeynmanViewer是Windows应用,可以通过USB接口进行相机访问,实时控制相机,并完成各类图像获取及展示等功能。

  肇观电子结合自身的高性能芯片研发能力,3D视觉能力和系统整合能力,推出具有大广角、高帧率、高精度的Feynman 3D+AI 相机来满足各种智能设备定位、避障和智能分析等需求。另外一方面,由于消耗大量计算力视觉计算的任务转移到Feynman相机里面来完成,智能设备对外围芯片的算力需求随之降低,因而厂商可以选择低成本的外围芯片,这有助于降低智能设备的整体硬件成本。

  近年来,伴随工业4.0、人工智能、机器人等产业的蓬勃发展,3D视觉感知成为了限制目前包括机器人、安防、AR/VR、无感智能门禁、机器视觉、物联网、智能交通等众多领域发展的瓶颈,深度相机的需求迅速增长。尤其在移动服务机器人行业,包括送餐机器人、酒店服务机器人,商场机器人,巡检机器人、工厂AGV自主移动机器人、特种移动机器人等,机器人厂商不断寻求性能卓越,可靠,价格合适的深度相机。目前,Feynman系列相机已在诸多机器人产品中批量商用。返回搜狐,查看更多