发布询价单
您的位置:首页 > 资讯 > 企业动态 > 正文

Nvidia带来机器人和计算机视觉AI的新进展

2023-04-10 09:47 性质:原创 作者:南山 来源:AGV网
免责声明:AGV网(www.chinaagv.com)尊重合法版权,反对侵权盗版。(凡是我网所转载之文章,文中所有文字内容和图片视频之知识产权均系原作者和机构所有。文章内容观点,与本网无关。如有需要删除,敬请来电商榷!)
Nvidia公司正在扩大其机器人和人工智能的工具,通过改进开发者和工程师用来训练和部署工厂、办公室和城市中的自主机器的平台,为其提供动力。在今年的GTC 2023...

Nvidia公司正在扩大其机器人和人工智能的工具,通过改进开发者和工程师用来训练和部署工厂、办公室和城市中的自主机器的平台,为其提供动力。

在今年的GTC 2023(该公司的虚拟开发者大会)上,Nvidia说Omniverse Cloud将托管在微软Azure上,这将增加对Isaac Sim的访问,该公司的虚拟训练环境用于开发和管理基于AI的机器人。该公司还宣布了基于Jetson Orin的模块的完整生产线,这些模块是强大的人工智能机器人平台--基本上是作为边缘人工智能计算平台的机器人 "大脑"。

"世界上最大的行业都在制造实物,但他们希望以数字方式建造它们。"Nvidia创始人兼首席执行官黄仁勋说:"Omniverse是一个工业数字化的平台,它连接了数字和物理。"

Isaac Sim在Nvidia Omniverse上运行,这是一种强大的元空间模拟技术,可以创建现实世界的数字双胞胎,因此机器人开发人员可以重新创建机器人将要操作的空间和情况。在现实世界中建造和管理机器人意味着从头开始摄取和创建巨大的数据集,这可能是极其沉重的负担。

Azure上的Omniverse云提供了对强大的Nvidia OVX服务器的访问,该服务器专门为机器人模拟设计,以使机器人工作流程的开发更快、更容易。它还配备了大量的工具,允许团队在训练环境方面进行合作,缓解机器人训练数据、模拟、验证和部署人工智能。

衔接物理与数字,Nvidia在Jetson Orin模块阵容中推出了最新的边缘计算AI平台,推出了新的Jetson Orin Nano开发者套件。新套件比上一代Jetson Nano强大得多,主要针对希望创建人工智能驱动的机器人、智能无人机、智能视觉系统等的开发者。

Nvidia Jetson Orin系列模块旨在支持网络边缘广泛的AI机器人、机器和自动化功能。它们建立在Nvidia Ampere芯片上,支持任何应用的各种AI模型。基于Orin的芯片能够从入门级的Jetson Orin Nano的每秒40万亿次人工智能操作运行到Jetson AGX Orin的每秒275万亿次操作,用于自动驾驶车辆等高级解决方案

Nvidia表示,Jetson已被6000多家客户和100多万名开发者使用,其中包括亚马逊网络服务公司、佳能公司、思科系统公司、现代机器人有限公司、约翰迪尔公司、特雷弗公司和美国国家航空航天局。Ltd.、John DeereTeradyne Inc.和TK Elevator。采用基于Orin的新模块的公司包括现代 Doosan Infracore Co.Ltd.、Verdant Robotics、以及无人机公司Skydio Inc.和Zipline Inc.

将所有这些放在一起,Nvidia宣布扩大Metropolis生态系统和支持计算机视觉人工智能的技术,包括为开发者提供TAO工具包5.0;更新用于构建计算机视觉应用程序的Deepstream软件开发工具包;以及早期访问Metropolis微服务。

TAO工具包是一个低代码的人工智能框架开发工具包,协助任何开发者在任何服务和任何设备上快速创建人工智能模型。随着TAO 5.0的推出,Nvidia正在增加一系列功能,包括视觉转换器的预训练模型,通过ONNX导出在任何平台上部署的能力,通过AutoML和AI辅助数据分类或注释的自动调整。

使用TAO,开发者可以快速潜入数据,几乎不需要编码,让它快速对看到的东西进行分类。它可以使用预训练的模型来训练和分类视觉任务,如人员检测、车辆分类、姿态估计和物体估计。通过数据增强,模型可以通过迭代进行修剪和微调,直到它们以工程师需要的方式工作,然后再准备进行行业整合和部署。

Nvidia DeepStream软件开发工具包正在通过更新帮助开发者制作下一代视觉AI而将其提升到新的水平。DeepStream允许开发者从基于管道的开源GStreamer框架产生的视频流中迅速产生计算机视觉AI。然而,最近的更新允许开发者创建自己的基于图形的低代码人工智能视觉管道,而不需要流媒体框架。

DeepStream现在还可以带来更多的视觉效果。它还可以处理来自其他传感器的信息,如激光雷达和雷达,以及环境和过程与传感器融合。这将允许在各行业中出现一系列潜在的基于计算机视觉的新人工智能应用,例如将其用于质量控制和需要识别紧张的调度需求或环境中的其他变化的自主机器。

最后,当大范围内有多个摄像头时,这可能会给视觉AI带来问题,但Nvidia对此有一个解决方案。它被称为Metropolis Microservices,是一个用于视觉AI应用的云原生微服务参考框架。它允许开发者使用多个摄像头在大范围内迅速传播感知,并将它们焊接成一个单一的理解,供人工智能使用,以创建多摄像头跟踪应用程序。

这有大量的应用,例如在整个工厂车间,有大量的摄像头观察产品在众多的传送带上移动,在体育场,人们在走廊上行走,以控制拥堵,在零售商店,货架上有摄像头,以控制库存,以及智能城市,试图更好地了解交通。

VIDIA(Nvidia Corporation,/ɛnˈvɪdiə/;中国台湾与香港繁中名为輝達,中国大陆简中名为英伟达),创立于1993年1月,是一家以设计和销售图形处理器为主的无厂半导体公司。NVIDIA亦会设计游戏机核心,例如Xbox和PlayStation。NVIDIA最出名的产品线是为个人与游戏玩家所设计的GeForce系列,为专业CGI工作站而设计的Quadro系列,以及为服务器和高效运算而设计的Tesla系列,虽然起家于PC电脑的显卡业务,英伟达也曾涉及移动芯片Tegra的设计,但智能机市场对此响应不大,不过近年却利用这些研发经验,目前朝向人工智能和机器视觉的市场发展,也是图形处理器上重要的开发工具CUDA的发明者。不过NVIDIA的发展过程也是非议不断,批评多集中于滥用排他性商业合作、不正当营销方式、对业界开放标准和自由软件运动的拒斥等。

NVIDIA的总部设在美国加利福尼亚州的圣克拉拉位于硅谷的中心位置。

历史

NVIDIA创办人兼首席执行官兼总裁黄仁勋

黄仁勋、克里斯·马拉科夫斯基和卡蒂斯·普里姆于1993年4月美国加州创办了NVIDIA(随后成为特拉华州企业)。NVIDIA保持低调到1997-1998年,当时它发布了RIVA个人电脑绘图处理器产品线。并于1999年1月在纳斯达克挂牌上市;同年5月,售出第一千万个绘图处理器。于2000年收购了一代王者3dfx的知识产权。3dfx是1990年代中期其中一间最大的图形处理器厂商。NVIDIA与许多OEM厂商,和一些组织创建起密切关系,最知名的包括台积电。2002年2月,NVIDIA售出第一亿个绘图处理器。

目前NVIDIA和AMD供应了市场上大部分独立显卡。NVIDIA最著名的GeForce绘图处理器产品线于1999年首次亮相。现在GeForce产品线已经扩展至桌面型和笔记本电脑。移动设备方面,NVIDIA拥有Tegra产品线。它能提供高性能,同时保持低电源消耗。此类产品通常用于无线通信设备。

2020年4月 27日,NVIDIA宣布已完成对Mellanox Technologies, Ltd.(迈络思科技有限公司)的收购,成交价70亿美元。

2020 年 7 月,有报导称英伟达正在与软银谈判以 320 亿美元收购英国芯片设计公司安谋。 2020 年 9 月 13 日,英伟达宣布将以 400 亿美元的价格从软银集团手中收购 Arm Holdings,但须接受通常的审查,后者保留英伟达 10% 的股份。

2021年6月11日,英伟达宣布收购自动驾驶汽车高清地图开发商 DeepMap, Inc.。

产品制造

作为一家无晶圆IC半导体设计公司,NVIDIA于自己的实验室研发芯片,但将芯片制造工序分包给晶圆代工厂。以往,NVIDIA从其他厂商,例如IBM、意法半导体、台积电(NVIDIA目前最重要的代工合作伙伴)和联华电子获得硅芯片生产能力。芯片的供应链需涉及数间第三厂:制造完毕的晶圆由集成电路封装厂进行初步测试与封装作业,之後交由测试厂的测试部门进行深度测试并根据性能分类。依据存货清单,NVIDIA必须提早数月订购芯片,并将之存储起来等待使用。

在最终产品上(指显卡、主板等),NVIDIA会推出所谓原厂“公版”(Reference)产品(称为参考样卡或参考模板)供展示及测试之用,早期产品是由台湾的微星和斯博科、美国的威竣(VisionTek)和新美亚(Sanmina-SCI)、德国的埃尔莎代工,目前由新加坡的伟创力与台湾的鸿海(富士康)、华硕和捷波代工或设计。在零售市场上,NVIDIA会把顶级型号的“原厂”公版产品给各个第三方厂商贴牌,如GeForce 7950 GX2、Quadro FX 5600、nForce 680i SLI等等,这些厂商的产品设计用料完全相同,均由一家厂商代工。在OEM市场上,亦有部分“原厂”公版产品存在。2008年后NVIDIA允许了旗舰级产品的“非公版”(Non-Reference)设计,但只有极少数有实力的厂商(如华硕、技嘉、微星、影驰等)会推出自己设计的产品。2010年10月初,NVIDIA曾透过BestBuy少量销售由富士康代工的NVIDIA品牌“原厂”产品。

主要产品

NVIDIA的产品组合包括绘图处理器、个人电脑平台(主板逻辑核心)芯片组和数字媒体播放器的软件。在Mac/PC用户社区中,NVIDIA的"GeForce"产品线最为人熟悉。除了独立型显卡外,还有微软的Xbox游戏核心和nForce主板(已停产)的核心技术,NVIDIA最近进入的领域是用于手机和平板电脑的ARM芯片,品牌为Tegra至今已推出5代。

在2004年12月,NVIDIA宣布会协助索尼设计PS3的绘图处理器(RSX)。NVIDIA只会负责设计,Sony会负责制造该绘图处理器。根据合约,NVIDIA会使用索尼的芯片厂(索尼和东芝)来制造RSX,并将制程提升至65纳米。这与微软的协议是互相违背的,因为NVIDIA会透过第三者制造Xbox的绘图处理器。(其间微软选择了AMD去提供Xbox 360的绘图硬件的IP设计。任天堂的GameCube和Wii亦采用ATI的绘图处理器。)

2008年2月11日,NVIDIA发布了用于手机平台的APX 2500应用处理器。该处理器集成了一个ARM处理器和一个显示核心。这款处理器是由NVIDIA和微软联合研制,方面应用于使用Windows Mobile的电话中,提高Windows Mobile平台的多媒体处理能力。芯片的制程是65nm,核心频率750 MHz,并集成256KB的L2缓存。芯片亦内置GeForce核心,支持OpenGL ES 2.0和Direct3D Mobile标准。APX 2500属于ARM架构,其低耗电设计,使手提电话可以长时间播放音乐或720p高清晰视频。

NVIDIA于2008年12月发布了一支持Intel Atom处理器的NVIDIA ION移动平台,主打轻薄桌面型市场,可以支持DirectX 10的内置显示芯片性能是原本英特尔官方945GSE芯片组的5倍,让迷你电脑也有部分游戏能力;它解决了Atom没有GPU、无法支持高清、无法支持数字显示、屏幕需小于10英寸、不能支持更高版本的Windows Vista的种种问题。

在2011年1月5日的CES上,NVIDIA宣布将自行设计与研发基于ARM架构的台式机CPU,产品代号Project Denver(丹佛项目)。其处理器能够支持微软下一代桌面系统Windows 8以及行动平台上的Android、苹果iOS等。相比之前的Tegra产品,NVIDIA总裁表示这将是一颗高度定制的“ARM兼容CPU”,即获得ARM指令集授权,但处理器微架构则完全由NVIDIA自行开发,以更高性能面向桌面、服务器甚至高性能计算市场。届时NVIDIA基于ARM架构的处理器将在市场上与英特尔和AMD等基于X86架构的处理器直接竞争。

在GTC 2020主题演讲中,NVIDIA宣布推出Ampere架构,是NVIDIA 8代GPU历史上最大的一次性能飞跃,包含超过540亿个晶体管,是有史以来最大的7纳米芯片,性能相较于前代提升了高达20倍,

NVIDIA A100是首款基于NVIDIA Ampere架构的GPU,全新多实例GPU技术可将单个A100分割成最多七个独立的GPU来处理各种计算任务;第三代NVIDIA NVLink技术能将多个GPU组合成一个巨型GPU;全新结构化稀疏功能将GPU的性能提高一倍。具有TF32的第三代Tensor Core核心 ,其功能经过扩展后加入了专为AI开发的全新TF32,它能在无需更改任何代码的情况下,使FP32精度下的AI性能提高多达20倍。此外,Tensor Core核心现在支持FP64精度,相比于前代,其为HPC应用所提供的计算力比之前提高了多达2.5倍。

2020年,NVIDIA发布软件开发包NVIDIA Maxine。

网友评论
文明上网,理性发言,拒绝广告

相关资讯

关注官方微信

手机扫码看新闻