发布时间：2019-08-16 阅读量：655 来源: 智东西 发布人: Jane
据外媒报道，Nvidia今天宣布，它已经训练出了世界上最大的语言模型MegatronLM，该模型使用了83亿个参数，比Bert大24倍，比OpenAI的GPT-2大5倍。
Nvidia还宣布其打破了BERT模型的最快训练时间记录，通过使用优化的PyTorch软件和超过1,000个GPU的DGX-SuperPOD，Nvidia能够在53分钟内训练出行业标准的BERT模型。
除此之外，Nvidia还通过运行Tesla T4 GPU和针对数据中心推理优化的TensorRT 5.1，成功将BERT推理时间降至了2.2毫秒。
一、世界最大语言模型MegatronLM比Bert大24倍
Nvidia今天宣布，它已经训练出了世界上最大的语言模型MegatronLM，这是这家GPU制造商旨在推进会话式AI的一系列更新中的最新版本。、
为了实现这一壮举，Nvidia利用模型并行性，用一种技术将神经网络分割成多个部分，创建出了MegatronLM模型，该模型使用了83亿个参数，比Bert大24倍，比OpenAI的GPT-2大5倍。
Nvidia同时还宣布打破了BERT的最快训练记录，通过使用优化的PyTorch软件和超过1,000个GPU的DGX-SuperPOD，Nvidia能够在53分钟内训练出行业标准的BERT模型。
Nvidia深度学习应用（applied deep learning）副总裁Bryan Catarazano在与记者和分析师的一次谈话中说：“如果没有这种技术，训练这些大型语言模型可能需要数周时间。”
Nvidia还表示它已经实现了最快的BERT推理时间，通过运行Tesla T4 GPU和针对数据中心推理优化的TensorRT 5.1，BERT推理时间能够降至2.2毫秒。
Bryan Catarazano表示，当用CPU进行推理时，BERT推理最多需要40毫秒，而许多会话式AI系统今天会在10毫秒内完成。
▲MegatronLM代码已经在在GitHub上开源
Nvidia已经将MegatronLM代码在GitHub上开源，以帮助人工智能从业者和研究人员探索大型语言模型的创建，或使用GPU进行速度训练或推理。
二、53分钟训练BERT
2018年10月，谷歌正式推出了基于双向 Transformer 的大规模预训练语言模型“BERT”，并在短期内刷新了当时11 项 NLP 任务的最优性能记录。
BERT能高效抽取文本信息并应用于各种 NLP 任务，所以非常适合语言理解任务，如翻译，问答，情感分析和句子分类等。
Nvidia本次用带有92个DGX-2H节点的NVIDIA DGX SuperPOD在短短53分钟内就成功训练BERT-Large，这创造了新的记录。
为了实现这个新纪录，Nvidia用了1,472 个V100 SXM3-32GB 450W GPU和每个节点8个Mellanox Infiniband计算适配器以自动混合精度（ Automatic Mixed Precision）运行PyTorch以加快处理数量和速度。
▲不同数量的GPU训练BERT-Large的时间
相比之下，对于只能访问单个节点的研究人员来说，使用16个V100的DGX-2服务器训练BERT-Large需要3天。
结语：MegatronLM模型促进NLP发展
让计算机理解人类语言及其所有细微差别并做出适当反应一直是AI研究人员追求的方向，但在现代AI技术的到来之前，建立具有真正NLP功能的系统是不可能的。
随着BERT和具有10亿多参数的GPT-2模型等大型语言模型的出现，我们看到了高难度语言理解任务实现的可能，而Nvidia本次发布的MegatronLM模型更是将NLP处理提高了一个台阶。
更重要的是，新的模型可能会减少像亚马逊Alexa、Google Assistant和百度Duer这样的语音助手交互延迟时间，这对于语音交互实际的发展有非常大的推动作用。
文章来源：Venturebeat、Nvidia
在智能驾驶飞速发展的时代，5.9GHz频段的C-V2X（蜂窝车联网）和5.8GHz频段的DSRC（专用短程通信）已成为车辆与环境交互的关键神经。然而，GHz频段内日趋复杂的电磁环境却为通信灵敏度与可靠性带来严峻挑战。传统噪声抑制元件在应对高频宽范围干扰时力不从心，高性能宽频噪声解决方案成为行业急需突破的技术瓶颈。村田制作所（Murata）以其深厚的材料技术积淀和创新设计，适时推出了革命性的片状铁氧体磁珠——BLM15VM系列，直击高频车联网通信的核心痛点。
据彭博社6月20日报道，微软计划于今年7月启动大规模组织结构调整，预计裁员数千人，主要集中在全球销售与客户服务部门。此举引发行业对科技巨头战略重心迁移的高度关注，尤其引人瞩目的是其裁员节省的资金流向——微软官方确认将在新财年向人工智能基础设施领域投入约800亿美元。
在AI服务器爆发式增长、新能源系统复杂度飙升的产业背景下，传统控制芯片正面临三重挑战：碳化硅/氮化镓器件的高频开关控制需求、功能安全标准升级、以及机器学习边缘部署的实时性要求。Microchip最新推出的dsPIC33AK512MPS512与dsPIC33AK512MC510数字信号控制器（DSC），通过78ps PWM分辨率与40Msps ADC采样率的核心突破，为高精度实时控制树立了新基准。
根据权威机构IDC最新发布的《全球智能家居设备季度追踪报告》，2025年第一季度全球智能扫地机器人市场迎来强劲开局，总交付量达到509.6万台，较去年同期增长11.9%，连续第二个季度实现超过20%的增长率。市场活力显著提升，展现出强劲复苏势头。
随着ADAS渗透率突破50%（据Yole 2023数据），车载传感器供电与数据传输架构面临革命性变革。传统双线分立设计（电源线+信号线）导致线束占整车重量超3%，且故障率居高不下。TDK株式会社推出的ADL8030VA系列PoC专用电感器，通过单元件高集成方案重构滤波电路，为智能驾驶系统提供空间与可靠性双重优化路径。
