发布时间：2022-12-12 阅读量：833 来源: 我爱方案网整理 发布人: Aurora
32位与16位格式的混合精度训练，正是当前深度学习的主流。最新的英伟达核弹GPU H100，刚刚添加上对8位浮点数格式FP8的支持。英伟达首席科学家Bill Dally现在又表示，他们还有一个“秘密武器”： 在IEEE计算机运算研讨会上，他介绍了一种实验性5nm芯片，可以混合使用8位与4位格式，并且在4位上得到近似8位的精度。
目前这种芯片还在开发中，主要用于深度学习推理所用的INT4和INT8格式，对于如何应用在训练中也在研究了。相关论文已发表在2022 IEEE Symposium on VLSI Technology上。
新的量化技术
降低数字格式而不造成重大精度损失，要归功于按矢量缩放量化（per-vector scaled quantization，VSQ）的技术。
具体来说，一个INT4数字只能精确表示从-8到7的16个整数。
其他数字都会四舍五入到这16个值上，中间产生的精度损失被称为量化噪声。
传统的量化方法给每个矩阵添加一个缩放因子来减少噪声，VSQ则在这基础之上给每个向量都添加缩放因子，进一步减少噪声。
关键之处在于，缩放因子的值要匹配在神经网络中实际需要表示的数字范围。
英伟达研究人员发现，每64个数字为一组赋予独立调整过的缩放因子可以最小化量化误差。
计算缩放因子的开销可以忽略不计，从INT8降为INT4则让能量效率增加了一倍。
Bill Dally认为，结合上INT4计算、VSQ技术和其他优化方法后，新型芯片可以达到Hopper架构每瓦运算速度的10倍。
还有哪些降低计算量的努力
除了英伟达之外，业界还有更多降低计算量的工作也在这次IEEE研讨会上亮相。
马德里康普顿斯大学的一组研究人员设计出基于Posits格式的处理器核心，与Float浮点数相比准确性提高了多达4个数量级。
Posits与Float相比，增加了一个可变长度的Regime区域，用来表示指数的指数。
对于0附近的较小数字只需要占用两个位，而这类数字正是在神经网络中大量使用的。
适用Posits格式的新硬件基于FPGA开发，研究人员发现可以用芯片的面积和功耗来提高精度，而不用增加计算时间。
ETH Zurich一个团队的研究基于RISC-V，他们把两次混合精度的积和熔加计算（fused multiply-add，FMA）放在一起平行计算。
这样可以防止两次计算之间的精度损失，还可以提高内存利用率。
FMA指的是d = a * b + c这样的操作，一般情况下输入中的a和b会使用较低精度，而c和输出的d使用较高精度。
研究人员模拟了新方法可以使计算时间减少几乎一半，同时输出精度有所提高，特别是对于大矢量的计算。
相应的硬件实现正在开发中。
巴塞罗那超算中心和英特尔团队的研究也和FMA相关，致力于神经网络训练可以完全使用BF16格式完成。
BF16格式已在DALL·E 2等大型网络训练中得到应用，不过还需要与更高精度的FP32结合，并且在两者之间来回转换。
这是因为神经网络训练中只有一部分计算不会因BF16而降低精度。
最新解决办法开发了一个扩展的格式BF16-N，将几个BF16数字组合起来表示一个数，可以在不显著牺牲精度的情况下更有效进行FMA计算
关键之处在于，FMA计算单元的面积只受尾数位影响。
比如FP32有23个尾数位，需要576个单位的面积，而BF16-2只需要192个，减少了2/3。
另外这项工作的论文题目也很有意思，BF16 is All You Need。
关于我爱方案网
我爱方案网是一个电子方案开发供应链平台，提供从找方案到研发采购的全链条服务。找方案，上我爱方案网!在方案超市找到合适的方案就可以直接买，没有找到就到快包定制开发。我爱方案网积累了一大批方案商和企业开发资源，能提供标准的模块和核心板以及定制开发服务，按要求交付PCBA、整机产品、软件或IoT系统。更多信息，敬请访问http://www.52solution.com
在全球半导体产业加速迭代的背景下，三星电子日前披露了其第六代10纳米级DRAM（1c DRAM）的产能规划方案。根据产业研究机构TechInsights于2023年8月22日发布的行业简报，这家韩国科技巨头正在同步推进华城厂区和平泽P4基地的设备升级工作，预计将于2023年第四季度形成规模化量产能力。这项技术的突破不仅标志着存储芯片制程进入新纪元，更将直接影响下一代高带宽存储器（HBM4）的市场格局。
全球领先的物联网设备制造商MOKO SMART近期推出基于Nordic Semiconductor新一代nRF54L15 SoC的L03蓝牙6.0信标，标志着低功耗蓝牙（BLE）定位技术进入高精度、长续航的新阶段。该方案集成蓝牙信道探测（Channel Sounding）、多协议兼容性与超低功耗设计，覆盖室内外复杂场景，定位误差率较传统方案降低60%以上，同时续航能力突破10年，为智慧城市、工业4.0等场景提供基础设施支持。
半导体行业风向标企业亚德诺（ADI）最新财报引发市场深度博弈。尽管公司第三财季营收预期上修至27.5亿美元，显著超出市场共识，但受关税政策驱动的汽车电子产品需求透支风险显露，致使股价单日重挫5%。这一背离现象揭示了当前半导体产业面临的复杂生态：在供应链重构与政策扰动交织下，短期业绩爆发与长期可持续增长之间的矛盾日益凸显。
根据国际权威市场研究机构Canalys于5月23日发布的调研报告，2025年第一季度全球可穿戴腕带设备市场呈现显著增长态势，总出货量达到4660万台，较去年同期增长13%。这一数据表明，消费者对健康监测、运动管理及智能互联设备的需求持续升温，行业竞争格局亦同步加速重构。
2025年5月23日，全球领先的半导体与电子元器件代理商贸泽电子（Mouser Electronics）宣布，正式开售Raspberry Pi新一代RP2350微控制器。作为RP2040的迭代升级产品，RP2350凭借双核异构架构（Arm Cortex-M33 + RISC-V）、硬件级安全防护及工业级性价比，重新定义了中高端嵌入式开发场景的技术边界。该芯片通过多架构动态切换、可编程I/O扩展及4MB片上存储等创新设计，解决了传统微控制器在实时响应能力、跨生态兼容性与安全成本矛盾上的核心痛点，为工业自动化、消费电子及边缘AI设备提供了更具竞争力的底层硬件方案。
