在AI领域的发展长河中，有一个看似不起眼但极其重要的技术环节——标准化层，它就像是烹饪过程中必不可少的调料，帮助神经网络保持稳定训练。然而，来自普林斯顿大学、纽约大学和卡内基梅隆大学的研究团队却在2024年12月发表了一项突破性研究，彻底改写了这一传 ...

在人工智能与金融系统的快速演变中，AI Dev 25的最近讨论突出了在金融领域构建可信AI的迫切需求。由DeepLearning.AI主办的活动邀请了DomynAI的Stefano Pasqualli，他深入探讨了构建透明且可审计AI系统的核心要素。这一对话于2025年11月24日举行，强调了此类系统如何提升 ...

2015年，深度学习领域迎来了一个里程碑式的突破——Batch Normalization（BN）技术。这项技术通过标准化每一层的输入，有效地解决了内部协变量偏移（Internal Covariate Shift） 问题，让深度神经网络的训练变得更加稳定和快速。几乎一夜之间，BN成了深度学习模型的 ...

根据DeepLearning.AI在2025年6月5日发布的社交媒体内容，Andrew Ng在最新一期的The Batch中提到AI Fund如何培养AI构建者，同时DeepSeek的新开源模型与顶级大语言模型（LLM）竞争，以及Duolingo利用AI将语言课程目录翻倍。这些AI领域的进展对加密货币市场，尤其是AI相关代币如 ...

何恺明又双叒叕发新作了，这次还是与图灵奖得主 Yann LeCun 合作。 这项研究的主题是没有归一化层的 Transformer（Transformers without Normalization），并已被 CVPR 2025 会议接收。 过去十年，归一化层已经巩固了其作为现代神经网络最基本组件之一的地位。这一切可以 ...

人工智能 (AI) 正在以前所未有的速度发展，大规模模型达到了新的智能和能力水平。从早期开始 神经网络当今先进的架构 GPT-4, 骆驼和其他 大型语言模型 (LLM)人工智能正在改变我们与技术的互动。这些模型可以处理大量数据、生成类似人类的文本、协助决策并 ...

说到Transformer，就不能不提它的好搭档——Layer Normalization（LayerNorm），简称LN。你可能要问，为啥Transformer要用LN而不是Batch Normalization（BN）呢？这背后可是有大学问的。 在聊“二选一”的问题前，我们先介绍下什么是Layer Normalization？什么是Batch Normalization?

本项目源于《动手学深度学习》，添加了一些自己的学习笔记，方便搜索查阅。正版GitHub地址：https://github.com/d2l-ai/d2l-zh 自 ...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 本文作者均来自北京航空航天 ...

本文作者均来自北京航空航天大学人工智能学院和复杂关键软件环境全国重点实验室黄雷副教授团队。一作倪云昊为研一学生 ...

归一化层是深度神经网络体系结构中的关键，在训练过程中确保各层的输入分布一致，这对于高效和稳定的学习至关重要。归一化技术的选择（Batch, Layer, GroupNormalization）会显著影响训练动态和最终的模型性能。每种技术的相对优势并不总是明确的，随着网络 ...