Web Reference: 1222 27 苏剑林 新知答主 一个不负责任的回答： 旨在去掉Normalization的工作，这不是第一篇，肯定也不是最后一篇，早年尝试过一些做法，发现充分训练后至少效果上都不如带Normalization的模型，所以我现在本能地不相信或者说不看好任何去Normalization的工作。 LayerNorm 其实目前主流的 Normalization 有个通用的公式 其中， 为均值， 为归一化的分母，比如对 LayerNorm 来说他是标准差，对 WeightNorm 来说是 L2 范数。 和 为可学习的参数，可以让模型根据分布 scaling 和 shifting。 有的文献把 叫做 gain, 把 叫做 bias。 Normalization是一个统计学中的概念，我们可以叫它 归一化或者规范化，它并不是一个完全定义好的数学操作 (如加减乘除)。 它通过将数据进行偏移和尺度缩放调整，在数据预处理时是非常常见的操作，在网络的中间层如今也很频繁的被使用。 1. 线性归一化
YouTube Excerpt: Let's discuss batch
Net Worth Profile Overview
How Normalization Makes Deep Learning Net Worth 2026: Salary, Income & Wealth Net Worth & Biography
Estimated Worth: $89M - $132M
Salary & Income Sources
Career Highlights & Achievements
Assets, Properties & Investments
This section covers known assets, real estate holdings, luxury vehicles, and investment portfolios. Data is compiled from public records, financial disclosures, and verified media reports.
Last Updated: April 12, 2026
Net Worth Outlook & Future Earnings
Disclaimer: Disclaimer: Net Worth estimates are based on publicly available data, media reports, and financial analysis. Actual numbers may vary.