深度学习——Batchsize与学习率调整策略

一种常用的策略是按照线性缩放规则来调整学习率，即当BatchSize增加N倍时，学习率也增加N倍。另一种策略是保持权重的方差不变，此时学习率应该增加为原来的sqrt(N)倍。

William.csj

251人浏览 · 2024-07-11 10:34:48

William.csj  ·  2024-07-11 10:34:48 发布

一种常用的策略是按照线性缩放规则来调整学习率，即当BatchSize增加N倍时，学习率也增加N倍。
另一种策略是保持权重的方差不变，此时学习率应该增加为原来的sqrt(N)倍。

参考文章：

• 深度学习中的BatchSize选择与学习率调整策略

# 深度学习 # 学习 # 人工智能

AI 工具集合社区

加入社区

更多推荐

• · claude code 无法连接到 Anthropic 服务
• · 2025亚太杯中文赛数学建模B题【疾病的预测与大数据分析】思路详解
• · Pytorch深度学习框架实战教程01：简介

claude code 无法连接到 Anthropic 服务

在 Nano 编辑器中，按。键移动到文件最后一行（

AI 工具集合社区

2025亚太杯中文赛数学建模B题【疾病的预测与大数据分析】思路详解

AI 工具集合社区

Pytorch深度学习框架实战教程01：简介

AI 工具集合社区

欢迎加入社区

取消 确定