题目2634 · 机器学习
batch 平均损失的梯度 9
若一个 minibatch 的损失是平均形式 L = (1/B) sum_{i=1}^B L_i，请用单样本梯度推导 dL/dw。
打开 →找到 30 个结果
English questions题目2523 · 机器学习
logistic 负对数似然的梯度 3
对单个观测 (x,y)，其中 y in {0,1}，打分为 z = w^T x。其负对数似然关于 w 的梯度是什么？
打开 →题目2623 · 机器学习
一次动量更新的数值计算 15
设动量按 v_t = beta v_{t-1} + g_t 更新，其中 beta=0.9、前一时刻速度 v_{t-1}=0.5、当前梯度 g_t=2。v_t 是多少？
打开 →题目2626 · 机器学习
全局范数裁剪的数值计算 16
梯度向量 g=(6,8)，其范数为 10。若裁剪阈值是 5，裁剪后得到什么梯度？
打开 →题目2631 · 机器学习
共享参数的梯度会沿多条路径相加 7
某个参数 w 被两条分支共享使用，这两条分支对总损失的贡献分别是 L_1(w) 与 L_2(w)。那么 d(L_1+L_2)/dw 等于什么？
打开 →题目2624 · 机器学习
动量项展开成几何级数 3
若动量满足 v_t = beta v_{t-1} + g_t，请把 v_t 展开成 v_0 与过去梯度 g_1,...,g_t 的表达式。
打开 →题目2643 · 机器学习
向量参数上的裁剪加权重衰减计算 25
参数向量当前为 w_t=(3,4)。其梯度是 g=(6,8)，范数为 10。先做阈值为 5 的全局范数裁剪，再做学习率 eta=0.1、lambda=0.1 的解耦权重衰减更新。新的参数向量是多少？
打开 →题目2596 · 机器学习
平方损失下叶节点最优更新值 1
在平方误差的梯度提升里，某个终端区域 R 会被赋予一个常数更新 gamma。推导能使 sum_{i in R} (r_i-gamma)^2 最小的 gamma，其中 r_i 是当前残差。
打开 →题目2639 · 机器学习
恒定梯度下动量的稳态值 11
若 v_t = beta v_{t-1} + g，且梯度 g 为常数、|beta|<1，那么 v_t 会收敛到什么常数？
打开 →题目2621 · 机器学习
残差块的梯度公式 1
一个标量残差块输出 y = x + f(x)。推导 dy/dx。
打开 →题目2638 · 机器学习
残差路径梯度的数值计算 19
某个标量残差块满足 y=x+f(x)，其中 f(x)=3x^2。x=1 时的 dy/dx 是多少？
打开 →题目2636 · 机器学习
解耦权重衰减的数值计算 18
某个标量参数当前值为 w_t=2，梯度 g_t=0.5，学习率 eta=0.1，解耦权重衰减 lambda=0.05。w_{t+1} 是多少？
打开 →题目2625 · 机器学习
解耦权重衰减的更新公式 4
在解耦权重衰减下，给定学习率 eta、衰减系数 lambda、当前参数 w_t 和梯度 g_t，推导 w_{t+1}。
打开 →题目2642 · 机器学习
BatchNorm 运行均值更新公式 13
某个 BatchNorm 层按 mu_new = m mu_old + (1-m) mu_batch 更新运行均值。这个公式在操作上意味着什么？
打开 →题目2633 · 机器学习
LayerNorm 对整体平移的不变性 8
忽略可学习仿射参数时，为什么给一个向量的每个坐标都加上同一个常数 a，不会改变 LayerNorm 之后的激活？
打开 →题目2637 · 机器学习
ReLU 的局部导数 10
对于 ReLU(z)=max(0,z)，在 z>0 与 z<0 两种情况下，反向传播分别使用什么导数？
打开 →题目2608 · 机器学习
两次 shrinkage 更新后的残差 24
某个点当前的残差是 6。两轮 boosting 中，它所在区域的叶节点更新分别为 1.5 和 0.8，且两轮学习率都为 eta=0.2。两轮之后还剩多少残差？
打开 →题目2630 · 机器学习
为什么 BatchNorm 会在分布漂移下出问题 21
为什么一个训练时依赖 BatchNorm 表现很好的网络，在部署分布发生漂移后，推理时却可能表现异常？
打开 →题目2524 · 机器学习
为什么 logistic 回归没有闭式解 5
为什么 logistic 回归通常需要迭代优化，而不像 OLS 那样有正规方程式的闭式解？
打开 →题目2635 · 机器学习
为什么 warmup 对大 batch 训练有帮助 22
为什么在使用很大的 batch 训练时，学习率 warmup 往往会有帮助？
打开 →题目2434 · 机器学习
为什么严格真诚损失必须偏好真实概率 10
为什么概率分类损失最好是严格真诚的，而不只是“分类准确”？
打开 →题目2483 · 机器学习
为什么中心化不会改变斜率 13
为什么在带截距的一元 OLS 中，对 x 和 y 做中心化不会改变拟合斜率？
打开 →题目2477 · 机器学习
为什么中心化能简化 OLS 代数 7
为什么在带截距时，对特征和目标做中心化，常常能让 OLS 推导更干净？
打开 →题目2526 · 机器学习
为什么可分数据会把系数往外推 7
为什么在完全线性可分且不加正则的情况下，logistic 回归系数往往会发散？
打开 →题目2435 · 机器学习
为什么对数损失比 Brier 损失更惩罚过度自信
为什么当模型以接近确定性的方式押错类别时，对数损失会比 Brier 损失反应更猛烈？
打开 →题目2515 · 机器学习
为什么小 lambda 意味着弱正则 20
为什么很小的 lambda 会让正则化解贴近 OLS？
打开 →题目2410 · 机器学习
为什么正则化会抬高训练误差却降低测试误差
为什么正则化让训练集拟合变差、却改善样本外 MSE，这完全可能且合理？
打开 →题目2628 · 机器学习
为什么残差连接能帮助深网训练 20
为什么残差连接通常会让非常深的网络更容易优化？
打开 →题目3243 · 数学
乘积曲面的方向导数
设 $f(x,y)=xy$。求点 $(2,3)$ 处沿方向 $(0,1)$ 的方向导数。
打开 →题目3242 · 数学
二次碗函数的方向导数
设 $f(x,y)=2x^2+1y^2$。求点 $(1,-1)$ 处沿方向 $(3,4)$ 的方向导数。
打开 →