第 78 / 209 页
非代码面试题
显示 20 / 4169 道匹配题目
答题状态：未尝试未正确已正确
ID题目领域难度题型进度权限
2628为什么残差连接能帮助深网训练 20为什么残差连接通常会让非常深的网络更容易优化？机器学习中等essay未尝试免费2629从零初始化展开 EMA 公式 6设 m t = beta m t-1 + (1-beta) x t，且 m 0=0。把 m t 展开成 x 1,...,x t 的显式加权和。机器学习中等derivation未尝试免费2630为什么 BatchNorm 会在分布漂移下出问题 21为什么一个训练时依赖 BatchNorm 表现很好的网络，在部署分布发生漂移后，推理时却可能表现异常？机器学习困难essay未尝试免费2631共享参数的梯度会沿多条路径相加 7某个参数 w 被两条分支共享使用，这两条分支对总损失的贡献分别是 L 1(w) 与 L 2(w)。那么 d(L 1+L 2)/dw 等于什么？机器学习简单derivation未尝试免费2632warmup 学习率的数值计算 17某个线性 warmup 会在 10 个 step 内把学习率从 0 拉到 0.001。warmup 的第 t=3 步使用的学习率是多少？机器学习简单数值题未尝试免费2633LayerNorm 对整体平移的不变性 8忽略可学习仿射参数时，为什么给一个向量的每个坐标都加上同一个常数 a，不会改变 LayerNorm 之后的激活？机器学习中等derivation未尝试免费2634batch 平均损失的梯度 9若一个 minibatch 的损失是平均形式 L = (1/B) sum i=1 B L i，请用单样本梯度推导 dL/dw。机器学习困难derivation未尝试免费2635为什么 warmup 对大 batch 训练有帮助 22为什么在使用很大的 batch 训练时，学习率 warmup 往往会有帮助？机器学习困难essay未尝试免费2636解耦权重衰减的数值计算 18某个标量参数当前值为 w t=2，梯度 g t=0.5，学习率 eta=0.1，解耦权重衰减 lambda=0.05。w t+1 是多少？机器学习简单数值题未尝试免费2637ReLU 的局部导数 10对于 ReLU(z)=max(0,z)，在 z>0 与 z<0 两种情况下，反向传播分别使用什么导数？机器学习中等derivation未尝试免费2638残差路径梯度的数值计算 19某个标量残差块满足 y=x+f(x)，其中 f(x)=3x 2。x=1 时的 dy/dx 是多少？机器学习中等数值题未尝试免费2639恒定梯度下动量的稳态值 11若 v t = beta v t-1 + g，且梯度 g 为常数、|beta|<1，那么 v t 会收敛到什么常数？机器学习困难derivation未尝试免费2640余弦衰减调度公式 12某个学习率在 T 个 step 内用余弦退火从 eta max 衰减到 eta min。请写出第 t 步的 eta t。机器学习困难derivation未尝试免费2641为什么裁剪能治爆炸却治不了消失 23为什么梯度裁剪是处理梯度爆炸的自然办法，却不是解决梯度消失的办法？机器学习简单essay未尝试免费2642BatchNorm 运行均值更新公式 13某个 BatchNorm 层按 mu new = m mu old + (1-m) mu batch 更新运行均值。这个公式在操作上意味着什么？机器学习简单derivation未尝试免费2643向量参数上的裁剪加权重衰减计算 25参数向量当前为 w t=(3,4)。其梯度是 g=(6,8)，范数为 10。先做阈值为 5 的全局范数裁剪，再做学习率 eta=0.1、lambda=0.1 的解耦权重衰减更新。新的参数向量是多少？机器学习中等数值题未尝试面试订阅2644为什么 LayerNorm 在序列与在线场景里更讨喜 24为什么在序列模型或在线推理场景里，人们常常更偏好 LayerNorm 而不是 BatchNorm？机器学习中等essay未尝试面试订阅2645为什么全局范数裁剪会保留方向 14为什么在触发裁剪时，全局范数裁剪只会改变梯度向量的大小，而不会改变它的方向？机器学习困难derivation未尝试面试订阅2646嵌套交叉验证中的模型拟合次数某团队使用 5 个外层折。在每个外层训练集内部，他们用 4 折 CV 评估 6 组超参数，随后再用整个外层训练集把选中的模型重拟合一次。总共会发生多少次模型拟合？机器学习简单数值题未尝试免费2647为什么重复实体数据更适合分组 CV为什么当每个实体会反复出现、模型还能识别实体特征时，按行做交叉验证并不合适？机器学习中等essay未尝试免费