模块2.6.1 · 数学与统计能力 · 机器学习理论
监督学习基础
machine-learning · statistical-learning · supervised-learning · erm · loss-functions · bayes-optimal · bias-variance · generalization
打开 →找到 25 个结果
English questions课程监督学习基础 · 机器学习理论
偏差-方差分解与泛化
偏差 方差分解与泛化 Hook：周一的因子复盘 上海某私募的因子研究员周一收到了风控的复盘邮件。他原本用 6 个 Barra 风格因子在沪深300 成份股上做截面回归预测次日超额收益,样本内 公式,模型经理觉得「不够性感」。一周后他把因子从 6 个铺到 36 个——叠加了 28 个行业哑变量、过去 30 日动量分位、几个高频微观结构特征——样本内 公式 一跃...
打开 →题目4295 · 机器学习
L1 软阈值收缩 5
某个优化器使用 proximal L1 收缩步骤 sign(w)*max(|w| - tau, 0)。如果更新前的权重是 w = 0.7，tau = 0.2，那么收缩后的权重是多少？
打开 →题目4300 · 机器学习
L1 阈值加大后的输出 10
某个 proximal L1 步骤使用 sign(w)*max(|w| - tau, 0)。若更新前的权重是 0.6，当 tau 从 0.2 提高到 0.5 时，新的输出是多少？
打开 →题目4294 · 机器学习
max-norm 裁剪后的权重 4
某层的权重向量为 w = (3, 4)，其范数为 5。现在使用上限 c = 4 的 max-norm 正则，并在范数超标时按比例缩放。裁剪后保存的向量是什么？
打开 →题目4314 · 机器学习
信任 Early Stopping 之前
你的验证指标每天噪声都很大。在把第一个局部峰值当作停止点之前，应该先校准什么？
打开 →课程监督学习基础 · 机器学习理论
分类损失与 Logistic 回归
分类损失与 Logistic 回归 Hook：二元跑赢信号 上海某私募的因子研究员把上一节的 5 因子载荷在沪深300 全样本上重新拟过一遍,现在 PM 把问题反过来问:「不要预测下月超额收益率,直接给我一个『这只票下月跑赢沪深300 的概率』。」目标变量从连续的 公式 收缩成二值的 公式,这条信号要直接驱动一个多空叠加层(long/short overla...
打开 →题目4312 · 机器学习
加入增强之前
同事把激进的数据增强当作万能解。你在接受这个方案前，第一步应该检查什么？
打开 →题目4291 · 机器学习
反向 dropout 保留时的激活值 1
某个隐藏单元在 dropout 之前的激活值为 3.2。现在使用 keep probability 为 0.8 的 inverted dropout。如果这次训练中该单元被保留，那么 dropout 之后向前传递的值是多少？
打开 →题目4308 · 机器学习
噪声标签与过度自信
一个分类器准确率已经不错，但对边界样本过于频繁地给出 99% 的置信度，而且标签中被认为含有少量噪声。哪种正则化调整最能针对这个失效模式？
打开 →题目4310 · 机器学习
存在安全不变性
你在一个很小的图像式信号数据集上训练模型，已知轻微平移和镜像翻转天然保持标签不变。网络又很容易把训练集拟合得过好。哪种正则化手段应该优先提到最前面？
打开 →题目4313 · 机器学习
当 Weight Decay 开始伤害性能
随着 weight decay 增强，模型表现开始下降。你在下结论说“正则化不好”之前，应该先问关于信号结构的什么问题？
打开 →题目4311 · 机器学习
提高 Dropout 之前
在一次效果一般的训练后，你很想把 dropout 从 0.2 直接加到 0.6。动手前最先应该回答的诊断问题是什么？
打开 →题目4296 · 机器学习
权重衰减增强后的额外收缩 6
保持 eta = 0.1、梯度 g = 0.3、当前权重 w = 2.0 不变。若在解耦更新 w_new = (1 - eta*lambda)w - eta*g 中，把 lambda 从 0.05 提高到 0.10，那么相对于旧 lambda 情形，更新后权重会再下降多少？
打开 →题目4297 · 机器学习
标准 dropout 的期望激活变化 7
某个单元在标准 dropout 之前的激活值为 2.0，也就是说被丢弃时输出 0，被保留时输出仍为 2.0。如果 keep probability 从 0.8 降到 0.5，那么 dropout 后的期望激活会变成多少？
打开 →题目4298 · 机器学习
标签平滑加重后的真实类目标变化 8
一个 5 分类模型把 epsilon 均匀分配到全部类别上做标签平滑。如果 epsilon 从 0.1 提高到 0.3，那么真实类别对应的目标值会变化多少？
打开 →题目4292 · 机器学习
标签平滑目标向量 2
一个 4 分类器使用标签平滑，epsilon = 0.2，并且把 epsilon 均匀分配到全部 4 个类别上，包括真实类别。如果正确类别是第 3 类，训练时使用的平滑目标向量是什么？
打开 →题目4315 · 机器学习
正则不是孤立存在
在过参数化网络里，为什么脱离优化器和数据流程单独谈正则强度是错误的？
打开 →课程监督学习基础 · 机器学习理论
正则化与模型选择
正则化与模型选择 Hook：一次「翻牌」事件 你在上海一家私募基金负责沪深300 选股策略。上周你按第 3 课的做法，用普通最小二乘（ordinary least squares, OLS）把 5 个 Barra 风格因子——估值、质量、动量、规模、低波动——回归到下一期超额收益上，得到一组 公式。这周把估计窗口前移 5 个交易日重跑，价值因子载荷从 公式 ...
打开 →题目4306 · 机器学习
稀疏权重爆炸
一个宽 MLP 在 8k 条表格数据上把训练 AUC 拉到 0.99，但验证 AUC 卡在 0.76。特征语义又不支持标签保持的数据增强，而且最大的权重集中在稀疏 one-hot 输入上。你首先应该尝试哪种正则化控制？
打开 →课程监督学习基础 · 机器学习理论
线性回归作为监督学习的基线
线性回归作为监督学习的基线 Hook：周二早会的 OLS 提问 周二早会上，你向一家头部私募（private fund）的 PM 汇报上周的因子归因。你用沪深300 成份股过去 60 个交易日的横截面数据，对 5 个 Barra 风格因子——市值、估值、动量、质量、低波动——跑了一次普通最小二乘（ordinary least squares, OLS），这是...
打开 →课程监督学习基础 · 机器学习理论
统计学习框架：损失、风险与经验风险最小化
统计学习框架：损失、风险与经验风险最小化 开篇场景（Hook）：下月信号要不要照搬 上海一家私募的量化研究员把过去三年沪深300（CSI 300）成分股的月度超额收益（excess return）整理成一张表：每一行是一只股票在某月的 公式，公式 是当月末的因子向量（规模、价值、动量、低波），公式 是下月的超额收益。她准备在这张大约一万行的样本里挑一个预测器...
打开 →题目4293 · 机器学习
解耦权重衰减一步更新 3
某个参数当前取值 w = 2.0，梯度 g = 0.3。采用解耦权重衰减更新公式 w_new = (1 - eta*lambda) w - eta*g，其中 eta = 0.1、lambda = 0.05。一步更新后的参数是多少？
打开 →题目4309 · 机器学习
隐藏单元共适应
两层隐藏层会记住成对同时出现的信号。样本内指标很好，但只要样本外其中一个信号稍有偏移，性能就会崩。哪种控制最适合抑制这种共适应？
打开 →题目4307 · 机器学习
验证集见顶后下滑
训练损失在每个 epoch 都继续下降，但验证 Sharpe 在大约第 11 个 epoch 见顶后持续缓慢下滑。你既不打算改结构，也不改数据集。最合理的正则化动作是什么？
打开 →