111qqz

caffe做部署是YYDS! blob layer net 激活函数 卷积 reshape slice loss function reduce eltwise argmax

最近在看 MIT 6.S191 Lecture 9 讲 Context Parallelism 的时候，碰到了一个词：Causal Attention。 我对 Self-Attention 的公式并不陌生——之前那篇已经把 QKV 和 routing score table 拆得比较清楚了。但 Causal Attention 这个概念我一直没有认真想过。回头看，我写 Attention 公式、写 Multi-Head、写 FlashAttention 的时候，脑子里跑的都是"所有 token 都能看到所有 token"的 Full Self-Attention。

起因 # 最近在过 MIT 6.S191 和分布式训练相关的材料，各种 Norm 反复出现。LayerNorm 在写 Transformer Block 那篇时已经接触过，BatchNorm 在做 CV 的那几年天天调，RMSNorm 在看 LLM 代码时到处都是。单独看每个都不算陌生。

上一篇写到，预测对价格方向，不等于交易能赚钱。主动成交要付执行成本，挂单等成交又可能筛出对自己不利的行情。 顺着这个问题往下想，我还有一个疑问：如果把手续费算进去，回测里也只让一部分挂单成交，是不是就离真实收益很近了？

之前写 order book 和价格形成那篇时，花了不少篇幅搞清楚 bid/ask、maker/taker、以及成交量和价格之间的关系。写完之后我觉得这些概念已经理顺了，但最近在看加密货币量化执行的材料时，碰到了一个更尖锐的问题：

前几天在电脑上登 ChatGPT，登录页面多了个"使用通行密钥（Passkey）“的选项。以前一直用邮箱加密码，看到这个就顺手点了一下，想试试传说中的免密登录。

最近在系统地补加密货币衍生品的知识。之前写过期权，那篇关注的是"方向对了也能亏钱"的多维度约束。这次想理清的是另一组概念：Basis Trade（基差交易）、永续合约（Perpetual Futures）和 Funding Rate（资金费率）。

一道我答错的题 # 最近做了一个 Modern C++ 水平测试，碰到这样一道题： 1#include <utility> 2 3struct Widget { 4 Widget() = default; 5 Widget(const Widget&) = delete; 6 Widget(Widget&&) = delete; 7}; 8 9Widget createA() { return Widget{}; } 10 11Widget createB() { 12 Widget w; 13 return w; 14} 15 16Widget createC() { 17 Widget w; 18 return std::move(w); 19} 问：在 C++17 下，哪些函数能通过编译？

起因 # 上一篇搞清楚了 Pipeline Parallelism 的调度机制：GPipe 先 Forward 后 Backward，1F1B 通过交替调度降低 Activation 暂存压力，但理想条件下 Bubble Time 相同。

起因 # 上一篇把 ZeRO 的三个 Stage 走了一遍之后，我以为关于参数分片这件事已经想得差不多了——ZeRO-3 / FSDP 把参数、梯度和 Optimizer States 全部分片存储到多张 GPU 上，单卡 Model States 从 112 GB 降到约 28 GB，问题解决。