111qqz

caffe做部署是YYDS! blob layer net 激活函数 卷积 reshape slice loss function reduce eltwise argmax

最近一直在学美股的技术分析。前面接触了 Breakout + Retest、Double Bottom、Head & Shoulders 这些价格形态，发现每次想进一步分析趋势强度或转折信号时，MACD 都会冒出来——金叉、死叉、红绿柱、顶背离、底背离，这些词到处都是。

之前写量化交易系统那篇时提到过 execution 层——每笔 order 多大、对手盘的流动性够不够、是挂盘口还是主动吃价差。当时一笔带过，没有认真想 order book 这一层到底怎么运转。 最近第一次认真看市场微观结构（market microstructure）的一些材料，想搞清楚几个一直模模糊糊的问题。结果发现，不是模糊，是错的。

上一篇走完了从 Q-Learning 到 DQN 的过程。用神经网络近似 Q-Function，输出各动作的 Q 值，取 argmax 选动作。加上 Experience Replay 和 Target Network，DQN 在 Atari 游戏上工作得很好。 继续跟 MIT 6.S191 Lecture 5 往下走，课程在讲完 DQN 之后，介绍了一种完全不同的思路——不学 Q-Function，直接学 Policy。

上一篇结尾留了一个问题：如果不知道环境的转移概率和 Reward 函数，应该怎么利用 Bellman Equation 学习策略？ 那篇从 Policy Iteration 走到 Value Iteration，用 A/B 两状态的例子跑完了整个过程。最后得到了最优策略，A 选择前往 B，B 选择 \(b_1\)，\(V^*(A) = 2.7\)。

上一篇推完了 Bellman Equation。那篇最后写了一句：Bellman Equation 是一个递归关系，不是一种算法——Value Iteration 和 Policy Iteration 才是利用它求解的具体方法。 当时没有展开。这一篇接着走。

上一篇结尾用全期望公式把 \(V^\pi(s)\) 按"下一个 State"分组展开了。Markov Property 那篇讨论了为什么 Bellman Equation 需要 Markov Property 作为前提。 数学工具准备齐了，我打算正式跟一遍 Bellman Equation 的推导。

起因 # 上一篇讨论了 Markov Property，提到 Bellman Equation 需要它作为前提。 准备看 Bellman Equation 的推导时，我卡在了一个叫 Law of Total Expectation（全期望公式）的地方。它的核心思想是：计算整体期望时，可以先按某个变量的不同取值分组，分别算各组的条件期望，再按组别的概率加权平均。之前那篇定义的 State Value \(V^\pi(s) = \mathbb{E}_\pi[G_t \mid S_t = s]\)，在 Bellman Equation 里正是用这个思路按"下一个 State"分组来展开。

起因 # 继续跟着 MIT 6.S191 Lecture 5 学强化学习。上一篇理解了 Return、State Value Function \(V^\pi(s)\) 和 Action Value Function \(Q^\pi(s,a)\)。

前几天翻自己的 dotfiles，准备同步到新环境，结果越看越不对劲。.xprofile 里写着 xrandr --dpi 192，zsh 的 env 文件里还 export 着 GTK_IM_MODULE=fcitx，Sway 配置里甚至还有一段给 XWayland 应用单独设缩放比例的 workaround。