GlowLED的后花园https://blog.glowled.top/algolia.jsonRecent content from GlowLED的后花园Hugozh-CNzpeiyu11@gamil.com (GlowLED)zpeiyu11@gamil.com (GlowLED)本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！Tue, 03 Feb 2026 15:12:14 +0800策略梯度定理https://blog.glowled.top/post/policy-gradient/Tue, 03 Feb 2026 15:12:14 +0800zpeiyu11@gamil.com (GlowLED)https://blog.glowled.top/post/policy-gradient/ 策略梯度定理

作者：GlowLED（zpeiyu11@gamil.com）

Policy-Based算法

Value-Based算法试图学习$Q$函数, 通过评估每个动作得到回报的期望来获得一个理性的策略$\pi$. Policy-Based则直接学习策略$\pi$.

因此, 我们先要显式定义$\pi$, 将其参数化为$\pi_\theta$. $\pi_\theta(s)$是一个分布$\mathbb{P}(\cdot|s; \theta)$. 而优化$\theta$可以使用梯度上升法. 即策略梯度方法.

策略梯度方法

首先我们需要设计一个用于梯度上升的目标函数$ J(\theta) $. 直觉上来说, 我们希望策略获得的奖励期望最大, 即:

$$ \begin{align*} J(\theta) = \mathbb{E}_\tau[R(\tau)] \tag{1} \end{align*} $$

$ \tau $即轨迹(trajectory), 该式即对所有可能的轨迹, 求奖励的期望. 这个式子虽然没写$\theta$, 但是其实和$\theta$有关. 因为:

$$ \begin{align*} \mathbb{E_\tau}[R(t)] = \sum_\tau P(\tau ; \theta)R(\tau) \tag{2} \end{align*} $$

$\theta $可以影响轨迹$ \tau $的分布. 因此来影响期望. 接下来, 我们对目标函数求梯度:

$$ \begin{align*} \nabla_\theta J(\theta) &= \nabla_\theta \sum_\tau P(\tau ; \theta)R(\tau) \tag{3.a}\\ &= \sum_\tau R(\tau) \nabla_\theta P(\tau ; \theta) \tag{3.b} \end{align*} $$

如果我们可以通过计算机计算或者估计这个梯度值, 我们就可以更新我们的策略参数.

本文2026-02-03首发于GlowLED的后花园，最后修改于2026-02-03

]]>强化学习随笔Deep Q Network (DQN)笔记https://blog.glowled.top/post/deep-q-network/Thu, 29 Jan 2026 17:10:14 +0800zpeiyu11@gamil.com (GlowLED)https://blog.glowled.top/post/deep-q-network/ Deep Q Network (DQN)笔记

作者：GlowLED（zpeiyu11@gamil.com）

基本方法

Deep Q Network的核心思想是使用神经网络表示:

$$ Q_\pi(s_t, a_t) = Net_\theta(s_t, a_t) $$

其中, 不同的参数$ \theta $就对应了不同的$ \pi $. 策略$ \pi $被隐式表达了. 假设我们使得网络学习到了最好的参数$ \theta^* $. 则它应该满足:

$$ Q^*(s_t, a_t) = Net_{\theta^*}(s_t, a_t) $$

$ Q^* $是Optimal Action-Value Function, 最优行动价值函数, 它的值绝对是正确的, 即它的值一定是回报的期望.

对于Agent来说, 它采取动作的方法是:

$$ a^* = \mathop{\arg\max}\limits_{a}\ Net_{\theta^*}(s_t, a) $$

一般来说, 神经网络的实现是同时输出所有动作的$ Q $值:

$$ Net_\theta(s_t) = \begin{bmatrix} Q_\pi(s_t, a_1) \\ Q_\pi(s_t, a_2) \\ Q_\pi(s_t, a_3) \\ \vdots \\ Q_\pi(s_t, a_n) \end{bmatrix} $$

这样效率更高, 也方便更泛化地学习.

本文2026-01-29首发于GlowLED的后花园，最后修改于2026-01-29

]]>深度学习强化学习随笔强化学习基础-粗略过一遍https://blog.glowled.top/post/reinforcement-learning-base-quickpass/Wed, 28 Jan 2026 14:42:14 +0800zpeiyu11@gamil.com (GlowLED)https://blog.glowled.top/post/reinforcement-learning-base-quickpass/ 强化学习基础-粗略过一遍

作者：GlowLED（zpeiyu11@gamil.com）

基本概念

场景描述

  • Environment: 环境. 是一个外部系统, 智能体处于这个系统中，能够感知到这个系统并且能够基于感知到的状态做出一定的行动。

  • state/observation: 状态/观测. 状态反映了世界的全部信息, 观测是状态的子集.

  • agent: 智能体. 做出决策的个体.

  • action: 动作. 不同的环境允许不同种类的动作，在给定的环境中，有效动作的集合经常被称为动作空间(action space)，包括离散动作空间(discrete action spaces)和连续动作空间(continuous action spaces).

  • reward: 奖励. 是由环境给的一个标量的反馈信号(scalar feedback signal).

强化学习设想中, agent在environment中行动, 在某时刻获取observation, 采取action并促使environment做出改变. 在某些时刻可以获取reward. 强化学习的目标是使得reward总和最大化.

公理化

动作使用$ a $表示, 状态(观测)使用$ s $表示, 时刻使用$ t $表示.

  1. Policy: 策略. 用于决定下一步做出什么行动.

    如果是确定性的, 一般用$ \mu $表示:

$$ a_t=\mu(s_t) $$

​ 如果是随机性的, 一般用$ \pi $表示:

$$ a_t \sim \pi(\cdot|s_t) $$
  1. State Transition: 状态转移. 可以是确定的也可以是随机的. 一般认为是随机的. 可以用状态密度函数来表示:
$$ p(s'|s, a) = \mathbb{P}(S'=s'|S=s, A=a) $$

  1. Return: 回报. 又称cumulated future reward, 一般表示为$ U $, 定义为:

    本文2026-01-28首发于GlowLED的后花园，最后修改于2026-01-28

    ]]>强化学习深度学习体渲染-随笔https://blog.glowled.top/post/volume-rendering/Tue, 27 Jan 2026 19:09:14 +0800zpeiyu11@gamil.com (GlowLED)https://blog.glowled.top/post/volume-rendering/ 体渲染-随笔

    作者：GlowLED（zpeiyu11@gamil.com）

    本篇是随笔, 虽然写了很久, 但是乱写

    写了我好久, 感觉高数都还回去了.

    寒假是真的无聊…在22: 27看高数的绝望…

    引入

    体渲染是一种渲染模型, 也可以认为是一种渲染思路. 在Mesh的渲染中, 我们认为场景其实是面片+材质, 而体渲染认为物体应当是个有体积的东西. 光穿过物体, 在这个过程中不断与物体发生作用, 最后得到结果.

    体渲染的引入, 一开始是为了解决云, 烟雾这类物体的渲染. 可以认为, 面片渲染只考虑了光与物体表面的作用, 没有考虑光在物体内部的行为. 这在大部分物体上可能没有什么问题, 例如玻璃与金属, 几乎所有光学行为都发生在表面. 但是当问题复杂一些: 我想要体现水中的丁达尔效应, 我想要渲染逼真的云雾, 面片模型就难以胜任. 一种解决方法是将丁达尔效应建模成简单的射线, 再套用一个衰减函数. 但有时候云雾并不完全是这样的, 光也会在内部散射, 甚至粒子有自发光, 云雾并不均匀. 于是, 我们不如考虑光在场景中的整个行进过程, 而不是只考虑表面这种割裂情形. 这就是体渲染(Volume Rendering).

    体渲染的计算

    体渲染的基本计算方法就是体渲染积分, 最简单的Ray-casting方法, 思路是从摄像头向屏幕上每个像素生成一条射线, 沿射线积分辐射值, 得到最终的辐射值(RGB).

    具体来说, 假如某个射线由一个参数$ t $来表达$ \bold{r}(t) $, $ \bold{r}(t) $是一个三维坐标. 射线方向用$ \bold{d} $表示, $ \bold{d} $是三维的笛卡尔单位向量, 或者是二维的球坐标向量. 物体实际上由两个函数表示, 第一个是辐射值函数$ \bold{C}(\bold{r}(t), \bold{d}) $, 值为一个辐射值(RGB), 表示体在$ \bold{r}(t) $处以$ \bold{d} $方向观察时的"发光"值, 用于累积最终辐射值. 例如一个被一束光穿过的云雾, 如果观察射线垂直于这束光, 则我们应该可以看到$ \bold{C} $在光束经过的附近的值为这束光的颜色. 我想表达的是, 在这个模型中, 场景中光源对体的影响, 已经考虑在$ \bold{C} $中了. 如果想要拆分出来, 需要从物理的手段, 对体渲染积分方程进行扩展. 第二个是密度函数$ \sigma(\bold{r}(t)) $, 其值为体在$ \bold{r}(t) $处的密度, 并且我们认为与观察方向无关. 密度的作用是计算光的遮挡: 你在$ \bold{r}(t) $处观察到的辐射, 会被视线上之前所有的体遮挡, 而密度就是各处的"遮挡强度", 甚至可以把$ \sigma(\bold{r}(t)) $理解成"单位长度削弱辐射值的比例". 例如, 我们可以认为不透明物体的内部密度非常大, 使得只有表面的辐射值能被累积到像素, 即表现成物体表面的颜色. 而透明物体的内部密度很小, 几乎不阻挡后面的辐射.

    本文2026-01-27首发于GlowLED的后花园，最后修改于2026-01-27

    ]]>    随笔    可微渲染-随笔https://blog.glowled.top/post/differentiable-rendering/Mon, 26 Jan 2026 19:09:14 +0800zpeiyu11@gamil.com (GlowLED)https://blog.glowled.top/post/differentiable-rendering/ 可微渲染-随笔

    作者：GlowLED（zpeiyu11@gamil.com）

    本篇是随笔, 也就是随便写写一些想法, 这些想法内容不足以成文, 因此也并不考究.

    我之前只接触过传统CG, 不如说传统CG都没怎么学明白. 实际上基本只学了Path Tracing, 确实是简单又出效果, 但是这导致我图形学数学基础非常烂. 最近由于要研究3DGS, 一大堆术语都是听过但是不理解. 比如球谐函数, 可微渲染种种. 我觉得不写出来就学得不踏实……

    所以会更一些图形学相关的下饭小文章, 纯粹是自己的输出, 没有太在乎可读性. 不过我是比较难接受抽象想法的人, 只有把事情想得直观一些才能理解。所以应该(?)会比较简单.

    试想一下我们的计算机图形学渲染过程是啥样的:

    $$ 场景参数 + 算法 \rightarrow 图像 $$

    嗯, 算法好理解, 也就是我们整的那些渲染管线, 一般来说就是些坐标变换, 最后有个光栅化操作.

    场景参数是啥? 实际上就是你对场景的控制, 一些可设定的值. 例如, 当场景中只能有一个长方体时, 你的场景参数或许就是长方体顶点坐标, 长方体旋转角度……总之, 这些参数唯一确定了场景中的一个长方体. 如果这个长方体表面还有材质, 材质也有一些参数, 例如金属度, 折射率等. 这些东西整个加在一起, 就是场景参数. 也就是在所讨论的渲染过程中, 你能够修改的场景部分.

    任务: 你现在有一个场景$S$, 其参数空间为$P=\{p_i\}$. 某个参数下的场景用$S(p_i)$表示. 你经过一个渲染算法$f$, 得到了一个图像$G$. 显然, $G=f(S(p_i))$. 你现在有1张(可以多张, 但这里简化问题为1张)图片$G'$. 请你在$P$中给出参数$p$, 使得$G = f(S(p)) = G'$.

    也就是说, 你现在知道渲染算法, 也知道渲染结果, 需要得到场景参数. 也就是根据图片反推场景实际是怎样的. 如果是你的话, 你会怎么办?

    本文2026-01-26首发于GlowLED的后花园，最后修改于2026-01-26

    ]]>    随笔    GQA分组查询注意力学习笔记与代码实现https://blog.glowled.top/post/gqa-group-query-attention-notes-and-implementation/Sat, 05 Jul 2025 10:18:57 +0800zpeiyu11@gamil.com (GlowLED)https://blog.glowled.top/post/gqa-group-query-attention-notes-and-implementation/ GQA分组查询注意力学习笔记与代码实现

    作者：GlowLED（zpeiyu11@gamil.com）

    上一篇文章搞定了RoPE，接下来该实现llama中使用的另外一个关键技术：Group Query Attention，分组查询注意力机制。 相比RoPE，个人觉得这个好理解一些，不过代码实现上难度大一些。当然了，我还是给它实现出来了。不过有关解码的部分，GQA的kv cache与原来的MHA不太一样，目前我的项目还没做到解码的部分，等我的SimpleLLM项目实现到这一部分应该会在后面加上，或者专门写一篇文章讲讲解码的全过程实现，里面会包含这几种注意力机制（还有MQA）的解码。

    手搓LLM架构与训练过程：SimpleLLM

    在讲解GQA之前，我们先讲讲最开始的MHA（Multi Head Attention，多头注意力机制），与改进后的MQA（Multi Query Attention，多查询注意力机制）。

    MHA与MQA

    先讲MHA，多头注意力机制，这是在transformer中最开始的注意力机制，相信大家也比较熟悉。

    我们现在有这么一个序列：

    $$ Sequence=\{token_i\}_{i=1}^N $$

    经过embedding之后，得到的词嵌入序列：

    $$ X=\{x_i\}_{i=1}^N $$

    在多头的其中一个头内部的注意力机制中，每个$x_i$都要进行三次投影，分别得到$q_i$, $k_i$, $v_i$，相当于是一套q，k，v。有多少头，就是说的一个token对应的向量会被生成几套q，k，v。

    GQA论文里的图

    图中表示的是一个token对应的向量，在经过q，k，v的生成后，一共生成了8套q，k，v，那么q的数量应该与k和v的数量相等。

    当进行注意力计算时，每个头各算各的，因为都有独立的q，k，v。任意一个头，例如第一个头$head_0$，会拿自己的q，和同样是$head_0$生成出来的所有token对应的k进行相似度计算，再算出attn weights，对同一个头的v进行加权求和得到结果。每个头都做这个操作，最后将每个头的结果concatenate起来，就是这一层多头注意力的输出结果。

    Attention is All You Need中提到，多头的灵感来源于CNN的不同通道提取不同的特征，于是也想在注意力机制中引入类似的东西：不同的头进行的操作相同且互不干扰，提取同一个数据中的不同特征。

    接下来我们来讲讲MQA，多查询注意力机制。

    MHA固然很好，但是它的复杂度还是太大了，每个token都要与其它token作用，便是$O(n^2)$.每次训练时注意力机制的开销都很大。并且，运营成本中比较关键的推理时性能，MHA也很不好。推理时有个东西叫做kv cache，就是保存已经计算过的token的k与v。MHA中每个token都要有num heads个k与v，这样随着序列的增长，kv cache的内存占用会迅速变大，面对长上下文的追求，这种缺点必须被克服或缓解。除了减少num heads或者d model，这里有个比较激进的方法，就是MQA。

    GQA论文里的图

    MQA中，一个token只会生成一套k，v，但是依旧会生成num heads个q，但是这num heads个头的计算中，是共享k与v的，也就是强制每个头中的k与v都是相同的值。例如说，一个token对应的向量$x_i$，生成一个$k$与一个$v$, 以及num heads个$q$.在计算时，第一个head,会拿$q_0$与所有的k进行相似度计算；第二个头中，会拿$q_1$与所有的k进行相似度计算；……不过，这里的k都是同一套，只有不同token之间才有区别，同一个token的k在不同的头中都是相同的值。v也同理。

    MQA使得无论你num heads是多少，都只影响q的数量。不影响k与v的数量。那这样进行解码（推理）时，每个token只需要保存一套kv cache就可以了，在大部分模型的num heads都是几十的时候，这就降低了几十倍kv cache的内存占用。同样的，在训练时，由于参数大量共享，实际只有一套，参数本身内存占用与运行时内存占用也小很多（注意，实际上计算量是没有什么变化）。而这种张量变小的优势不仅仅是内存占用小，还有带宽占用小，能更快地把张量从内存加载到缓存，进行计算上的加速。

    那么，代价呢？

    从直觉上看，这种方式必然损失性能，不管怎么说，只有一套kv，表示能力肯定会下降不少。这一点我们在后面的图表中可以看出来。

    于是，很自然地，我们想要在两种方案中折中，想要一种没那么极端的解决方案，甚至还能通过一些超参数来进行调节，更好地对齐我们实际需求。这就有了GQA，分组查询注意力机制。

    GQA，分组查询注意力机制

    GQA论文中的图

    直接看图。这张图还是很显然的：既然一套kv太拉跨，那么我们就多整几套，但是还是比num heads要小。从直觉上来说，这么做相比MQA提升了性能，相比MHA降低了开销，达成了一种中间状态。

    在有多套kv的情况下，就不是所有头都共享kv了，而是要将所有头进行分组（其实原来的说法是对q进行分组，不过也没差啦~）。这里有4套kv，自然要分成4组，每组2个头，组内的头kv的值相同。例如说，第一个头$head_0$与第二个$head_1$同组，那么它们在进行注意力计算时，$q_i^0$与$q_i^1$要进行操作的k与v是相同的(这里i的意思是第i个位置的token对应的q)；而第三个头$head_2$与第四个头$head_3$同组，那么它们在进行注意力计算时，$q_i^2$与$q_i^3$要进行操作的k与v是相同的。以此类推。

    接下来我们看看GQA的优势：

    GQA论文里的图

    这张图里面的MHA-Large，就是比MHA-XXL更小的MHA，用于证明在差不多的开销减少的情况下，MQA和GQA的性能强于单纯减少num heads或者d model等粗暴方法。

    横轴是每个样本所花时间，也就是时间开销，纵轴是performance。可以看到GQA的性能仅仅比MHA弱了一点，而时间开销上却远远小于MHA，同时也只比MQA大一点点。当然了，也有可能是研究人员用的硬件带宽他们自己知道，故意卡了一下那个传输瓶颈，毕竟总计算量大家都差不多，比的基本就是传输开销。

    代码实现

    原本想参考这个项目与这篇知乎文章.但是这个里面竟然是我最讨厌在成品里面使用的einops。这种需要字符串解析而且通用性过强的东西我怎么看怎么觉得效率不行。咱也不是说要性能压榨得多厉害，不然我会去搓c/cuda，但是我还是有点难以接受这种。

    本文2025-07-05首发于GlowLED的后花园，最后修改于2025-07-05

    ]]>    深度学习    RoPE旋转位置编码学习笔记与代码实现https://blog.glowled.top/post/rope-positional-encoding-notes-and-implementation/Wed, 02 Jul 2025 13:22:54 +0800zpeiyu11@gamil.com (GlowLED)https://blog.glowled.top/post/rope-positional-encoding-notes-and-implementation/ RoPE旋转位置编码学习笔记与代码实现

    作者：GlowLED（zpeiyu11@gamil.com）

    最近想写点torch，就打算手搓个llm预训练，于是就去拿llama3开刀。尝试去实现久闻大名的RoPE（旋转位置编码）的时候，搜到了这篇文章，然后就直接开看。奈何本人数学水平实在太差，横竖看不进去，总是不太能理解。于是就干脆对着公式写代码，经过一段痛苦的时间后，勉强挤出几十行代码，才算是对RoPE有了一些不严谨的理解。

    最近心血来潮整的手搓llm结构与训练过程：SimpleLLM (应该会摆掉，应该…)

    绝对位置编码的缺陷

    绝对位置编码是这么做的：

    $$ x'_m = f(x_m,m) $$

    是第m个位置的token进行词嵌入后得到的向量， 则是我们想要得到的，附加了位置信息的第m个位置的token对应的初始语义向量。原论文的绝对位置编码通过直接更改输入到模型内部的词嵌入向量的值，来实现附加位置信息。

    这种方法非常符合直觉，在输入进模型之前进行某种意义上的“标号”，来附加位置信息。只要每个位置附加的信息都是独一无二的，那么它就可以作为这个位置的唯一标识。散落无章的一堆纸，只要有了页码，就可以排成一本书。

    但是这个方法也有问题。至于是什么问题呢？本人对此有一些不成熟的思考：

    我们先从llama3的训练中的一个细节出发：Attention is All You Need这篇论文中模型的训练，与BERT的训练，从它们的数据集中拿出某一个sample，那大概率是填不满上下文长度的，于是需要对上下文进行padding来达成固定长度。假设上下文长度为16K，甲sample的序列长度为1K，乙sample的序列长度为8K，两者都填充到了16K，开销上来看是差不多的，因为数据的规模一样大，都是一样计算（猜测可能内部有一些优化，但是不会差太多），但是从直觉上来说，应该是乙sample包含的有效信息更多，更加利于模型优化。

    于是，很自然的，当模型上下文长度比较大，没多少sample能填满时，一个输入的序列应该由多个sample拼接而成，凑成一个比较接近上下文长度的序列，充分利用算力。当然了，为了防止某一个sample中的token进行注意力计算时，去查询了其它sample的token，mask也要进行一些改造。不过本篇文章的重点不是这个。

    在这种情况下，我们其实希望位置编码的信息要有某种“等价性”：无论其中一个sample在哪个位置，位置编码信息应该不影响位置的表达。一个sample在拼接过程中被排在第一个，中间的位置，还是最后的位置，位置编码信息都应该具有某种共通的性质，因为这句话无论排在哪都是同一句话，位置编码出的向量都应该包含相同的信息。

    这种特征的“空间平移不变性”，让人联想到CNN对于特征位置的不敏感。原因是CNN天生擅长捕捉像素相对位置的信息，毕竟本身结构的设计就是为了考虑相对位置。

    所以要实现这种对于空间的绝对位置不敏感，无论在序列中的哪个位置都能表达相同的模式的编码方式，考虑相对位置信息很重要。

    这么来看，原来的绝对位置编码的方式其实就有点不太合适了。为什么呢？我们观察一下原来绝对位置编码使用的Sinusoidal 函数：

    $$ p_{i,2t}=\sin(k/10000^{2t/d}) \\ p_{i,2t+1}=\cos(k/10000^{2t/d}) $$

    网上随便找的图

    可以看到，Sinusoidal 函数基本不强调“相对位置信息”，不同的位置，甚至连变化的feature都不是同一个，例如，在position大约为0-5时，相邻位置编码信息在大于40的feature上几乎无变化。而当position增大后，feature较大的位置也发生了变化。位置之间的差距甚至都不是同一个feature，都不是一个方面的比较。

    绝对位置编码错开了不同位置间差距的feature的位置，虽然充分利用了语义向量中的每个feature，但是也基本毁灭了相对位置信息的一致性。这使得同一个sample被拼接到开头，中间与结尾的位置信息都不太一样，模型需要花费额外的参数来去学习这种没有规律的不同。仿佛就是同样一句话只是因为开头被放在了不同位置，token之间的位置关系就变了。

    现在我们放远视角，我们不仅关心llama3训练这种一输入多样本的情况。考虑大多数文章。同样一句话在文章的开头与结尾虽然有不同的绝对位置信息，但也应该具有相同的相对位置信息，而不是相对位置信息有很大差别。

    为了解决这个问题，我们人为地设计一种可以在绝对位置信息的基础上表达相对位置信息的规律，这样模型能很容易地学习到这个规律。这就有了RoPE。而RoPE选择的规律是角度。

    RoPE，旋转位置编码

    与绝对位置编码不同，RoPE是在q，k，v生成之后，对q与k做手脚，来附加位置信息。附加完后，q，k再正常计算attn score，然后对v进行加权和（attention的正常流程）。

    本人数学水平堪忧，中间过程怕讲错，所以这里直接看结果的几个式子：

    $$ f_{q, k}(x_m, m) = R^{d}_{\Theta, m}W_{q,k}x_m $$

    上面这个式子就是我们想要的这样一个编码函数的表达式：它接受输入 (第m个token进行词嵌入后得到的向量)，以及位置m，输出编码后的向量 .这就是我们的目标，很简单纯粹。

    右侧该函数的形式是 与两个矩阵相乘（分别是$W_{q,k}$与$R^d_{\Theta,m}$，这里W下标既有q又有k的意思其实是，当想编码的是q时，使用Wq，当想编码的是k时，使用Wk.

    所以编码函数也能这么写：

    $$ f_q(q_m,m)=R^d_{\Theta,m}q_m\\ f_k(k_m,m)=R^d_{\Theta,m}k_m $$

    其实就是把q与k分别乘以同一个编码矩阵 .

    然后我们来看看这个编码矩阵：

    $$ R^d_{\Theta,m} = \begin{pmatrix} \cos m\theta_0 & -\sin m\theta_0 & 0 & 0 & \cdots & 0 & 0 \\ \sin m\theta_0 & \cos m\theta_0 & 0 & 0 & \cdots & 0 & 0 \\ 0 & 0 & \cos m\theta_1 & -\sin m\theta_1 & \cdots & 0 & 0 \\ 0 & 0 & \sin m\theta_1 & \cos m\theta_1 & \cdots & 0 & 0 \\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & 0 & 0 & ... & \cos m\theta_{d/2-1} & -\sin m\theta_{d/2-1} \\ 0 & 0 & 0 & 0 & ... & \sin m\theta_{d/2-1} & \cos m\theta_{d/2-1} \end{pmatrix} $$

    看着有点复杂，但是我们先拿出来第一部分：

    本文2025-07-02首发于GlowLED的后花园，最后修改于2025-07-02

    ]]>    深度学习