欢迎来到我的博客！这里主要分享计算机图形学、机器学习和数学相关的内容。
email: wangjv0812@163.com
Neural ODE-2: Theoretical Derivation
符号 含义 $z(t)$ $t$ 时刻隐藏状态 $z(t_0)$ 初始状态 $z(t_1)$ 终止状态 $f(z(t), t, \theta)$ Neural ODE Network $\mathcal L[z(t)]$ 损失泛函 $a(...
Neural ODE-1: Calculus of Variations
符号 含义 $\mathbb {X, Y}$ 赋范线性空间 $u \in X$ 我们研究的算子的定义域 $F: u \in \mathbb X \to \mathbb Y$ 映射 $h \in \mathbb X$ Gâteaux 导数中...
Flash Attention: Fast and Memory-Efficient Exact Attention with IO-Awareness
1. Transformer 复杂度分析 1.1. 矩阵运算复杂度分析 Transformer 模型事实上是矩阵乘法的堆叠。让我们先从基础的向量乘法的复杂度分析开始，一步步扩展到对张量运算的复杂度有清晰的认识。 对于向量 $\mathbf{...
Lumine: Training an Agent to play Genshin
我的博客只是对字节的技术报告的拙略模仿。如果希望获得更准确的信息，请直接阅读论文原文Lumine: An Open Recipe for Building Generalist Agents in 3D Open Worlds 1. Int...
From Diffusion to Diffusion Language Model
对于现在的大模型，普遍使用自回归模型。对于一个长度为 $n$ 的文本，自回归模型将其分解为： $$ P(x_{1:n}) = \prod_{i=1}^n P(x_i \mid x_{...