把大Batch拆开后如何保证梯度等效

前言

大 Batch 放不进显存时,最常见的做法是拆成几个 micro-batch,分别 forward/backward,最后只执行一次 optimizer step。

听起来就是“多调几次 backward”,但如果 micro-batch 大小不同、每个样本有效 token 数不同,或者 loss 本身按 token 归一化,直接累加得到的梯度并不一定等于完整 Batch。

阅读更多

想想我的2025

这是一篇总结作者2025年所经历的大小事件及感悟的文章, 主要以时间为顺序阐述

2025.1.1 这是一个重要的日子, 我和女朋友官宣了, 不过由于我俩都是没朋友的类型, 估计不超过30个赞
12月份的某天晚上, 我在打bf5, 她突然就来找我表白了, 我觉得等到1.1再官宣更方便记住这个日子
不过我俩都觉得, 当时是对方主动追的

我觉得吧, 遇见她真的很幸运, 她真的是个很好的人. 刚认识的时候有点假小子, 对技术十分热情, 编程 电路分析 画板子 建模都在自己学, 当时的她还是十分geek的, 就是后面沉迷追星了说是

阅读更多

记一次vllm在5090上的安装

前言

直接最新的cuda 12.8 + vllm 0.12.0 + pytorch 2.9.0 跑不起来, 报错torch.AcceleratorError: CUDA error: the provided PTX was compiled with an unsupported toolchain.

降级vllm似乎无效, 寻求网上解决办法

阅读更多

刚体力学笔记

这章讲的是转动,就是绕某个轴的转动,质心的运动就可以被分解为绕无穷远轴的转动+绕质心的转动

角速度

力矩

阅读更多

Linux编译安装python312

跟着走就完了,简单的

不过网络问题没办法咯

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
#安装编译依赖
sudo yum update
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make

#安装ssl
mkdir ~/tmp && cd ~/tmp
wget https://www.openssl.org/source/openssl-1.1.1w.tar.gz
tar -zxvf openssl-1.1.1w.tar.gz
cd openssl-1.1.1w/
/config --prefix=/usr/local/openssl --openssldir=/usr/local/openssl
make && make install

#安装python
cd ~/tmp
wget https://www.python.org/ftp/python/3.12.10/Python-3.12.10.tar.xz
tar -xf Python-3.12.1.tar.xz
cd Python-3.12.1
./configure --with-openssl=/usr/local/openssl --prefix=/root/project/lee/Python-3.12.10
make
make install

#创建软链接
rm -rf /usr/bin/python3
rm -rf /usr/bin/pip3
sudo ln -s /root/project/lee/Python-3.12.10/bin/python3 /usr/bin/python3
sudo ln -s /root/project/lee/Python-3.12.10/bin/pip3 /usr/bin/pip3

#添加环境变量
echo "export PATH=/usr/bin/python3:/usr/bin/pip3:$PATH" >> ~/.bash_profile
source ~/.bash_profile

#测试
python3 --version

20230824

援引澎湃新闻

日本计划17天排放7800吨核污水,研究称或240天到达我国沿海

2023年8月22日,日本首相岸田文雄宣布,将从24日开始向海洋排放福岛第一核电站核污染水。

阅读更多

20230824

援引澎湃新闻

瓦格纳创始人普里戈任所乘飞机坠毁,俄媒:普京返回莫斯科_澎湃号·媒体_澎湃新闻-The Paper

当地时间23日,一架私人飞机在俄罗斯特维尔州坠毁,机上共载有10人,其中3人为机组人员。机上人员全部遇难,包括俄罗斯私营军事承包商瓦格纳集团创始人普里戈任和瓦格纳创始人之一、指挥官乌特金。

阅读更多

20230824

今天早上一起床就下雨,真特么晦气,好在去食堂还有早餐

第二节课雨下大,不过还挺开心,只要下午放学别下就好,捏妈妈的,出太阳了

借了hlt的卡吃饭,为什么每周都是最后一天缺钱,,,草

阅读更多