统计文件夹大小并排序
linux: 1du -sh * 2>/dev/null | sort -hr
Windows(cygwin/git...): 1du -sh * 2>NUL | sort -hr
注意这个sort要用git带的sort.exe而不是System32下面的sort
shell脚本注意事项
错误的重定向
错误的重定向： 1python train.py 2>&1 > output.log
这样会导致stdout被正确重定向到文件，但是stderr还在屏幕上。
应该先输出重定向再2>&1
set -euo pipefail
-e 出错就退出
-u 变量未定义就退出
-o pipefail 管道中有错就退出
linux awk命令
awk的命令格式是： 1awk [options] <script> [file]
遍历file中的每行，并执行<script>中指定的命令。不指定file时默认从stdin读取。
1awk -F ':' '{print $1}' /etc/passwd
这里-F ':'是options，指定字符串使用逗号切
多个显卡同时跑多个实验 - 脚本模板
12345678910111213141516171819202122232425# 所有可用显卡export CUDA_VISIBLE_DEVICES=$1# 转成了数组形式all_cuda_devices=($(echo $CUDA_VISIBLE_DEVICES | sed 's/,/ /g'))# 你要跑的任务（我这里以GLUE的几个任务为例）if (($# >
pytorch分布式训练 DDP torchrun介绍和基本使用
0. 概念界定
关于分布式训练/多卡训练，我们首先明确一些概念：
并行（parallel）
多个卡训练，所有卡是一个进程或者是多个进程
分布式（Distributed）
多个卡训练，但是每张卡上都是一个单独的进程
但是，在下文中，为了表述的方便性，我们不严格区分“并行”和“分布式”两个概念，不论说并行训练还是分布式训练，都指的是使用多个显卡进行训练。
1. 简介
并
tmux没有颜色 | linux PS1变量详解
最新办法
编辑~/.tmux.conf 1set -g default-terminal "screen-256color"
一键命令： 1echo set -g default-terminal \"screen-256color\" >> ~/.tmux.conf
以下原文
以ubuntu为例
编辑~/.bashrc
下面这段改一
vscode 调试配置文件launch.json的内建变量
这些变量用于vscode调试配置文件launch.json中。
转载自https://blog.csdn.net/weixin_39249524/article/details/105438814，本人做了部分小修正
更多详见：https://code.visualstudio.com/docs/editor/variables-reference
${workspaceFolder}
:
python装饰器
省流：直接看最后
从简单的例子开始，定义装饰器register，定义一个简单的类method，使用装饰器装饰类
123456789101112def register(*args, name=None): def warpper(method_cls): print('warpper cls') return method_cls p