softmax - numpy实现 image 123456def softmax(x): x -= np.max(x, axis= 1, keepdims=True) f_x = np.exp(x) / np.sum(np.exp(x), axis=1, keepdims=True) return f_x 第一步:减去最大值。 因为在求exp时,可能因为指数过大,出现溢出的情况。 而在 2022-07-31 AI
tokenize embeding word2wec...词表,词嵌入,分词...都是干什么的 在NLP任务中,输入的大多是一个句子,多个句子组成一个batch。模型本身不能直接处理文本,所以需要先把文本转化成数字。流程大多数是: 分词->构建词表->词嵌入 分词 分词是将一个句子拆分成一个个单词/短语,这些单词/短语称为token,分词被叫做tokenize。 tokenize的粒度有word/char/subword三个层级。 一个token并不一定是一个单 2022-07-29 AI
transformers tokenizers需要glibc2.29解决办法 用conda安装新版transformers后,啪,报了个错 1ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found (required by /data/jcdu/miniconda3/envs/main/lib/python3.7/site-packages/tokenizers/to 2022-07-28 AI
Minecraft(MC 我的世界) 1.18方块/物品ID对应表 查找方法:先在.minecraft\assets\index\1.18.json中查找minecraft/lang/zh_cn.json,然后根据hash在.minecraft\assets\objects里面找对应的文件。 比如这里是9fabbc798786c7b7364902b31bdb37c2c037e9b8,那么它就在9f文件夹中。找到后用文本编辑器打开,里面都是unicode编码,直接 2022-07-26 游戏 > Minecraft
ffmpeg精确分割音视频 参考:FFmpeg精准时间切割视频文件 - 知乎 视频+音频: 1ffmpeg -i <input_file> -ss <start_time> -t <duration> -c:a <audio_codec> -c:v <video_codec> <output_file> 仅音频: 1ffmpeg -y -i ac7 2022-07-26
Minecraft个人服务器常用插件(MC 我的世界) Paper/Spigot/Bukkit 以下插件无特殊说明仅需服务器安装 功能性插件 InteractionVisualizer 显示掉落物品消失时间的插件 此插件需要前置插件ProtocolLib 注意:此插件可能会对服务器造成较高的负担,如果卡顿建议去除 LuckPerms 权限插件,是各种需要权限的插件的不二之选。官网的Usage是个很好的入门教程。 T 2022-07-21
ssh端口转发 看了一些文章,实在是跟婆娘的裹脚,又臭又长,解释的倒是正确,但是那么长很容易吓退看文章的人,况且写的也不那么清晰,ABC来回都混淆了。 ssh总共有3种转发模式,分别是 -D: 动态端口转发,这玩意用来做socks proxy,此处不写。 -L:访问本地端口 == 远程端口 -R:访问远程端口 == 访问本地端口 本地指发起ssh请求的客户端,远程指接收ssh请求的服务器 2022-07-21 windows > linux > 工具使用
tmux发送到某个会话指定命令/按键 发送指定按键到tmux的特定会话: 1tmux send-keys [-t <session-name>] <key> key的取值参考tmux man手册: When specifying keys, most represent themselves (for example 'A' to 'Z'). Ctrl keys may be prefixed wit 2022-07-13 linux
pytorch transformers .... huggingface模型下载 transformers的预训练模型下载到本地特定位置,默认是在~/.cache/huggingface/transformers 1model = GPT2LMHeadModel.from_pretrained('gpt2', cache_dir="...") 想知道transformers的模型都是什么结构的,比如b 2022-05-19
torch.nn.CrossEntropyLoss 交叉熵损失,会自动给输出的logits做softmax,然后和真是标签计算交叉熵,然后再取相反数 https://zhuanlan.zhihu.com/p/383044774 CrossEntropyLoss(y_hat, y_truth) = -sum(y_truth_one_hot * log(softmax(y_hat))) 输入的y_hat是(n, C),n是样本数,C是类别数, 2022-05-17 AI