杂七杂八的工具使用

git
conda/pip
装 Cuda
Linux
ssh 免密登录

git

1: git 克隆指定分支

1	git clone -b <branchname> url

conda/pip

1: 报错

1
2
3

conda activate llava_xbd
usage: conda [-h] [--no-plugins] [-V] COMMAND ...
conda: error: argument COMMAND: invalid choice: 'activate'

解决方案:

1 2	cd anaconda/envs # 切换到 envs 路径下 source /home/wuzongqian/anaconda/etc/profile.d/conda.sh

然后就可以 conda activate 了.

或者在 .bashrc 中加入下面的内容：

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/home/wuzongqian/anaconda/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/home/wuzongqian/anaconda/etc/profile.d/conda.sh" ]; then
        . "/home/wuzongqian/anaconda/etc/profile.d/conda.sh"
    else
        export PATH="/home/wuzongqian/anaconda/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

其实本质是类似的。

2: pip list 来检查虚拟环境已经装好的包.

3: 切换清华镜像源: 按照 anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 操作即可.

基本操作参考这里.

为什么用清华镜像源还报错:
1
PackagesNotFoundError: The following packages are not available from current channels:
报错了运行下面
1
conda config --append channels conda-forge
把 conda-forge 加到 channel 中.

参考解决方案.

4: 批量安装依赖可用

1	conda install --file=requirements_conda.txt

requirements_conda.txt 里面写各种包的名字即可.

非必要不用 conda install,非必要不用 conda install,非必要不用 conda install!!! $非必要不用$ 用 pip install 不会影响其他环境, 请放心使用. pip 批量安装是：

1	pip install -r requirements.txt

5: conda 删除环境

1	conda remove -n llava_xbd --all

6: 查看已装环境

1	conda info --envs

7: pip 安装指定版本

1	pip install flash-attn==1.0.4

8: conda 创建环境；

1	conda create -n your_env_name python=x.x

装 Cuda

需要装的版本是

1 2	/home/kongfei/spack/share/spack/lmod/linux-ubuntu22.04-x86_64/Core ----- cuda/11.3.1 cuda/12.1.1 (L,D)

参考这篇文章还有这篇文章. 装用户级别的 cuda, 不需要管理员权限.

1: 输入 nvidia-smi, 有:

1	\| NVIDIA-SMI 535.154.05 Driver Version: 535.154.05 CUDA Version: 12.2 \|

去官网查看 Minimum Required Driver Version for CUDA Minor Version Compatibility 为 >=525.60.13.

2: 输入 uname -a, 输出:

1	Linux shi 6.5.0-14-generic #14~22.04.1-Ubuntu SMP PREEMPT_DYNAMIC Mon Nov 20 18:15:30 UTC 2 x86_64 x86_64 x86_64 GNU/Linux

3: 去下载页面点 download now, 然后按照上述信息操作即可(记得选择合适的 CUDA 版本), 最后 installer type 选择 runfile (local), 先放出现命令

1 2	wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run sudo sh cuda_12.1.0_530.30.02_linux.run

在服务器上运行第一条即可, 这里选择的是 cuda 12.1, 然后由于没有管理员权限, 进入刚刚安装所在的文件夹, 更改文件的执行权限:

1	chmod 755 cuda_12.1.0_530.30.02_linux.run

然后直接

1	sh cuda_12.1.0_530.30.02_linux.run

即可.

为什么我直接输入第二条也可以.

下面是安装界面.

这里填 accept, 然后

这里只安装 CUDA Toolkit, 移动到对应位置按 Enter 键取消选择, 然后移动到 Options, 进入:

修改 Toolkit Options, 进入后选择 Change Toolkit Install Path, 修改为如下文件夹 (这个文件夹需要提前建), 然后移动到 Done 退出:

1	/home/wuzongqian/cuda-12.1/

然后修改 Library install path (也要提前建):

1	/home/wuzongqian/cuda-12.1/mylib

Done 了之后退回最初的页面, Install 即可.

最终是这样

4: 按照 Please make sure 后面的指示, 添加环境变量, 在文件 .bashrc 的末尾加上

1 2	export PATH="/home/wuzongqian/cuda-12.1/bin:$PATH" export LD_LIBRARY_PATH="/home/wuzongqian/cuda-12.1/lib64:$LD_LIBRARY_PATH"

然后运行

1	source .bashrc

使生效即可, 然后用 nvcc -V 测试结果, 输出了

成功.

Linux

1: 两台服务器间传大文件:

1	scp /home/cuiruochen/model/llava-v1.5-7b work@shi.kongfei.life:/home/wuzongqian/model

或者用 rsync 也可以, 似乎是更好用的. 记得压缩, 无法传输文件夹, 会直接跳过.

2: 压缩文件

1	tar -cvf llava-v1.5-7b.tar llava-v1.5-7b

目标文件不能出现 /, 所以最好 cd 到目标文件夹中 (也许应该写字符串).

解压文件:

1	tar -xvf llava-v1.5-7b.tar

解压不同类型(后缀)的文件使用的命令不同.

3: Linux nohup 命令, 用来占卡.

https://cloud.tencent.com/developer/article/1984649

ssh 免密登录

最简单的方式, 找到 windows 系统下 C:\Users\用户名\.ssh 文件夹下的 id_rsa_pub, 把里面的内容复制到服务器中当前用户下的 .ssh/authorized_keys 中即可.

1
2
3

['<s>', '▁A', '▁chat', '▁between', '▁a', '▁curious', '▁human', '▁and', '▁an', '▁artificial', '▁intelligence', '▁assistant', '.', '▁The', '▁assistant', '▁gives', '▁helpful', ',', '▁detailed', ',', '▁and', '▁pol', 'ite', '▁answers', '▁to', '▁the', '▁human', "'", 's', '▁questions', '.', '▁US', 'ER', ':', '▁', 'IMAGE_TOKEN_INDEX', '▁', '<0x0A>', 'Is', '▁there', '▁a', '▁snow', 'board', '▁in', '▁the', '▁image', '?', '▁A', 'SS', 'IST', 'ANT', ':']
  0%|                                            | 1/3000 [00:01<1:14:56,  1.50s/it]['<s>', '▁A', '▁chat', '▁between', '▁a', '▁curious', '▁human', '▁and', '▁an', '▁artificial', '▁intelligence', '▁assistant', '.', '▁The', '▁assistant', '▁gives', '▁helpful', ',', '▁detailed', ',', '▁and', '▁pol', 'ite', '▁answers', '▁to', '▁the', '▁human', "'", 's', '▁questions', '.', '▁US', 'ER', ':', '▁', 'IMAGE_TOKEN_INDEX', '▁', '<0x0A>', 'Is', '▁there', '▁a', '▁d', 'ining', '▁table', '▁in', '▁the', '▁image', '?', '▁A', 'SS', 'IST', 'ANT', ':']
  0%|                                              | 2/3000 [00:02<58:27,  1.17s/it]['<s>', '▁A', '▁chat', '▁between', '▁a', '▁curious', '▁human', '▁and', '▁an', '▁artificial', '▁intelligence', '▁assistant', '.', '▁The', '▁assistant', '▁gives', '▁helpful', ',', '▁detailed', ',', '▁and', '▁pol', 'ite', '▁answers', '▁to', '▁the', '▁human', "'", 's', '▁questions', '.', '▁US', 'ER', ':', '▁', 'IMAGE_TOKEN_INDEX', '▁', '<0x0A>', 'Is', '▁there', '▁a', '▁person', '▁in', '▁the', '▁image', '?', '▁A', 'SS', 'IST', 'ANT', ':']

2024-04-29 该篇文章被 Baoduo Xu 归为分类: 杂项

以上