【踩坑笔记】Nvidia T4计算卡在Windows服务器使用docker
业务上有个需求，希望在 Windows Server 2022 内通过 wsl2 部署 docker 运行类似 Ollama 的 GPU 服务。但 T4 计算卡使用通用方案直接安装官网下载的 GPU 驱动 + docker desktop 无法在 docker 内调用 GPU。
具体表现为：wsl 内nvidia-smi命令正常；nvcc -V命令正常，docker 内nvidia-smi命令异常。网上找到修改注册表可以强启WDDM模式，尝试后，docker 内能看到 GPU，但程序无法调用。
【论文阅读】清华&理想汽车 DriveVLM :自动驾驶与VLM大模型的融合
清华大学交叉信息院赵行老师研究组MARS Lab与理想汽车合作，提出了一种基于大模型的高阶自动驾驶的全新方案DriveVLM。DriveVLM以视觉语言大模型为基础，并与端到端模型实现双系统，在复杂和驾驶场景中表现出色。模型在理想Mega上部署运行，是首个部署上车的自动驾驶大模型。
城市环境中自动驾驶的主要障碍是理解复杂的 Long-tail 场景，例如具有挑战性的道路条件和微妙的人类行为。DriveVLM 集成了用于场景描述、场景分析和分层规划的推理模块的独特组合。此外，认识到 VLM 在空间推理和繁重计算要求方面的局限性，提出一种混合系统 DriveVLM-Dual，可选择将 DriveVLM 与传统 3D 感知和规划模块集成，例如 3D 物体检测器、占用网络和运动规划器，使系统能够实现 3D 接地和高频规划能力。这种双系统设计类似于人脑的慢速和快速思维过程，可以有效地适应驾驶场景中不同的复杂性。 在 nuScenes 数据集和 SUP-AD 数据集上的实验证明了 DriveVLM 和 DriveVLM-Dual 在处理复杂且不可预测的驾驶条件方面的功效。最后，将 DriveVLM-Dual 部署在量产车辆上，验证其在现实自动驾驶环境中的有效性。
DriveVLM 的整体流程如下图所示。图像序列由视觉语言模型（VLM）处理，以执行特殊的思想链（CoT）推理，从而得出驾驶规划结果。 DriveVLM 的架构涉及视觉转换器编码器和大型语言模型 ( LLM )。视觉编码器产生图像标记；然后基于注意力的提取器将这些标记与LLM对齐。推理过程可以分为三个模块：场景描述、场景分析和分层路径规划（Hierarchical Planning）。而 DriveVLM-Dual 进一步融合了传统的3D感知和轨迹规划模块，实现空间推理能力和实时轨迹规划。
项目中，在测试环境服务器中部署了docker弄了一个ollama容器，现在需要迁移到生产环境服务器。如果不想重新配置，可将测试完成的ollama容器进行打包，保存为tar文件，传输到生产服务器中，使用load加载镜像，然后运行。具体过程如下：
将容器打包成镜像
命令：docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]
options选项：
-a :提交的镜像作者；
-c :使用Dockerfile指令来创建镜像；
-m :提交时的说明文字；
-p :在commit时，将容器暂停。
CentOS yum install 报错：Could not retrieve mirrorlist *** 的解决方法
有时使用 yum install 给 linux 服务器安装包的时候会有上述报错，原因是该镜像网址无法访问。
Centos 7 自 2024 年 7 月 1 日 已达到 EOL（生命周期结束），因此 mirrorlist.centos.org 镜像站已停止运行。如果报错包含该镜像站，可以通过下面的命令更改所有包含该镜像站的地址到 vault.centos.org。
NMS（Non Maximum Suppression）即非极大值抑制，广泛应用于传统的特征提取和深度学习的目标检测算法中。
NMS原理是通过筛选出局部极大值得到最优解。
在二维边缘提取中体现在提取边缘轮廓后将一些梯度方向变化率较小的点筛选掉，避免造成干扰。 在三维关键点检测中也起到重要作用，筛选掉特征中非局部极值。
在目标检测方面如Yolo和RCNN等模型中均有使用，可以将较小分数的输出框过滤掉,同样，在三维基于点云的目标检测模型中亦有使用。
1 | 论文链接：https://arxiv.org/abs/2302.02367 |
目前基于激光雷达的主流方法分为基于点云的方法和基于体素的方法。前者能保留最多的几何信息，但逐点查询和遍历较为耗时；后者使用3D/2D卷积处理体素化点云，但用于提高效率的3D稀疏卷积对实际部署不友好。
PointPillars作为deploy-friendly的方法，使用对部署有利的2D卷积。但由于其使用最大池化提取每个柱体内点的特征，无法获取细粒度特征，影响最终性能（特别是对于小物体）。此外，其neck网络FPN直接融合多尺度特征，缺少充分的特征交互。尽管PillarNet提高了PointPillars的性能，但其使用了部署困难的稀疏卷积。
论文提出FastPillars，基于标准卷积，容易部署。网络包含4个部分：piller柱体编码、特征提取、特征融合和3D边界框回归。对于piller编码，提出最大-注意力柱体编码（MAPE）模块，在不引入额外计算时间的情况下自动学习局部几何模式。对于特征提取，提出紧凑而高效的主干网络CRVNet。特征融合模块中，通过层次融合不同尺度和感受野的特征丰富语义特征。3D边界框回归使用基于中心的方法。
