Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

附录C:远程 Linux 服务器使用

北京大学光华管理学院

本附录说明如何使用远程 Linux 服务器运行课程 notebook 和预测实验,适用于实验室工作站、云服务器以及提供 Linux 环境的共享计算平台。对于 TimeGPT 这类普通 API 调用和小规模示例,本地电脑通常足以胜任 Garza et al., 2024;对于深度学习、长时间运行或需要 GPU 的任务,可以根据需要选择远程服务器。

本地个人 AI 算力设备也是一种选择。涉及公开数据、大规模训练和多人共享的任务,可以使用远程服务器或集群;对于涉及病人、学生、企业经营或个人健康等敏感数据的任务,以及需要反复快速试验的小模型,则可以优先考虑本地设备。选择运行环境时,不仅要看“有没有 GPU”,还要看数据能否外发、任务是否需要多人共享、模型文件是否能装入内存,以及结果是否需要长期复现。

学习目标

完成本附录后,你应该能够:

账号、登录与网络

准备账号与连接信息

使用远程服务器前,先向管理员或服务提供方确认以下信息:

下面的命令用 username 表示远程用户名,用 server.example.com 表示服务器地址。它们都是占位符,运行前需要替换为自己的连接信息。账号开通、费用和使用权限以实际平台规定为准。

使用 SSH 登录

Windows 用户可以使用 Windows Terminal 或 PowerShell,macOS 和 Linux 用户可以使用系统终端。在本地电脑上输入:

ssh username@server.example.com

如果管理员提供的端口是 2222,则使用:

ssh -p 2222 username@server.example.com

第一次连接时,终端可能会询问是否信任服务器的主机密钥。先通过管理员或平台文档核对显示的指纹,再决定是否继续。输入登录密码时,终端通常不会显示字符,这是正常现象。

使用密钥认证时,应按管理员的说明配置公钥,并在本地妥善保管私钥;如果设置了私钥口令,登录时还可能需要输入该口令。只有启用了多因素认证的平台才需要 OTP(One-Time Password)动态验证码,并非所有 Linux 服务器都要求这一项。SSH 的连接参数和认证方式可查阅 OpenSSH 官方手册。

登录成功后,运行 whoami 和 pwd,确认当前账号和目录。此后在这个终端中输入的命令会在远程服务器上执行;输入 exit 可以退出远程会话,返回本地终端。

如果使用共享集群,还要区分登录节点和计算节点。登录节点通常用于查看文件、编辑脚本和提交作业;重计算任务应按平台要求在计算节点上运行。普通独立服务器可能没有这一区分,但仍需要遵守管理员分配的资源范围。

联网与安全

能通过 SSH 登录,并不代表服务器一定能访问外网。安装依赖、下载公开数据和调用模型 API 前,应确认当前服务器的网络权限。需要代理、软件镜像或离线安装时,按管理员说明配置,不要直接复制其他平台的联网命令。

实际使用时要注意:

还要区分服务器登录凭据和模型 API key。前者用于访问服务器,后者用于调用模型服务,两者不能互相替代。这些信息都不应该出现在 notebook 输出、截图、Git 提交或共享文档中。

文件传输与 Python 环境

文件上传与下载

登录服务器后,先为课程文件创建目录:

mkdir -p ~/forecasting

图形化传输可以使用支持 SFTP(Secure File Transfer Protocol)的客户端,例如 FileZilla Client。配置时填写:

传输课程 notebook、数据文件和结果图时,注意不要上传含有密钥的 .env 文件或 notebook 输出。

如果熟悉命令行,也可以在本地终端中使用 scp。下面用 local_file.csv 代表待上传的本地文件:

scp local_file.csv username@server.example.com:~/forecasting/

下载结果文件到本地当前目录:

scp username@server.example.com:~/forecasting/results.csv .

这里的 results.csv 需要先由实验生成;末尾的 . 表示本地当前目录。如果 SSH 使用非默认端口,scp 应使用大写的 -P,例如 scp -P 2222 ...。

创建 Python 环境

在远程服务器上先检查 Python 版本,确认它与课程代码和依赖兼容:

python3 --version

如果已有管理员维护的课程环境,按其说明启用即可。需要自己创建环境时,可以在用户目录中使用 venv,让课程依赖与其他项目分开:

python3 -m venv ~/venvs/forecasting
source ~/venvs/forecasting/bin/activate
python -m pip install pandas numpy matplotlib jupyterlab

上面的命令在远程终端中执行,不需要管理员权限。如果系统缺少 venv 或没有兼容的 Python,请联系管理员;不必为安装课程包修改系统 Python。每次重新登录后,都需要再次激活环境,或者直接使用环境中 Python 的完整路径。环境创建和激活方式见 Python 官方文档。

确认 notebook 使用的环境

在 Jupyter 中先确认当前 notebook 使用的 Python:

import sys
sys.executable

它会输出类似路径:

/home/username/venvs/forecasting/bin/python

这只是示例,实际路径以自己的输出为准。在远程终端中使用同一个 Python 安装包:

/home/username/venvs/forecasting/bin/python -m pip install pandas

这样安装的包才能被当前 Jupyter kernel(内核)找到。不要只输入 pip install ... 就假设安装到了正确环境。

记录运行环境也很重要。Jupyter、终端和平台预设应用可能使用不同的 Python 环境。安装依赖前先查看 sys.executable,运行实验后保留日志、输出图和评估表,以便后续复查时确认代码究竟在哪个环境中运行。使用本地 AI 设备或实验室工作站时,也应记录设备型号、可用内存、GPU、Python 路径、模型目录和关键包版本。

实验运行与问题排查

打开远程 JupyterLab

如果平台提供 Web 界面,可以通过其中的 JupyterLab 入口启动交互式应用。CPU、GPU、运行时间和排队参数以平台说明为准。课程练习应从小配置开始,确认 notebook、数据和 Python 环境都正确后,再扩大资源配置。

如果服务器只提供 SSH,可以在远程终端中激活前面创建的环境,进入课程目录并启动 JupyterLab:

source ~/venvs/forecasting/bin/activate
cd ~/forecasting
python -m jupyter lab --no-browser --ip=127.0.0.1 \
    --port=8888 --ServerApp.port_retries=0

保持这个终端运行,然后在本地电脑上另开一个终端,建立 SSH 隧道:

ssh -N -L 127.0.0.1:8888:127.0.0.1:8888 \
    username@server.example.com

这条命令将本地的 8888 端口连接到远程服务器的 8888 端口,运行后通常不会显示新的命令提示符。若 SSH 使用其他端口,还需添加对应的 -p 参数。上述方法适用于 JupyterLab 与 SSH 登录运行在同一台服务器上的情况;如果平台把 JupyterLab 分配到其他计算节点,应使用平台提供的访问入口或隧道说明。

随后在本地浏览器打开 http://127.0.0.1:8888/lab,按提示输入远程 JupyterLab 启动日志中的 token;也可以使用日志中对应端口、包含 token 的访问链接。Jupyter 默认使用 token 进行认证,具体说明见 Jupyter Server 官方文档。保留认证设置,并让服务监听 127.0.0.1,即可通过 SSH 隧道访问,无需将 Jupyter 端口直接开放到公网。

如果端口已被占用,可以换成其他空闲端口,并相应修改 Jupyter 启动命令、SSH 隧道和浏览器地址。这里设置 port_retries=0,是为了在端口冲突时直接提示错误,避免 Jupyter 自动改用另一个端口后与隧道不一致。结束练习后,保存 notebook,在远程终端中按 Ctrl+C 并按提示关闭 Jupyter,再关闭本地隧道。

运行课程 notebook 的建议流程

  1. 登录服务器,确认可用资源并启用课程 Python 环境。

  2. 上传课程 notebook 和所需数据。

  3. 打开 notebook,确认 Python kernel。

  4. 运行环境检查单元,例如 import pandas、import numpy。

  5. 安装缺失依赖。

  6. 从小样本开始运行预测代码。

  7. 保存输出图表和评估结果。

  8. 关闭不用的 Jupyter 服务或交互式应用,释放资源。

第一次使用时,可以先运行一个最小检查:

3 + 4
import sys
sys.executable

如果这些检查通过,再安装课程包或运行预测示例。不要一开始就直接运行完整的深度学习任务;先确认服务器环境、路径和包的安装位置都正确。

运行 Transformer 练习时,也应从最小 PyTorch 检查开始。先确认当前 kernel 能执行 import torch,再查看 torch.cuda.is_available() 和可见 GPU 数量。小型时间序列示例可以先在 CPU 上跑通;如果要增加序列数量、窗口长度、d_model、注意力头数或训练轮数,再根据需要使用 GPU 资源。这样可以避免把环境错误、路径错误和模型调参问题混在一起。

运行本地 Chronos-2 练习时,还要先确认模型文件的位置。Chronos 类模型依赖本地 checkpoint、配置文件和推理环境,因此路径和依赖管理会直接影响能否复现实验 Ansari et al., 2024。课程提供的示例模型解压后,目录中应能看到 config.json 和权重文件,如 model.safetensors。notebook 中填写的是模型目录,而不是压缩包路径。使用远程服务器时,模型文件也必须位于服务器可访问的目录中;本地电脑上的文件路径不能直接用于远程 Python。

本地模型练习可以按以下顺序排查错误:

  1. 先确认 notebook 使用的 Python 路径。

  2. 再确认 import pandas, import matplotlib, import torch 能通过。

  3. 检查模型目录是否存在 config.json 和权重文件。

  4. 先用一小段数据或少量序列测试 pipeline(推理流水线)。

  5. 再扩大到 M4 小时级数据或销售需求数据。

读取课程数据时,如果 Parquet 格式的文件读取失败,可以切换到课程提供的 CSV 文件;如果 NumPy、PyTorch 或 Chronos 相关包版本冲突,先记录错误信息,再根据课程要求在当前环境中安装兼容版本。不要在多个终端和多个 kernel 之间反复安装,否则很容易出现“终端显示安装成功,但 notebook 仍然导入失败”的情况。

完成实验、准备提交 notebook 时,如果直接导出 PDF 失败,可以先保存为 HTML,再用浏览器打开 HTML 并打印成 PDF。提交前检查输出图是否包含历史值、真实值、预测值和预测区间;如果作业要求比较协变量版本,也要保留两组图和简短解释。

长时间运行与结果保存

直接在 SSH 终端中运行程序,连接断开后任务可能随之结束。如果需要在普通服务器上运行较长时间的 Python 脚本,可以使用 nohup,将输出保存到日志。例如,在远程终端中进入课程目录、启用环境,并运行自己准备好的 forecast.py:

cd ~/forecasting
source ~/venvs/forecasting/bin/activate
nohup python forecast.py > forecast.log 2>&1 &

这会在后台运行脚本,并把标准输出和错误信息写入 forecast.log。nohup 不能替代集群作业调度,也不能保证程序一定运行成功;共享集群应使用其规定的提交方式。重新登录后,可以用下面的命令查看最近的日志:

tail -n 50 ~/forecasting/forecast.log

长时间任务应定期保存中间结果。实验结束后,将日志、输出图表和评估表一并下载到本地,并记录代码版本、参数与环境信息。云服务器还应按服务方规则停止不再使用的计算资源,避免继续计费。

常见问题

如果 SSH 登录失败,先检查地址、端口、用户名、认证方式和网络环境。连接超时通常需要先检查网络或访问规则;提示权限不足时,再核对账号、密码或密钥。启用了动态验证码的平台,还要检查验证码是否有效。

如果 SSH 能连接,但浏览器打不开 JupyterLab,先检查远程 Jupyter 是否仍在运行、本地 SSH 隧道是否保持连接,以及两端端口是否一致。远程终端中显示的文件路径指向服务器上的文件,不能直接当作本地电脑上的路径打开。

如果 Jupyter 能打开但无法导入包,通常是因为包被安装到了错误的 Python 环境中。先在 notebook 中查看 sys.executable,再用这个解释器执行 -m pip install,必要时重启 kernel。不要仅凭终端显示“安装成功”,就认为 notebook 一定能导入该包。

如果下载数据失败,确认服务器是否能访问相应网站,以及是否需要按管理员说明配置网络。如果程序运行缓慢或意外退出,检查日志、内存、磁盘空间和 GPU 使用情况;不要通过反复启动同一任务来排查问题。

如果使用集群且任务长时间排队,可以在任务需求允许的范围内减少核心数、节点数或运行时间。资源不足会拖慢运行,申请过多则可能延长排队时间,课程练习应先用小规模任务验证流程。

小结

远程服务器提供的是运行环境。使用时最重要的是三件事:通过正确的账号和认证方式登录,在正确的 Python 环境中安装依赖,使用合适的资源运行任务。分清命令在本地还是远程执行,先让一个小 notebook 跑通,再扩大实验规模。

练习

  1. 用 SSH 登录远程服务器,运行 pwd、ls 和 whoami,说明这些命令在哪里执行。

  2. 启用课程 Python 环境,在 notebook 中查看 sys.executable,再用同一路径安装 pandas。

  3. 上传一个 CSV 文件到服务器,在 notebook 中读取并显示前 5 行,再将结果下载到本地。

  4. 通过平台入口或 SSH 隧道打开远程 JupyterLab,说明浏览器、SSH 隧道和 Python 分别运行在哪里。

  5. 写一段说明,解释为什么不能把密码、SSH 私钥、Jupyter token 或 API key 写入 notebook。

参考文献

References
  1. Garza, A., Challu, C., & Mergenthaler-Canseco, M. (2024). TimeGPT-1. 10.48550/arXiv.2310.03589
  2. Ansari, A. F., Stella, L., Turkmen, C., Zhang, X., Mercado, P., Shen, H., Shchur, O., Rangapuram, S. S., Arango, S. P., Kapoor, S., Zschiegner, J., Maddix, D. C., Wang, H., Mahoney, M. W., Torkkola, K., Wilson, A. G., Bohlke-Schneider, M., & Wang, Y. (2024). Chronos: Learning the Language of Time Series. 10.48550/arXiv.2403.07815