文章核心观点 - 预训练模型适配下游任务的范式已发生根本性转变，从传统的基于模型参数调整的适配（PCA）转变为基于模型可重编程性的适配（RCA）[5] - 模型重编程（Model Reprogramming）、提示调优（Prompt Tuning）、提示指令（Prompt Instruction）和上下文学习（In-context Learning）等看似分散的技术，其本质都是利用了神经网络的同一固有属性——可重编程性（Neural Network Reprogrammability）[14] - 研究者提出了一个统一的数学框架和分析维度，用以系统性地描述和归类这些适配方法，揭示了其背后一致的核心原理[25][35] 模型训练范式的转变 - 传统适配技术（PCA）通过重新训练预训练模型、修改其内部参数来适应新任务，例如微调（fine-tuning），需要为每个下游任务维护新的参数拷贝[8] - 新兴适配技术（RCA）保持模型参数冻结，通过策略性地修改任务呈现的方式（如设计输入变换、提示或上下文信息）以及输出对齐方式来“重编程”模型行为，使用极少量甚至不引入新参数[8] - 核心理念从“修改模型以适应任务”转向“修改任务以适应模型”，能以极小的计算开销在不同任务中重复使用同一个冻结的预训练模型[9] 可重编程性范式的效率优势 - 实验数据表明，在将ImageNet预训练的ViT-B/32适配到EuroSAT遥感图像分类任务时，RCA所需的训练参数始终比任何PCA配置少2-3个数量级[11] - RCA的参数效率更高，在实现可比性能的前提下，使得在资源受限环境中适配大模型成为可能，并支持同时适配多个任务而不会出现灾难性遗忘[12] 可重编程性范式的首次提出与原理 - 可重编程性的概念源于对抗性重编程研究，其核心是巧妙利用神经网络对于对抗样本的敏感性，将这种脆弱性转化为建设性用途，在不重新训练的情况下将预训练模型重定向到新任务[19][21] - 例如，通过在黑白格图像上添加精心设计的“对抗程序”（噪声），可以将一个仅在物体识别任务上预训练的ImageNet分类器“重编程”以执行方格计数任务[22] 可重编程性范式的数学表达与具体案例 - 统一数学框架定义为：通过一个可配置的输入变换和一个可配置的输出变换，使一个参数固定的预训练模型能够适配到输入/输出空间完全不同的目标任务[25] - 以视觉-语言模型为例，三种方法（模型重编程、提示调优、提示指令）都通过计算图中的不同路径实现同一目标，差异主要体现在操作位置、参数需求和模型访问要求上[27][28][30] - 具体案例显示，无论是图像分类任务中的模型重编程（优化加性扰动）还是文本生成任务中的提示调优（优化拼接的提示词），都遵循完全相同的数学框架[32][33] 基于可重编程性范式归纳现有方法 - 提出了一个分类法，从四个维度系统梳理现有方法：操纵位置（如输入空间、嵌入空间）、操纵类型（可优化或固定）、操纵算子（如加性、拼接）以及输出对齐方式（如恒等映射、结构变换）[35][40] - 该框架具备架构无关性和模态无关性，无论预训练模型架构或数据类型如何，其底层原理都是围绕模型接口的信息操作[17] 用可重编程性范式理解上下文学习与思维链推理 - 大语言模型的上下文学习（ICL）在该框架下可被描述为一种固定输入操纵：通过人为设计的示范样例（demonstration examples）与查询文本拼接，无需参数更新即可重编程模型行为[39][41][44] - 思维链推理（CoT）可被视为一种更高级的输入操纵，它在上下文中融入了结构化、与输入样本特定相关的明确中间推理步骤，输出时则需要通过结构化解析机制提取最终答案[46][52]