不止于Prompt:揭秘「神经网络可重编程性」
机器之心·2026-01-24 12:09

从模型重编程(Model Reprogramming),到参数高效微调(PEFT),再到当下大模型时代的 Prompt Tuning ,Prompt Instruction 和 In-context Learning,研究者和 从业人员不断地探索一个核心问题: 在尽量不改动模型参数的前提下,如何最大化地复用预训练模型的能力 ? 过去几年,这类方法在不同社区中以各自独立的形式快速发展 —— 有的来自对抗鲁棒性与迁移学习,有的服务于下游任务适配,有的则成为大模型对齐与应用的 基础工具。然而,这些看似分散的技术路线,背后是否存在一个更统一、更本质的理论视角? 近期,来自墨尔本大学可信赖机器学习与推理(TMLR)研究小组和 IBM AI 研究所的研究者系统性地提出了「 神经网络可重编程性(Neural Network Reprogrammability) 」这一统一主题,在最近的一篇 survey 中,将模型重编程,Prompt Tuning、Prompt Instruction 和 In-context Learning 纳入同一分析框架,从 操纵位置、操纵类型、操纵算子和输出对齐四个维度进行了系统梳理与对比。同时 ...

不止于Prompt:揭秘「神经网络可重编程性」 - Reportify