作者 | Robert Krzaczyński 译者 | 明知山 谷歌推出 LLM-Evalkit，一个基于 Vertex AI SDK 构建的开源框架，旨在让大语言模型的提示词工程 变得更加有序且可衡量。这款轻量级工具旨在用统一的、数据驱动的工作流取代以往分散的文档和基 于猜测的迭代方式。 正如 Michael Santoro 所指出的，任何与大语言模型合作过的人都深知其中的痛点：他们在一个控制 台中进行实验，然后在其他地方保存提示词，并且对结果的衡量缺乏一致性。LLM-Evalkit 将它们整 合到一个连贯的环境中——一个可以创建、测试、版本化和并排比 较提示词的地方。通过保留变更的共享记录，团队终于能够清晰地跟踪哪些提示词改进提升了性能， 而不再依赖于模糊的记忆或繁琐的电子表格。 该工具包的核心理念很简单：停止猜测，转而进行精准衡量。与其凭借主观感受去评判哪个提示 词"似乎"更好，用户可以明确地定义一个具体任务，精心构建一个具有代表性的数据集，并借助客观 的指标来评估输出结果。这一框架让每一次的改进都变得可量化，将原本的直觉判断转变为有据可依 的实证分析。 这种方法与现有的谷歌云工作流无缝集成。LLM- ...