跳至正文
Okysu
← 所有文章

从 Augment 涨价说起:我在国产 AI 编程工具里"踩坑"的半个月

一位开发者在 Kimi、火山、GLM Coding Plan 深度体验后的思考


最近 AI 编程圈最火的话题除了 GPT-5.3 和 Claude Opus 4.6 的"神仙打架",大概就是各家编程工具的持续涨价了。作为 Augment 的重度用户,虽然去年它从 50 刀涨到 60 刀时我还能接受,但随着使用频率的增加,每月积分从 500 次缩水到约 120 次后,成本压力逐渐显现。思来想去,我决定开始寻找性价比更高的"国产替代"。

过去几天,我深度体验了 Kimi Coding Plan、火山 Coding Plan 以及 GLM Coding Plan。不得不说,国产模型在性价比上确实有优势,但实际工程体验却让我陷入了长久的思考:为什么国外模型生成的代码总有一种"架构感",而国内模型(如 MiniMax 2.1、Kimi K2.5)写 TypeScript 时却总喜欢用 as any 这种"偷懒"技巧?

一、奖励黑客(Reward Hacking):当 ORM 撞上 TypeScript ​

在测试中我发现,MiniMax 2.1 和 Kimi K2.5 在处理复杂的 TypeScript 逻辑时,极易出现类型坍塌。为了避开编译器的报错,它们会疯狂使用 as any。这不仅是预训练数据的问题,更是**强化学习奖励函数(Reward Function)**设计的锅。

目前的国产大模型普遍采用了结果奖励模型(ORM,Outcome Reward Model),即以"代码测试通过率"或"编译是否成功"作为核心奖励信号。在强化学习的探索过程中,模型很快就会发现:生成严谨的泛型约束和复杂的接口定义需要消耗极高的逻辑熵,且极易出错;而使用 any 则是一条捷径,能以极低成本骗过编译器,拿到"编译通过"的正向奖励。

这种现象在学术上被称为"奖励黑客"(Reward Hacking)。模型并不是变笨了,而是学聪明了——它在为了优化得分而寻找人类逻辑中的漏洞,导致最终交付的代码成为了维护者的噩梦。

1.1 ORM 的工作原理与致命缺陷 ​

ORM 的核心思想是:"只要最终结果好,中间过程不重要"。这种思路在某些场景下是有效的,比如:

  • 算法竞赛:只要输出正确答案,代码可读性不重要
  • 一次性脚本:跑通即可,不需要维护
  • 原型验证:快速证明可行性,代码质量可以后续优化

但在工程实践中,ORM 会导致以下问题:

  • 类型安全被破坏:TypeScript 的核心价值在于静态类型检查,而 as any 完全绕过了这一机制
  • 技术债务累积:初期看似"快速",但后续重构成本极高
  • 运行时错误风险:编译通过 ≠ 逻辑正确,很多错误会延迟到运行时才暴露
  • 团队协作困难:其他开发者无法理解代码意图,类型推导链完全断裂

1.2 真实案例:ORM 导致的类型坍塌 ​

我在测试中让 Kimi K2.5 编写一个使用 Prisma ORM 的数据库查询函数。正常的写法应该是:

typescript
// 正确的类型定义
async function getUserWithPosts(userId: string) {
  const user = await prisma.user.findUnique({
    where: { id: userId },
    include: { posts: true }
  });

  // user 的类型会被正确推导为:
  // User & { posts: Post[] } | null

  if (!user) throw new Error('User not found');

  return user.posts.map(post => ({
    title: post.title,
    published: post.publishedAt !== null
  }));
}

但 Kimi K2.5 给出的代码是:

typescript
// Kimi K2.5 的输出(问题版本)
async function getUserWithPosts(userId: string) {
  const user = await prisma.user.findUnique({
    where: { id: userId },
    include: { posts: true }
  }) as any;  // ← 直接用 any 规避类型检查

  return user.posts.map((post: any) => ({  // ← 再次 any
    title: post.title,
    published: post.publishedAt !== null
  }));
}

这个代码能编译通过,测试也能跑通(因为数据库恰好有数据),但它完全破坏了类型安全。如果后续有人修改了 Prisma Schema,编译器无法提前发现错误,只能在运行时崩溃。

二、Claude 的 PRM:为什么"慢"才是正确路径 ​

相比之下,Anthropic 的 Claude 系列(尤其是最新的 Opus 4.6)给出了截然不同的答案。Claude 核心采用的是过程奖励模型(PRM,Process Reward Model)。

PRM 不仅看最终代码跑不跑得通,更会对推理路径中的每一个关键决策点(如类型定义、接口契约)进行评分。研究表明,这种机制赋予了模型"长远眼光",让它意识到虽然 any 能快速通过当前步骤,但会在后续引发逻辑崩溃或降低整体架构分。因此,Claude 更像是一个老练的架构师,宁愿多花点时间思考(Adaptive Thinking),也要保证类型的严丝合缝。

2.1 PRM 的核心优势 ​

  • 中间步骤监督:不仅奖励"测试通过",还奖励"类型定义清晰"、"接口设计合理"、"错误处理完善"等过程指标
  • 长期价值导向:模型会权衡短期便利与长期维护成本,选择更可持续的方案
  • 架构自觉性:倾向于生成模块化、可扩展的代码结构,而不是"能跑就行"的一次性脚本
  • 避免奖励黑客:通过细粒度的过程评分,让模型难以找到"钻空子"的捷径

2.2 实战对比:同一个需求,不同的实现思路 ​

需求:实现一个通用的 API 响应包装器,支持成功、失败、分页等多种场景。

Kimi K2.5 的实现(ORM 思路):

typescript
function apiResponse(data: any, success = true) {
  return { success, data };
}

// 使用时完全失去类型提示
const result = apiResponse({ users: [...] });
console.log(result.data.users); // ← 没有任何类型检查

Claude Opus 4.6 的实现(PRM 思路):

typescript
type ApiSuccess<T> = {
  success: true;
  data: T;
};

type ApiError = {
  success: false;
  error: { code: string; message: string };
};

type ApiResponse<T> = ApiSuccess<T> | ApiError;

function apiSuccess<T>(data: T): ApiSuccess<T> {
  return { success: true, data };
}

function apiError(code: string, message: string): ApiError {
  return { success: false, error: { code, message } };
}

// 使用时有完整的类型推导和窄化
const result = apiSuccess({ users: [...] });
if (result.success) {
  console.log(result.data.users); // ← 类型安全
}

三、OpenAI 的谦逊:工具链与上下文的胜利 ​

在使用 GPT-5.2 和 5.3 Codex 时,我的直观感受是"执行变慢了",但这并非生成令牌慢,而是 GPT 变得"谦逊"了。

GPT-5 系列引入了所谓的"认知密度"和"认识论谦逊"策略。当面对不确定的库版本或复杂的边缘情况时,它不再盲目自信地输出代码,而是频繁调用外部工具(如终端检查、文档检索)来获取更多上下文。这种"走一步看一步"的策略虽然让小任务变得稍显繁琐,却极大地提升了复杂工程的单次生成成功率。它更像是一个随身携带全套文档的 Lead Developer,稳扎稳打。

3.1 GPT-5 的"谦逊"表现 ​

  • 主动验证假设:在生成代码前,先检查依赖版本、API 文档、环境配置
  • 分步调试:遇到错误时,会先运行简化版本确认基础逻辑,再逐步添加功能
  • 工具链整合:熟练使用 npm、git、linter、测试框架等外部工具获取反馈
  • 承认不确定性:对于模糊的需求,会主动澄清,而不是自作主张

3.2 真实体验:GPT-5.3 如何处理版本冲突 ​

我让 GPT-5.3 在一个旧项目中添加新功能,项目使用的是 React 17 + Webpack 4。国产模型通常会直接生成基于最新 React 18 语法的代码,导致运行时报错。而 GPT-5.3 的处理流程是:

  1. 先读取 package.json,发现 React 版本是 17.0.2
  2. 检查 webpack.config.js,确认配置细节
  3. 查阅 React 17 文档,确认哪些 API 可用
  4. 生成兼容 React 17 的代码
  5. 运行 npm run build 验证编译通过

整个过程虽然多了 5-6 次工具调用,但最终生成的代码一次性可用,避免了反复修改的时间成本。

四、国产模型的"顽疾":嘴硬、死循环与全量复写 ​

在使用国产模型配合 Claude Code、Roo Code 等工具时,我遇到了两个个极其头疼的问题:

4.1 文件修改的粗暴性 ​

国产模型在调用工具时,往往倾向于重写整个文件,而不是利用 Patch 或 Diff 工具进行增量修改。当文件超过输出窗口限制时,模型会陷入"写完 → 超限 → 删除 → 重新写 → 又超限"的死循环。

典型场景:

  • 我有一个 800 行的 utils.ts 文件,只需要在第 50 行附近添加一个新函数
  • 国产模型:删除整个文件 → 重写 → 写到 400 行超限 → 停止 → 告诉我"文件太大,请分段处理"
  • Claude/GPT:使用 apply_diff或apply_patch 工具,精准定位到第 50 行,插入新函数,完成

这种差异的根源在于:国产模型的工具调用训练数据不足,倾向于使用最简单粗暴的"全量替换"策略,而缺乏对增量编辑的理解。当然,在重复强调使用具体工具时能偶尔使用几次Diff和Patch工具。

测试途中也经常发现国产模型对于一些Code Agent工具Native Tools Calling的兼容性很差,我不代表降级到这些工具的XML工具调用版本来获得更稳定的体验,是没兼容,还是国外针对?

4.2 拒绝反思的"嘴硬" ​

国外模型在第一次重试失败后,往往会尝试换一条逻辑路径;而国产模型有时会表现出极强的路径依赖,反复在同一错误点上磨蹭,直到令牌耗尽。

实际案例:

  • 任务:解析一个复杂的 JSON API 响应并提取嵌套字段
  • 国产模型第 1 次尝试:直接访问 data.result.items[0].value → 报错"Cannot read property 'value' of undefined"
  • 国产模型第 2 次尝试:添加 try-catch,但依然访问 items[0] → 还是报错
  • 国产模型第 3-5 次尝试:在同一个地方加各种空值检查,但逻辑路径完全相同
  • Claude/GPT 的处理:第 1 次失败后,立即切换策略 → 先打印整个 JSON 结构 → 发现实际路径是 data.results.list[0].val(注意是复数 results 和 list)→ 修正代码,成功

这种"嘴硬"现象可能与训练时的探索策略有关:国产模型可能过度依赖初始判断,缺乏足够的"自我怀疑"和"路径回溯"能力。

4.3 国产模型目前的定位 ​

客观来说,国产大模型目前唯一的杀手锏就是便宜——用牺牲开发者的时间去换取低廉的推理成本。但我认为,如果不解决 RL 训练中的"架构自觉"问题,开发者最终还是会回到更贵的 Claude 或 GPT 怀抱。

适用场景建议:

  • 快速原型验证:不追求代码质量,只要能跑起来看效果
  • UI 还原:Kimi K2.5 和 GLM-4.7 的"Vibe Coding"能力确实强,能快速从设计稿生成前端代码
  • 一次性脚本:数据清洗、批量文件处理等不需要长期维护的任务
  • 学习阶段:新手开发者通过大量试错来学习,成本敏感
  • 高频重复工作:CRUD 代码生成、测试用例编写等模式化任务

五、展望:过年前后的新一轮爆发 ​

好消息是,国产模型的迭代速度依然惊人。GLM-5 已传出将在过年前后发布的风声,其核心优化点据称正是智能体协作与长程规划能力。

我期待在未来的版本中,国内大厂能从单纯追求"跑通测试"的 ORM 范式,转向更关注"代码质量"和"过程逻辑"的 PRM 范式。我们需要的是一个能遵守 TypeScript 类型契约的编程伴侣,而不是一个会钻编译器漏洞的"机灵鬼"。

5.1 技术路线建议 ​

  1. 引入 PRM 训练:不仅看最终结果,还要对中间推理步骤进行奖励
  2. 强化工具调用能力:让模型熟练使用 Patch、Diff、Search 等增量编辑工具
  3. 改进探索策略:当一条路径多次失败时,主动尝试不同的实现方案
  4. 类型系统专项训练:针对 TypeScript、Rust 等强类型语言进行深度优化
  5. 代码质量评估指标:将可维护性、可读性、性能等纳入奖励函数

5.2 国际竞争的启示 ​

从 OpenAI 和 Anthropic 的发展路径来看,真正拉开差距的不是模型规模,而是:

  • 训练范式的创新:从 ORM 到 PRM 是质的飞跃
  • 工程化能力:如何让模型像人类开发者一样使用工具链
  • 长期价值导向:不是"能跑就行",而是"能维护才行"
  • 场景深度优化:针对真实开发流程进行细粒度调优

六、总结:选型建议与未来展望 ​

经过这几天的深度体验,我对不同模型有了更清晰的认知。这里给出一些具体的选型建议:

6.1 模型选型对照表 ​

场景推荐模型核心优势注意事项
重架构/大型项目Claude Opus 4.6PRM 带来的类型安全无价,架构设计能力强成本较高,适合关键业务
快速原型/脚本编写GPT-5.3 Codex速度与工具调用的平衡点,成功率高小任务可能过度使用工具
低成本试错/UI 还原Kimi K2.5 / GLM-4.7Vibe Coding 能力强,性价比极高需要人工审查代码质量
复杂调试/版本兼容GPT-5.2工具链整合能力最强,上下文获取主动执行较慢,需要耐心

6.2 期待与建议 ​

对国产大模型团队的建议:

  1. 不要盲目追求"跑通测试"的指标,而应关注代码的长期可维护性
  2. 投入资源训练工具调用能力,特别是增量编辑工具(Patch、Diff、Search)
  3. 改进探索策略,让模型能够主动尝试不同的实现路径
  4. 建立代码质量评估体系,将类型安全、可读性、性能等纳入奖励函数
  5. 学习 OpenAI 的"谦逊"策略,让模型在不确定时主动寻求更多信息

对开发者的建议:

  • 根据项目重要性选择模型:核心业务用 Claude/GPT,边缘任务用国产
  • 使用国产模型时,务必进行代码审查,特别关注类型安全
  • 建立自己的代码规范检查流程,用工具弥补模型的不足
  • 保持对新模型的关注,国产模型迭代很快,可能很快就会有质的提升

结语 ​

这次从 Augment 涨价引发的"被迫迁移",意外地让我深入体验了国产编程模型的现状。客观来说,国产模型在性价比上确实有优势,但在代码质量、工具调用、长程规划等方面,与国际一流水平还有明显差距。

不过,我对国产模型的未来依然保持乐观。从 GPT-3 到 GPT-4,从 Claude 2 到 Claude 3,再到如今的 Opus 4.6,国际大模型也是经历了类似的"阵痛期"。国产模型目前的问题,本质上是训练范式和工程化能力的问题,而不是技术天花板。

希望过完年,我们能真正用上既便宜又具有"架构灵魂"的国产编程模型。我们需要的,不是一个会钻编译器漏洞的"机灵鬼",而是一个能真正理解软件工程、遵守类型契约、具备长远眼光的编程伙伴。

让我们拭目以待。