推理模型的成本战:价格为什么还在降
推理模型刚出现时,一次复杂任务的成本让很多团队望而却步。现在同样的任务,成本已经降到可以日常使用的水平。降价的三个来源 图解:降价的三个来源 一是推理框架优化:批处理、KV 缓存复用、投机解码,把单位 token 的算力压下来;二是模型结构
推理模型刚出现时,一次复杂任务的成本让很多团队望而却步。现在同样的任务,成本已经降到可以日常使用的水平。降价的三个来源 图解:降价的三个来源 一是推理框架优化:批处理、KV 缓存复用、投机解码,把单位 token 的算力压下来;二是模型结构
视频生成模型的分辨率竞赛很快会见顶,真正的难题在物理一致性:物体不能穿模、光影要随镜头变化、运动要符合惯性。难在「长时一致性」 图解:难在「长时一致性」 单帧看起来完美并不难,难的是 10 秒里每一帧都对得上。模型需要在潜在空间里维持一个稳
数字人直播的成本已经降到几千元级别,但最近一段时间,平台对 AI 生成内容的标识要求明显变严。第一条:必须可识别 图解:第一条:必须可识别 多数平台要求对数字人主播做显著标识,部分类目(医疗、金融)限制更严。开播前逐条核对平台规则,不要等限
很多人发现,同一个需求用英文写提示词效果更好。原因通常不是模型的中文能力差,而是中文表达天然省略主语、省略条件、省略边界,模型只能补充假设。三个高频省略 图解:三个高频省略 第一是省略对象:说「优化一下」,优化的是速度、成本还是可读性?第二
一年前评视频模型看画质,现在看控制力。原因很直接:画质已经够用,但生成结果不可控,就没法进工作流。三种控制手段 图解:三种控制手段 参考图锁定主体,解决「同一个人不同镜头长得不一样」;首尾帧指定起止画面,解决「镜头走向不可预期」;运镜指令(
数字人直播从「一眼假」进步到「需要多看两眼」,成本也从定制形象降到几千元级别。但技术之外,有三条线必须先划清楚。红线一:平台对数字人的披露要求 图解:红线一:平台对数字人的披露要求 主流电商与内容平台都要求对 AI 生成内容做标识,直播间使
AI 编程工具在个人层面的渗透率已经很高,但团队层面的落地比想象中慢。原因不在工具,在流程。卡点一:代码规范 图解:卡点一:代码规范 AI 生成的代码风格和团队规范经常不一致,评审时要花时间改格式。有效的做法是把规范写成提示词的一部分,或者
AI 编程工具已经从「补全一行」走到「改一个模块」。但实际项目里,很多人第一次用就会失望:生成的代码看着对,跑起来报错,改完还引入新问题。边界一:上下文不是越多越好 图解:边界一:上下文不是越多越好 把几万行代码一次性塞给模型,检索精度会下
过去两年,国内大模型厂商几乎都喊过「开源」。但最近一轮发布里,一个明显的变化是:开源的多是中杯和小杯,旗舰模型留在闭源侧。三种典型策略 图解:三种典型策略 第一种是「全量开源 + 云服务变现」,靠推理调用赚钱;第二种是「开源小模型做生态、闭
过去一年,国产视频生成模型几乎每隔几周就有新版本。但如果只用同一句提示词去横评,很容易得出「都差不多」的结论——因为真正的差异不在首帧好不好看,而在生成之后能不能改。三条技术路线 图解:三条技术路线 第一条是纯文生视频,输入描述直接出片段,