这件事能做什么
联想“词元工厂”的思路很直白:把绿电直接喂给算力,算力跑推理,产出按 Token 计量。对做 AI 应用的人来说,它解决的是三件事:一是把推理成本从“按卡租”换成“按 Token 结算”,二是让绿电时段和推理任务对齐,三是给出一套可复用的调度接口。你可以把它当成一个“Token 生产流水线”:输入端是电力与模型,输出端是 API 可调用的 Token。
下面按最小可用路径走一遍:注册开通、配置绿电时段、部署模型、压测出 Token 速率、接业务。
准备工作
- 联想智能算力平台账号(企业或个人均可,需实名)。
- 一个可用的模型权重或模型市场里的现成模型(如 Qwen、Llama 系列)。
- 本地装好
curl和 Python 3.10+,用于调 API 和压测。 - 确认你所在区域有绿电时段标识(平台控制台会显示“绿电占比”曲线)。
- 准备一个业务侧的小测试集,20 条左右问答即可,用来验证 Token 质量。
分步骤操作
- 开通词元工厂:登录联想智能算力平台,左侧菜单点“词元工厂”,点“立即开通”,选择计费方式为“按 Token”,填写企业信息后提交。开通后页面会出现“Token 余额”和“绿电占比”两个卡片。
- 绑定绿电时段:进入“调度策略”→“绿电优先”,把“绿电占比阈值”设为 60%,把“任务类型”勾选为“在线推理”。这样当绿电占比高于 60% 时,推理任务优先调度到绿电节点,低于阈值时排队或降级到普通节点。保存后策略状态变为“生效中”。
- 选择并部署模型:点“模型市场”,搜索你要的模型,点“部署”。在弹窗里填:实例规格选 1 卡(先小规模验证)、副本数 1、最大并发 8、上下文长度按模型默认。点“确认部署”,等待状态从“创建中”变为“运行中”,通常 3-5 分钟。
- 拿到调用凭证:部署完成后点“API 接入”,复制
endpoint和api_key。注意 api_key 只显示一次,先存到本地环境变量:export TOKEN_FACTORY_KEY=你的key。 - 跑一次单条推理:用 curl 发一条请求,确认返回里有
usage.total_tokens字段,这就是本次产出的 Token 数。 - 压测出 Token 速率:用 Python 脚本并发 8 路,跑 100 次请求,统计每秒 Token 数(TPS)。把这个数记下来,作为后续容量规划的基线。
- 接业务:把 endpoint 和 key 写进你业务服务的配置,把超时设为 30 秒,失败重试 2 次。上线后每天看“Token 消耗”和“绿电占比”两张报表,确认成本与绿电目标一致。
可直接复制的提示词与命令
单条推理请求:
curl -X POST "$ENDPOINT/v1/chat/completions"
-H "Authorization: Bearer $TOKEN_FACTORY_KEY"
-H "Content-Type: application/json"
-d '{
"model": "qwen-7b",
"messages": [{"role":"user","content":"用三句话说明绿电算力的价值"}],
"max_tokens": 256
}'
压测脚本(保存为 bench.py):
import os, time, concurrent.futures, requests
URL = os.environ["ENDPOINT"] + "/v1/chat/completions"
KEY = os.environ["TOKEN_FACTORY_KEY"]
H = {"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"}
BODY = {"model":"qwen-7b","messages":[{"role":"user","content":"写一句产品标语"}],"max_tokens":64}
def call(_):
r = requests.post(URL, headers=H, json=BODY, timeout=30)
return r.json()["usage"]["total_tokens"]
start = time.time()
with concurrent.futures.ThreadPoolExecutor(max_workers=8) as ex:
tokens = sum(ex.map(call, range(100)))
dur = time.time() - start
print(f"总Token={tokens} 耗时={dur:.1f}s TPS={tokens/dur:.1f}")
业务侧系统提示词(直接粘到你的应用里):
你是企业知识助手。只依据给定资料回答,资料中没有的内容直接说“未找到”,不要编造。回答控制在 200 字以内,先给结论再给依据。
常见坑与验证方法
- 坑1:绿电阈值设太高导致排队。验证方法:看“任务排队时长”指标,若超过 10 秒,把阈值从 60% 降到 50% 再观察。
- 坑2:api_key 泄露。验证方法:在平台“密钥管理”里看调用来源 IP,发现异常立即轮换密钥。
- 坑3:Token 计数对不上。验证方法:用同一 prompt 连续调 3 次,比较
usage.total_tokens是否稳定;若波动大,检查是否开了流式输出导致统计口径不同。 - 坑4:模型冷启动超时。验证方法:部署后先发一条预热请求,确认首包延迟低于 5 秒再切流量。
- 验收标准:单条请求返回 200 且含 usage 字段;压测 TPS 达到你业务峰值的 1.5 倍;绿电占比报表连续 3 天高于设定阈值。
