这件事能做什么

联想“词元工厂”的思路很直白:把绿电直接喂给算力,算力跑推理,产出按 Token 计量。对做 AI 应用的人来说,它解决的是三件事:一是把推理成本从“按卡租”换成“按 Token 结算”,二是让绿电时段和推理任务对齐,三是给出一套可复用的调度接口。你可以把它当成一个“Token 生产流水线”:输入端是电力与模型,输出端是 API 可调用的 Token。

下面按最小可用路径走一遍:注册开通、配置绿电时段、部署模型、压测出 Token 速率、接业务。

准备工作

  • 联想智能算力平台账号(企业或个人均可,需实名)。
  • 一个可用的模型权重或模型市场里的现成模型(如 Qwen、Llama 系列)。
  • 本地装好 curl 和 Python 3.10+,用于调 API 和压测。
  • 确认你所在区域有绿电时段标识(平台控制台会显示“绿电占比”曲线)。
  • 准备一个业务侧的小测试集,20 条左右问答即可,用来验证 Token 质量。

分步骤操作

  1. 开通词元工厂:登录联想智能算力平台,左侧菜单点“词元工厂”,点“立即开通”,选择计费方式为“按 Token”,填写企业信息后提交。开通后页面会出现“Token 余额”和“绿电占比”两个卡片。
  2. 绑定绿电时段:进入“调度策略”→“绿电优先”,把“绿电占比阈值”设为 60%,把“任务类型”勾选为“在线推理”。这样当绿电占比高于 60% 时,推理任务优先调度到绿电节点,低于阈值时排队或降级到普通节点。保存后策略状态变为“生效中”。
  3. 选择并部署模型:点“模型市场”,搜索你要的模型,点“部署”。在弹窗里填:实例规格选 1 卡(先小规模验证)、副本数 1、最大并发 8、上下文长度按模型默认。点“确认部署”,等待状态从“创建中”变为“运行中”,通常 3-5 分钟。
  4. 拿到调用凭证:部署完成后点“API 接入”,复制 endpoint 和 api_key。注意 api_key 只显示一次,先存到本地环境变量:export TOKEN_FACTORY_KEY=你的key。
  5. 跑一次单条推理:用 curl 发一条请求,确认返回里有 usage.total_tokens 字段,这就是本次产出的 Token 数。
  6. 压测出 Token 速率:用 Python 脚本并发 8 路,跑 100 次请求,统计每秒 Token 数(TPS)。把这个数记下来,作为后续容量规划的基线。
  7. 接业务:把 endpoint 和 key 写进你业务服务的配置,把超时设为 30 秒,失败重试 2 次。上线后每天看“Token 消耗”和“绿电占比”两张报表,确认成本与绿电目标一致。

可直接复制的提示词与命令

单条推理请求:

curl -X POST "$ENDPOINT/v1/chat/completions" 
  -H "Authorization: Bearer $TOKEN_FACTORY_KEY" 
  -H "Content-Type: application/json" 
  -d '{
    "model": "qwen-7b",
    "messages": [{"role":"user","content":"用三句话说明绿电算力的价值"}],
    "max_tokens": 256
  }'

压测脚本(保存为 bench.py):

import os, time, concurrent.futures, requests
URL = os.environ["ENDPOINT"] + "/v1/chat/completions"
KEY = os.environ["TOKEN_FACTORY_KEY"]
H = {"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"}
BODY = {"model":"qwen-7b","messages":[{"role":"user","content":"写一句产品标语"}],"max_tokens":64}
def call(_):
    r = requests.post(URL, headers=H, json=BODY, timeout=30)
    return r.json()["usage"]["total_tokens"]
start = time.time()
with concurrent.futures.ThreadPoolExecutor(max_workers=8) as ex:
    tokens = sum(ex.map(call, range(100)))
dur = time.time() - start
print(f"总Token={tokens} 耗时={dur:.1f}s TPS={tokens/dur:.1f}")

业务侧系统提示词(直接粘到你的应用里):

你是企业知识助手。只依据给定资料回答,资料中没有的内容直接说“未找到”,不要编造。回答控制在 200 字以内,先给结论再给依据。

常见坑与验证方法

  • 坑1:绿电阈值设太高导致排队。验证方法:看“任务排队时长”指标,若超过 10 秒,把阈值从 60% 降到 50% 再观察。
  • 坑2:api_key 泄露。验证方法:在平台“密钥管理”里看调用来源 IP,发现异常立即轮换密钥。
  • 坑3:Token 计数对不上。验证方法:用同一 prompt 连续调 3 次,比较 usage.total_tokens 是否稳定;若波动大,检查是否开了流式输出导致统计口径不同。
  • 坑4:模型冷启动超时。验证方法:部署后先发一条预热请求,确认首包延迟低于 5 秒再切流量。
  • 验收标准:单条请求返回 200 且含 usage 字段;压测 TPS 达到你业务峰值的 1.5 倍;绿电占比报表连续 3 天高于设定阈值。