企业 AI 的新经济学:从 token 成本转向有效成果成本
HPE 提出企业 AI 的成本衡量应从 token 或 GPU 小时单价转向"每个有用成果的有效成本",即完成可用工作所需的平台、模型、运维与算力总成本。企业可选择自建栈、按需消费或集成私有 AI 平台三条路径,HPE Private Cloud AI 通过调度、模型选择、GPU 分区和 KV-cache 管理提升利用率,并附 90 天前驻工程师服务。
HPE 提出企业 AI 的成本衡量应从 token 或 GPU 小时单价转向"每个有用成果的有效成本",即完成可用工作所需的平台、模型、运维与算力总成本。企业可选择自建栈、按需消费或集成私有 AI 平台三条路径,HPE Private Cloud AI 通过调度、模型选择、GPU 分区和 KV-cache 管理提升利用率,并附 90 天前驻工程师服务。
UC Berkeley 团队提出,推理成本已从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不足 $1,部分厂商低于 $0.10,基准测试中推理价格年降幅在 9x 到 900x 之间、中位数约 50x。作者据此提出三类数据系统挑战:为智能体设计的数据系统、支撑智能体群体运行的数据系统,以及由智能体自行合成并需可验证的数据系统。