有观察认为,全球AI业态已进入规模化落地的关键时期,Token成为AI时代的“水电煤”,是大模型服务与智能应用的核心生产要素。近日在北京举行的“中科创星硬科技媒体行——清程极智专场活动”上,翟季冬表示,伴随Agent智能体、多模态应用快速普及,Token正从交互用量转向生产用量,直接促进业态对推理效率、部署成本、服务稳定性的要求持续攀升。Token需求爆发,国产算力与国产模型迎来高速发展,但二者之间的推理环节却长期依赖海外引擎。此时,Token服务市场正经历的乱、贵、慢、选型难等突出问题,也成为制约AI技术普惠化、规模化落地的瓶颈。作为清程极智首席科学家,翟季冬介绍说,团队针对大模型部署成本高、国产算力适配不足的痛点推出赤兔推理引擎。同时,面对Token服务市场服务商林立、指标混乱、选型成本高的行业乱象,打造AI Ping一站式大模型服务评测与API该领域。据悉,该平台已接入600余个大模型服务,覆盖文本、图片、视频等全场景,通过7×24小时多地域分布式监测,实时输出延迟、吞吐、可靠性、价格等核心指标,数据真实可核验。“中国拥有世界上最繁荣的开源模型生态,AI算力连续上升。借助Token调用采用AI大模型的用户也日益增多。”翟季冬表示,他们将连续深耕AI基础设施行业,该领域自主可控,连续迭代赤这一研究的适配能力,完善AI Ping评测与路由服务。
<