百川智能联手鹏城实验室 突破国产算力大模型长窗口技术
更新时间:2023-12-02 07:08:47 •阅读 0
11月16日,百川智能与鹏城实验室宣布携手探索大模型训练和应用,合作研发基于国产算力的128K长窗口大模型“鹏城-百川·脑海33B”,成为国产算力大模型创新与落地的一次实践。据介绍,上下文窗口长度对模型理解和生成与特定上下文相关的文本至关重要,该大模型的128K长上下文窗口基于“鹏城云脑”国产算力平台训练,未来可升级至192K,是基于国产算力训练的最长上下文窗口。百川智能表示未来将在技术、算力等诸多维度不断深化与鹏城实验室的合作,持续助力本土大模型创新发展。