国家知识产权局信息数据显现，天翼云科技有限公司请求一项名为“KV缓存优化办法、设备、核算机设备、可读存储介质和程序产品”的专利，公开号CN121615725A，请求日期为2025年11月。
专利摘要显现，本请求触及一种KV缓存优化办法、设备、核算机设备、核算机可读存储介质和核算机程序产品。所描绘的办法包含：核算输入至大言语模型的文本输入序列中每个元素对应的键向量和值向量；经过多头潜在注意力机制，对键向量和值向量进行低秩联合紧缩得到潜在向量，将潜在向量存储至KV缓存空间；根据缩放规律，确认最优的紧缩维度，从头生成适配的潜在向量并更新KV缓存空间；针对同一文本输入序列，生成对应的查询向量，将查询向量按预设分组规矩进行分组；核算每一分组与相应调取的潜在向量之间的语义相关权重，作为分组注意力核算结果；在推理过程中，核算潜在向量和分组注意力核算结果核算注意力权重。选用本办法可以进一步削减KV缓存的存储需求。
天眼查资料显现，天翼云科技有限公司，成立于2021年，坐落北京市，是一家以从事互联网和相关服务为主的企业。企业注册资本476399万人民币。经过天眼查大数据分析，天翼云科技有限公司共对外出资了5家企业，参加招投标项目2790次，产业线条，此外企业还具有行政许可15个。
声明：商场有危险，出资需谨慎。本文为AI根据第三方数据生成，仅供参考，不构成个人出资主张。
