字节Seed团队发现DeepSeek-V4检索能力随Token位置周期性波动

字节Seed团队研究发现，DeepSeek-V4系列模型在长上下文检索任务中的表现会随信息在输入中的位置发生周期性变化，波动周期与KV Cache压缩步长一致。在128K上下文测试中，DeepSeek-V4-Flash-Base的准确率差距最高达40.2个百分点，后训练和架构迭代可缩小该差距。