对话式查询生成旨在从对话历史中生成搜索查询，这些查询随后用于从搜索引擎中检索相关知识，以帮助基于知识的对话系统。先前模型旨在最大化黄金查询的可能性，但它们存在数据饥渴问题，在推理时往往会从对话历史中删除重要概念并生成无关的概念。我们将这些问题归因于过度关联现象，即大量黄金查询与对话主题间接相关，因为注释者在生成这些黄金查询时可能会无意识地利用其背景知识进行推理。我们仔细分析了这种现象对预训练的 Seq2seq 查询生成器的负面影响，然后提出了有效的实例级加权策略，从多个角度缓解这些问题。在两个基准数据集（Wizard-of-Internet 和 DuSinc）上的实验表明，我们的策略有效地减轻了负面影响，并导致了显著的性能提升（自动指标和人工评估结果分别提升了 2%-5%）。进一步分析表明，我们的模型从对话历史中选择了更好的概念，并且比基线模型的数据效率高出 10 倍。代码可在 https://github.com/DeepLearnXMU/QG-OverAsso 获取。