arXiv:2503.06778v2 通知类型: replace-cross 摘要：事件标注对于识别市场变化、监测突发新闻以及理解社会趋势至关重要。尽管专家标注者制定了黄金标准，但人工编码成本高昂且效率低下。与专注于单一上下文的信息提取实验不同，我们评估了一种整体工作流，该工作流去除了无关文档、合并关于同一事件的文档，并标注这些事件。虽然基于LLM的自动化标注方法比传统TF-IDF基于的方法或事件集整理更好，但与人类专家相比，它们仍然是不可靠的标注者。然而，将LLM添加到帮助专家进行事件集整理中可以减少变量标注所需的时间和心理努力。当使用LLM提取事件变量以辅助专家标注者时，他们与完全自动化的LLM标注的提取变量的同意度更高。