LLM2D
代 meeting 同行:在我们 behalf 上评估语言模型的会议参加能力
MEETING DELEGATE: Benchmarking LLMs on Attending Meetings on Our Behalf
作者: Lingxiang Hu, Shurun Yuan, Xiaoting Qin, Jue Zhang, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang
发布日期: 2/10/2025
arXiv ID: oai:arXiv.org:2502.04376v1

摘要

arXiv:2502.04376v1 宣告类型: 交叉 摘要: 在当代的工作场所中,会议对于交流想法和确保团队协调是必不可少的,但往往会面临时间消耗、日程冲突和参与不高效的挑战。近日,大型语言模型(LLMs)在自然语言生成和推理方面的强大能力得到了证明,引发了这样一个问题:LLMs 是否能够有效地安排会议参与者?为了探索这个问题,我们开发了一个基于LLM的会议参与者系统,并创建了一个基于真实会议记录的全面基准。我们的评估显示,GPT-4/4o 在活跃参与和谨慎参与策略之间保持了平衡的表现。相比之下,Gemini 1.5 Pro 更倾向于谨慎参与,而 Gemini 1.5 Flash 和 Llama3-8B/70B 则表现出更多的活跃倾向。总体而言,约 60% 的响应至少涵盖了真实情况中的一项关键点。然而,为进一步减少无关或重复的内容,并提高对常见于实际环境中的转录错误的容忍度,仍需做出改进。另外,我们还在实际环境中实现了该系统,并收集了演示的真实反馈。我们的研究结果强调了利用LLMs作为会议参与者增的潜力和挑战,并提供了有关其在缓解会议负担方面的实际应用的宝贵见解。