LLM2D
优化上下文增强关系连接
Optimizing Context-Enhanced Relational Joins
作者: Viktor Sanca, Manos Chatzakis, Anastasia Ailamaki
发布日期: 2/14/2025
arXiv ID: oai:arXiv.org:2312.01476v2

摘要

arXiv:2312.01476v2 通知类型: 交叉替换 摘要: 在数据处理管道中从关系性和富有上下文的多模态源收集数据、提取价值并结合见解是一项挑战,对于传统的关系型DBMS而言尤为如此。虽然关系操作符允许声明和优化查询的指定,但它们局限于无法捕捉或分析上下文的数据转换。另一方面,表示学习模型可以将富有上下文的数据映射成嵌入,这使得机器自动化处理上下文成为可能,但需要将命令式数据转换与分析性查询集成。为了弥合这一分歧,我们提出了一种增强上下文的关系连接,并引入了一个与关系操作符可组合的嵌入操作符。这使得能够进行混合关系和富有上下文的向量数据处理,并且与关系代数具有代数等价性,同时具备相应的逻辑和物理优化。我们调查了模型-操作符交互在向量数据处理中的表现,并研究了E-连接操作符的特性。通过一个字符串嵌入的示例,我们展示了如何使用向量嵌入在关系连接操作符上实现增强上下文的混合处理。从逻辑到物理的整体优化的重要性通过大幅缩短执行时间得到了验证。