大型语言模型（LLMs）在文本数据上展现出非凡的上下文学习（ICL）能力。我们探索了这些能力是否可以扩展到从黑盒预训练编码器获得的来自不同领域的连续向量。通过使用轻量级投影器将输入数据与 LLM 的嵌入空间对齐，我们观察到 LLM 可以有效地处理和学习这些投影向量，我们将其称为向量-ICL。特别地，我们发现使用通用语言建模目标预训练投影器可以实现向量-ICL，而特定于任务的微调可以进一步提高性能。在我们针对各种任务和模态（包括文本重建、数值函数回归、文本分类、摘要、分子字幕、时间序列分类、图分类和 fMRI 解码）进行的实验中，向量-ICL 通常优于少样本 ICL 和特定领域的模型或调优。我们还进行了分析和案例研究，表明 LLM 在处理传统基于标记范式之外的向量表示方面的潜力。