图学习是一个广泛研究的领域，致力于学习节点之间的复杂关系以及图的拓扑结构。多年来，图学习已从图论扩展到图数据挖掘。随着表示学习的出现，图学习在各种场景中取得了显著的性能。由于其广泛的应用前景，图学习吸引了大量的关注。尽管一些研究者在图学习方面取得了令人印象深刻的综述成果，但他们未能以更连贯的方式连接相关目标、方法和应用。因此，他们未能涵盖当前丰富的场景和由于图学习快速扩展而带来的挑战性问题。特别是，大型语言模型最近对人类生活产生了颠覆性影响，但它们在结构化场景中也显示出相对的弱点。如何通过图学习使这些模型更加强大仍然是一个开放的问题。我们的综述聚焦于将图学习与预训练语言模型集成的最新进展，特别强调它们在大语言模型领域的应用。与之前的图学习综述不同，我们提供了一个全面的回顾，从图结构的角度分析当前的工作，并讨论图学习的最新应用、趋势和挑战。具体来说，我们首先提出一个分类法，然后总结图学习中使用的方法。接着，我们详细阐述了主流应用。最后，我们提出了未来的研究方向。