随着大型语言模型（LLMs）的快速发展，人工智能（AI）在支持复杂现实任务方面的能力得到了显著提升，研究逐渐超越文本边界，进入多模态环境，催生了多模态大型语言模型（MLMs）。当前，基于LLM的助手在解决技术或特定领域问题中的应用日益广泛，未来的趋势是扩展这些助手的输入领域，以充分利用MLMs。这些MLMs理想情况下应作为程序性任务中的实时助手，能够集成用户所处环境的视图，甚至通过虚拟现实（VR）...