提出了一种新的自我改进框架——互信息偏好优化（MIPO），旨在提升大型语言模型（LLMs）的个性化能力，而无需依赖外部监督或人类标注的数据。MIPO通过对比数据增强方法构建偏好对，生成一个基于正确提示的正响应和一个基于随机无关提示的负响应。该方法有效利用现有数据，避免了高质量新数据收集的高成本，同时超越了传统可验证任务的局限性。实验结果表明，MIPO在多个领域中显著提升了模型的个性化表现，展示了自...