📄 中文摘要
大型语言模型（LLM）在应用中展现出强大的能力，但目前大多数生产级 AI 应用存在一个隐患：它们直接将应用程序连接到模型 API，而没有中间的检查层。这种直接连接缺乏运行时安全评分、对提示/响应风险的结构化日志记录以及对故障的可观察性。为了解决这一问题，开发了 SentinelLM，这是一款开源中间件，位于应用程序与 LLM 后端之间，提供安全性和可观察性。通过引入 SentinelLM，开发者可以更好地监控和管理与 LLM 的交互，确保应用的安全性和可靠性。
SentinelLM - 一种更安全、可观察的 LLM 系统的代理中间件
出处: SentinelLM - A Proxy Middleware for Safer, Observable LLM Systems
发布: 2026年3月1日
📄 English Summary
SentinelLM - A Proxy Middleware for Safer, Observable LLM Systems
Large Language Models (LLMs) exhibit powerful capabilities, yet most production AI applications face a hidden issue: they directly connect their applications to the model API without an inspection layer in between. This direct connection lacks runtime safety scoring, structured logging of prompt/response risks, and observability into failures. To address this problem, SentinelLM has been developed as an open-source middleware that sits between the application and any LLM backend. By introducing SentinelLM, developers can better monitor and manage interactions with LLMs, ensuring the safety and reliability of their applications.