promptfoo

由 promptfoo 研发

开源项目 TypeScript 全球 free #ci #ci-cd #cicd #evaluation #evaluation-framework

关于产品

Promptfoo 是一个用于评估和红队测试大型语言模型 (LLM) 应用程序的命令行工具和库。它旨在帮助开发者构建安全、可靠的 AI 应用，摆脱试错法。它提供自动化评估、漏洞扫描、多模型对比和 CI/CD 集成，支持在本地运行，确保用户数据隐私。其特点是开发者优先、私密性强、灵活且经过实战检验，能提供数据驱动的决策依据。

核心能力

自动化LLM评估与基准测试
LLM应用红队测试与漏洞扫描
多模型（如OpenAI, Anthropic, Azure等）并行比较
支持CI/CD自动化集成
本地私密运行，数据不出本地

支持平台

desktopweb

资源链接

访问官网 ↗ GitHub 仓库 ↗