AI工程师实战营: 从RAG到智能代理, 全面掌握构建, 测试与监控AI助手的艺术 | AI Engineering Buildcamp: From RAG to Agents

构建你自己的代理式AI助手

这门课程将通过实践和项目导向的模块，带领你从核心概念深入到生产级别的AI系统。

LLMs & RAG

• 学习内容：大型语言模型（LLMs）和检索增强生成（RAG）。使用OpenAI SDK构建对话代理，并创建数据处理管道。
• 成果：一个基于真实数据的RAG管道。

Agentic Flows + MCP

• 学习内容：通过函数调用添加智能行为，使用如PydanticAI等库以及Agents SDK。通过MCP暴露工具。
• 成果：能够使用工具的功能强大的代理。

Testing & Evaluation

• 学习内容：通过测试和离线评估进行改进。使用LLMs作为评判者来比较不同的方法。学习使用Evidently和LangWatch等工具。
• 成果：经过全面测试和评估的助手。

Monitoring & Guardrails

• 学习内容：使用Grafana、Pydantic Logfire和OpenTelemetry实现可观测性和安全性。
• 成果：实时监控能力。

Use Cases

• 学习内容：创建两个代理：一个网站生成器和一个代码审查员。了解其他应用场景。
• 成果：理解多种应用场景并能应用所学知识。

Capstone

• 学习内容：使用你的数据构建端到端的AI应用程序。
• 成果：一个准备好加入个人作品集的项目。

黑客马拉松：合作解决现实世界的问题

完成本课程后，你将能够：构建、评估和监控智能助手；创建深度研究和编码代理；拥有一个打磨好的作品集项目。

你将学到什么

在6周内创建你自己的生产就绪型AI应用程序。

🛠️ 从零开始构建一个完全功能的AI助手

• 构建一个能够回答来自GitHub仓库、YouTube字幕或内部文档问题的对话式AI助手。
• 使用检索增强生成（RAG）技术和OpenAI API。

🤖 向你的AI系统添加智能行为

• 构建能够进行推理、决策和执行动作的系统，通过函数调用来实现。
• 使用如PydanticAI和OpenAI的Agent SDK等工具。
• 利用MCP扩展代理的能力。

🔧 使用测试和评估改进提示和结果

• 使用单元测试和评判者来测试应用程序。
• 学习如何使用排名指标、模拟用户查询以及利用LLMs评判输出来评估你的应用。
• 采用数据驱动的方法选择最佳的提示、模型和分块策略。

📈 监控你的应用程序

• 使用Grafana、Pydantic Logfire、Evidently和LangWatch设置现实世界的监控。
• 实时跟踪成本和token使用情况。
• 添加安全措施以防止应用程序被滥用。

🔧 构建超过8个项目

• 包括FAQ助手、YouTube视频问答系统、维基百科搜索和总结系统、文档代理。
• AI编码代理、深度研究代理和代码评估代理。
• 更多项目：课程结束时的顶点项目和黑客马拉松。

🎓 完成一个从头到尾的顶点AI项目

• 设计并从零开始构建你自己的端到端AI应用程序。
• 这可以是任何东西，从简历评审器到播客摘要生成器——全面测试、评估和监控。

这门课程不仅教你理论知识，还提供大量动手实践机会，帮助你在实际项目中应用所学技能，最终完成一个展示作品集的项目。