LLMOps: Managing Large Language Models in Production
| 作者 | Abi Aryan |
|---|---|
| 出版社 | 聯合發行股份有限公司 |
| 商品描述 | LLMOps打造穩定運行的大型語言模型系統：「使用AI來開發應用程式日益簡單，但在將LLM部署到生產環境時，才會面臨真正的挑戰。本書是我用來教導學生掌握複雜的LLMOps，並成 |
內容簡介
內容簡介 「使用 AI 來開發應用程式日益簡單，但在將 LLM 部署到生產環境時，才會面臨真正的挑戰。本書是我用來教導學生掌握複雜的 LLMOps，並成功部署大型語言模型的重要指南。本書以清楚、可行的解決方案，幫助讀者將 LLM 原型轉化為穩定、可投入生產的 AI 系統，是一本不可或缺的讀物。」 —— Ammar Mohanna，EDT&Partners 首席 AI 顧問暨貝魯特美國大學講師 「本書透過清楚、可實作的指導揭開 LLMOps 的神秘面紗。這本完美的資源非常適合機器學習工程師、平台團隊，以及想將 LLM 從原型推向生產環境的所有人。」 —— Nirmal Budhathoki，微軟資深資料科學家 大型語言模型的一大特點，是它們不再依循舊規則。在運行 GenAI 時，傳統的 MLOps 幾乎無助於事，模型會產生幻覺、安全假設不再成立、監視機制失靈、agent 可能無法正常運作，你會突然進入一片未知的領域。這就是 LLMOps 成為一個獨立領域的原因。 本書將帶領你在真正的使用者面前，以及在現實的商業環境中成功運行這些系統。本書不會教你做出華麗的 demo，而是教你讓 LLM 系統在現實世界中穩定運作。 • 掌握運作 LLM 所需的新角色與流程 • 在傳統指標無法全面反映效能時，監視 LLM 的實際表現 • 針對 GenAI 設計真正有意義的評估、治理、安全稽核機制 • 管理 agent、RAG 系統，與不斷演變的提示詞帶來的營運混亂 • 擴展基礎設施，並且控制運算成本
作者介紹
作者介紹 Abi Aryan 是 Abide AI 的創辦人兼機器學習研究工程師，擁有近十年建構生產級 ML 系統的經驗。她受過數學訓練，曾任 UCLA 認知系統實驗室的訪問研究學者，於 Judea Pearl 博士指導下，鑽研智慧型代理開發。目前她的研究重點包括 AI 代理的反思式智慧、多代理系統的分散式自我修復協定，以及超大型 AI 系統的 GPU 工程開發。
產品目錄
產品目錄 第一章 大型語言模型導論 一些關鍵術語 Transformer 模型 大型語言模型 LLM 架構 選擇合適的 LLM 企業級 LLM 應用場景 用 LLM 來開發的十項挑戰 結語 參考文獻 第二章 LLMOps 概論 什麼是運作框架？ LLMOps 團隊與角色 LLM 與你的組織 LLMOps 的四大目標 LLMOps 成熟度模型 結語 第三章 用LLM 來開發應用程式 在應用程式中使用 AI 模型 基礎設施應用 vLLM 與多模態 LLM 的興起 LLMOps 的核心問題 在以 LLM 為核心的應用程式中，你能控制什麼？ 內建 LLM 的基礎設施系統「更難」開發 結語 參考文獻 第四章 LLM 領域的資料工程 資料工程與 LLM 的興起 DataOps 工程師的角色 資料管理 LLM 通用資料預處理作業線 向量化 結語 參考文獻 延伸閱讀 第五章 讓 LLM 應用程式的模型適應領域 從零開始訓練 LLM 模型集成方法 模型領域適應 提示工程 微調 專家混合模型 為資源有限的設備優化模型 有效開發 LLM 的啟示 結語 參考文獻 第六章 以 API 為優先，部署 LLM 部署你的模型 為 LLM 開發 API API 實作 憑證管理 API 閘道 API 版本管理與生命週期管理 LLM 部署架構 將 RAG 自動化：使用 retriever re-ranker 作業線 自動更新知識圖譜 部署延遲優化 多模型調配 優化 RAG 作業線 隨需擴展與重複使用 結語 第七章 評估 LLM 為何評估是個難題 效能評估 一般評估考量 傳統指標已力有未逮 結語 第八章 治理：監視、隱私與安全 資料議題：規模與敏感性 安全風險 防禦措施：LLMSecOps 執行 LLMSecOps 稽核 安全與倫理護欄 結語 參考文獻 第九章 擴展：硬體、基礎架構與資源管理 選擇正確的方法 擴展與資源配置 監視 LLM 的 A B 測試與影子測試 配置與管理自動化基礎架構 LLM 基礎架構優化 LLM 的平行與分散式運算 進階框架：ZeRO 與 DeepSpeed 結語 參考文獻 第十章 LLM 與 LLMOps 的未來 不斷擴展，突破現有界限 混合式架構：融合神經網路與符號式 AI LLMOps 的未來 如何成為成功的 LLMOps 工程師 結語 參考文獻 延伸閱讀 索引
商品規格
| 書名 / | LLMOps打造穩定運行的大型語言模型系統 |
|---|---|
| 作者 / | Abi Aryan |
| 簡介 / | LLMOps打造穩定運行的大型語言模型系統：「使用AI來開發應用程式日益簡單，但在將LLM部署到生產環境時，才會面臨真正的挑戰。本書是我用來教導學生掌握複雜的LLMOps，並成 |
| 出版社 / | 聯合發行股份有限公司 |
| ISBN13 / | 9786264252430 |
| ISBN10 / | |
| EAN / | 9786264252430 |
| 誠品26碼 / | 2683066582000 |
| 頁數 / | 276 |
| 裝訂 / | P:平裝 |
| 語言 / | 1:中文 繁體 |
| 尺寸 / | 18.5X23X1.63CM |
| 級別 / | N:無 |
最佳賣點
最佳賣點 : 「使用 AI 來開發應用程式日益簡單，但在將 LLM 部署到生產環境時，才會面臨真正的挑戰。本書是我用來教導學生掌握複雜的 LLMOps，並成功部署大型語言模型的重要指南。本書以清楚、可行的解決方案，幫助讀者將 LLM 原型轉化為穩定、可投入生產的 AI 系統，是一本不可或缺的讀物。」