今天，可能是成為創業者的絕佳時機。

但再強大的大模型 api，距離產品落地，仍有不少距離。

如何尋找最佳落地場景，根據場景找到最合適的大模型，解決模型的工程化部署以及數據的實時交互，以及如何在和用戶進行互動時，保證模型本身的的安全性以及用戶數據的安全性……

技術的落地，面臨著各種苦難和挑戰。

所幸，我們不是在 PC 互聯網早期的年代，需要手搓代碼、自行搭建服務器，所有業務完全從 0 起步。

我們有了云服務，以及圍繞云服務誕生的各種上下層的服務，讓創業，尤其是 AI 創業這件事，變得「如此簡單」。

在 AGI Playground 2024 上，亞馬遜云科技大中華區產品部 大數據與人工智能產品總監 Troy Cui，分享了亞馬遜云科技在幫助創業者如何實現 AI 應用、乃至應用出海上的優秀經驗。

以下內容基于公開演講，經 Founder Park 整理。

01 讓企業更輕松拿下全球市場

英國著名科幻作家亞瑟·克拉克曾提到：「任何非常先進的技術，初看都與魔法無異」，在人類歷史上，這句話被一次次的印證。

19 世紀，用電能驅動燈泡的時候，1979 年愛迪生發明電燈泡，極大地推動了第二次工業革命。

1947 年開始的數字革命，晶體管和運算放大器的創新引發了電子學的「大爆炸」，導致了手機和筆記本電腦的誕生，這場革命也徹底改變了通信方式，使科技成為我們日常生活的一部分。

1983 年，TCP/IP、互聯網技術的誕生，誕生了基于互聯網的各種新業務。亞馬遜也應運而生。

亞馬遜在線的零售業務，服務于全球數以億計的客戶。這些強大的技術也讓亞馬遜云科技在早期就關注到怎么去做管理和配置我們的基礎設施服務。

不管客戶規模大小，不管他有多新，也可以應用到和大公司同等能力的基礎設施服務，不管是存儲網絡還是數據服務，應該有一個擁有同等安全、按需付費、可靠且足夠經濟的方案。

時至今日，亞馬遜云科技在全球 33 個國家和地區有 105 個可用區，提供超過 200 個服務。

而且，這些服務仍舊在持續創新中。

哪怕是已經存在 18 年之久的 Amazon S3 存儲服務、數據庫服務，在去年也進行了新的發布——Amazon S3 Express。這已經是上一個 18 年，大家認為非常成熟的服務，亞馬遜云科技至今仍在做進一步的更新和迭代。

而借助亞馬遜云科技的服務，我們讓大量客戶可以更方便地服務全球客戶，開拓更多商業市場。

原來做錄像帶租賃的 Netflix，用了亞馬遜云科技的大量服務，如今在全球 190 多個國家和地區做流媒體服務。

對于中國企業的出海，也有像 OPPO 這樣借由亞馬遜云科技在海外進行布局的企業，他們已經成功做到全球手機出貨量 Top5。

02 構建 AI 應用第一步：選擇合適的模型

2023 年，ChatGPT 引領的 AI 之年。

亞馬遜云科技在幫助客戶做 AI 落地的過程中，也觀察到 2023 年是「生成式 AI 的 POC（概念驗證測試）年」。我們更多是做原型的驗證，以及可行性的驗證。

但是從去年年底到今年上半年，我們看到很多場景下，AI 已經真的逐漸被客戶用于生產了。很多企業客戶已經開始走這一步了，在這中間我們認為不可避免地會有以下四個內容要做。

首先要選好應用場景、切入場景；第二是要選擇一個合適的工具幫助落地；第三是真正落地后涉及到的三公里問題：工程化怎么解決？

這個問題很重要，當做到生產的時候就需要考慮規?；瘧?。今天是一個人、十個人、一百個人做 POC testing（proof of concept，概念驗證測試），但當開始生產的時候，DAU 要做到千萬級，你的工程化一定和 100 個人用完全不一樣。上線之后，一定會面臨非常多的監管，這又涉及到安全的問題怎么解決。

關于業務場景的選擇，首先是目標的創新，我們看到一些 toC 的業務，尤其是新的 workflow（工作流），往往是基于「目標」的創新。很多企業客戶，他們在思考創新從哪開始的時候，往往想的是從大處著眼、小處著手，think big but start small。先從一個具體的場景做可行性驗證，之后才在企業里面爭取更大的投入。

在場景選擇之外的另外三項，亞馬遜科技就有比較強大的能力，能夠支撐創業者依次實現項目的落地。

首先是模型和模型工具的選擇：Performance & Accepability（高性能，可觸達）。

大家普遍都會非常關注性能，在涉及選擇 AI 模型的時候，大家首先會思考「我要選擇什么樣的模型」，「我要保證這個模型在能力上能滿足自己應用的需求」。

在進行可行性驗證的時候，我們得知道「上限」在哪，選擇一個最棒的模型來保證自己的上限達標。

但是當我們去思考生產布局的時候，一個「上限」的 performance，不見得是你需要思考的全部。我們還需要考慮一個大模型的 inference status 能不能保證終端客戶的實時性要求？當你開始規?；鰳I務的時候，單一模型的推理成本是不是可以保證 ROI 在你的口徑空間里？

很多時候，我們在很多行業都會碰到一個三角難題，沒辦法同時滿足三項都達到完美。這里面一定會是一個折中的結果。

質量、時延和成本的不可能三角

這也是為什么亞馬遜云科技會推出 Amazon Bedrock 這款產品，我們致力于給大家提供廣泛的有頭部能力的模型選擇。

大家可以看到，今年我們陸續更新了 Claude 3.0、Mistral、Llama 3 等模型。6 月 21 日，Claude 3.5 Sonnet 也剛剛上線了亞馬遜科技的 Amazon Bedrock，它比 Claude 3 擁有更智能的能力，但價格只有 1/5。模型的迭代在我們看來是非?？斓?，Claude 3 上線三個月不到，我們就又上線了 Claude 3.5 這個模型。

而且，針對開發者，亞馬遜云科技打造了「云上探索實驗室」，可以免費體驗測試 Amazon Bedrock 上多個最新領先的基礎模型。（點擊「閱讀原文」即可免費體驗）

Amazon Bedrock 是我們提供給大家廣泛選擇模型的一個平臺，在海外大家都可以去訪問到 Claude 3 或者其他的模型。但我們也看到很多企業客戶，不希望用 AI SaaS 的服務，他們更希望把模型 host 在自己的私有化部署環境里。

這對這些需求，我們也提供了 SageMaker JumpStart，會把模型跟自己的 AIML 的 IDE 進行整合?？梢酝ㄟ^ SageMaker JumpStart 把科研界、學術界、工業界各種各樣的模型（包括 Hugging Face 上面的模型）集成到 JumpStart 上面，讓大家可以做本地化的 hosting。

零一萬物的若干模型，以及百川智能的模型也都已經上架了中國區的 SageMaker JumpStart。

有這么多模型可以選擇，所以模型的 evaluation 是非常重要的能力，我們需要能隨時比較「對于我的 use case，在我的應用場景下，什么模型是最適合我的」。

所以我們還提供了評估能力，同時還支持客戶模型導入。大家可以在比較線上的模型之外，把自己基于開源架構微調的模型進行導入，之后再通過 Bedrock API 為客戶提供服務。

我們的先鋒案例庫的客戶 WPS，他們在海外是通過 Amazon Bedrock 上 Claude 的能力給上億客戶提供服務，包括對于拼寫語法進行 spell check，以及潤色等功能。

當一個場景可以快速落地的時候，亞馬遜云科技可以提供優秀的模型能力，幫助場景快速實施。

03 選好模型只是創業第一步

真正要把一個生成 AI 的應用完成落地和部署，只靠模型遠遠不夠。

大多數的業務，我們都是調用已經存在的模型，但是這個模型大家都可以用，不是自己最重要的差異點。目前，我們的差異化往往來自于自己的數據，當你的數據足夠好，有足夠強的數據處理能力，能夠更快的把數據連接到 AI 模型或是進行 AI 輸出的時候，相對來說，會在市場上具備更強的差異化競爭能力。

比如說，這張圖是亞馬遜的購物助手 Rufus，它可以通過自然語言的能力給客戶提供購買建議。大家也可以從圖中看到，有多少點能夠連接到自己的數據處理與管理服務。

做一個搜索引擎，在搜索上面可能會涉及到整個對標簽的檢索；為了保證搜索的準確度，我們也會加一個 buffer（緩沖區），會加一個 cache（儲存器）；這里面會涉及到鍵值 (Key-Value) 存儲數據庫，我們的評論會在里面，所有的交易都會存在一個關系型數據庫里。

所以，如果我們真的要 build 一個有客戶體驗、有客戶交互的應用，只靠模型本身是完成不了大規模應用部署的。

這也是為什么亞馬遜云科技會搭一個完整的 Data&AI 的 flow。它會在每一個具體的 AI、user experience 和 data 的 linkage 之間構建數據分析服務和數據庫服務。

04 如何解決 AI 應用的實時交互難題

有一個非常好的數據存儲和數據分析服務之后，怎么滿足實時性？現在會有越來越多的應用進行實時的交互。

我們現在很多時候在 build 前端的，尤其是一些可穿戴設備的時候，會思考它怎么在用戶無感知的情況下收集周圍信息，并且它需要在一個貼近用戶本身需求的場景里做一個載體，或者做一個什么樣子的 AI model。

對于這件事情，亞馬遜云科技的回答是：「我們會做一個 Zero-ETL（Extract Transform Load，數據的抽取轉換加載）的未來?！?/p>

未來我們會 build 一個所有數據的 flow 的時候，會不再需要一個 hard coded 的 ETL 的代碼和流程。我們希望把一些 heavy lifting 的，復雜的 ETL 工作做到無感知的數據流動。

數據拿過來之后，最后的落地還有很多工程化的工作。比如，我們要把所有的 data flow 跟客戶已經存在的數據管理的系統鏈接起來，我們要把數據的訪問權限管理起來等等。這些都是我們工程化工作的一部分。

有三個例子，介紹亞馬遜云科技怎么幫助我們客戶做到這一點的。

首先是西門子。西門子上線了一個內部 IT 和 HR 的問答系統，系統后面有非常多的數據訪問，涉及到歷史政策，歷史文檔，產品說明書等，實際上通過向量化，向量數據庫，向量存儲以及 RAG 方案，提供一些 sample code 給到客戶。然后由西門子的開發團隊自己搭建起來，把它付諸上線。它已經服務于內部大概四五千人的規模，現在在向西門子全國各個工廠做下一步的延伸。

德比軟件，每到月末的時候，業務團隊有大量口語化的 BI 查詢需求，BI 查詢現在有非常多 text2SQL 能力。但是在這家這個場景里，Prompt Engineering 加 text2SQL，暫時沒辦法完整地達到客戶對 BI 或者 Generative BI 的要求。

那這件事情在工程化怎么實現？我們把常用的問題，以及對應的查詢導入向量數據庫。對于新的查詢，用 vector database 去搜索最近的解，再通過 prompt engineering 做一個最優的反饋回來，實際上有非常多的工作化落地的方式，沒辦法通過一個技術完整的完成，而是通過后面很多的 workaround 一起做實施。

對于某制造型企業，有超過 21 萬份的產品說明書，多達幾千的 SKU，多語言。我們在幫企業客戶落地的時候，非常依賴自己的合作伙伴。這個 Case 我們用的是鴻翼，為其提供一個產品化能力的實現。

AI 應用落地的最后三公里，從一個 typical use case 落地，再到落地 10 個，100 個，很多客戶都在說要把已有的 use case 用生成式 AI 做重構，這需要企業有一個專業化團隊來完成，通過第一個，第二個、第三個項目做 On Project Training，把這個團隊訓練起來，盡可能完成所有的 genAI 的重構。

05 負責任的 AI 應該怎么做？

最后一點，我想跟各位分享的是 Responsible AI——負責任的人工智能。

大家現在非常關心用生成式 AI 來做什么？做什么樣的創新 use case？剛才也提到企業客戶用生成式 AI 重寫已經存在的 workflow。但是生成式 AI 賦能生產落地的時候，會帶來很多我們之前沒有預知到的風險。

亞馬遜云科技最高的標準就是要做負責任的人工智能。我們分成 6 個點：公正性，可解釋性，穩健性，隱私安全和治理，透明。亞馬遜云科技在給客戶提供服務的時候，會說 Security 是我們的 Job-Zero，是首先要保證的。

針對 LLM，OWASP（開放式 Web 應用程序安全項目）提出了 10 個潛在的安全風險。

比如，聊天對話的場景，要保證輸出要符合核心價值觀；查詢問答場景，要保證個人信息不會被泄露；在做嚴肅討論的時候，法律等等，得保證給的回答不能是錯誤的，你可以告訴我不知道。出海的話，很多問答場景對于種族、對于性別、對于年齡不可以有偏見。這些是在模型本身準確記錄率之外需要關注的點。

此外，我們自己不會用客戶任何的數據做訓練，且一直在踐行這種承諾。如果我們客戶需要做微調的模型，數據會在一個私有化環境里，不會暴露到外網。

Amazon Bedrock 還會支持已經存在的國際化標準，出海的話，醫療要滿足 HIPPA，歐洲有 GDPR，歐盟還在對 GenAI 有一個額外的法律法規出臺，亞馬遜云科技非常緊跟對應的監管要求。

我們專門 build 了一個 Bedrock 上面的工具，確保用戶與應用之間的交互是安全，合規，可控的。Amazon Bedrock Guardrails 是目前主流的云廠商里面提供的唯一的解決方案，可幫助客戶阻止多達 85% 的有害內容。

大家用 Guardrails，可以用自動化的方式去做，可以預設需要它達到一個什么樣的安全合規標準。也可以帶入自己的實際需求，通過 Guardrails 和人工雙向解決這樣的問題。實際上當我們把一個產品落地的時候，要解決一個具體的安全合規和有標準監控的時候，Guardrails 這樣的工具可以幫助大家非?？斓膶崿F這一點。

06 現在是成為創業者的絕佳時機

當我們擁抱生成式 AI 技術時，往往面對三個大的挑戰：底層算力的資源短缺，缺乏一個部署和訪問一流模型的構建工具，以及開箱即用快速上手的應用。我們深知客戶的這些痛點，并一直在努力，讓生成式 AI 普惠化。

為此，亞馬遜云科技推出了生成式 AI 技術棧，底層以 GPU 和自研芯片為代表，用于基礎模型訓練以及在生產環境中運行推理；中間層以 Amazon Bedrock 為代表，提供各種基礎模型和工具。頂層則是以 Amazon Q 為代表，提供開箱即用的生成式 AI 應用程序，用戶無需任何專業知識即可快速上手。

開發者做創新，做一個新的 workflow，往往是在它的最上層應用層。但你在搭應用時，往下有我們的 framework，infrastructure，亞馬遜云科技有非常多的能力支撐大家 build 一個非常出圈的應用。

我們沒有趕上工業革命，很多年輕創業者甚至沒有經歷上一代 PC 和互聯網，但是今天，我們所有人，都有幸處在下一個技術變革的偉大時代，大家可以去 build 自己的 magic。

*頭圖來源：極客公園

本文為極客公園原創文章，轉載請聯系極客君微信 geekparkGO