跨區域推論如何改變遊戲規則
跨區域推論功能的推出，意味著即使在你的應用程式所在的區域尚未提供所需的 LLM，你也可以通過訪問其他區域的模型來進行推論處理。只需一個簡單的設定，你就可以將推論請求從原始區域（來源區域）轉移到其他區域（跨區域），確保你的生成式 AI 應用程式能夠即時部署，無需再等待模型的本地可用性。以滿足某些區域沒有可用推論服務的用戶需求，本功能最先從Amazon Web Services（AWS）開始部署。Snowflake表示日後會持續將這功能推向 Microsoft Azure, Google Cloud Platform (GCP) 等其他平臺上。
例如，假設你需要使用 Snowflake Arctic 模型來處理文本摘要，而這個模型在你所屬的 AWS us-east-1 區域不可用。透過啟用跨區域推論，你可以將請求自動轉移到 AWS us-west-2 區域，並在那裡進行推論處理。最終結果將返回到你的來源區域，實現了跨區域的高效處理。
數據的安全性與傳輸保障
啟用跨區域推論後，數據會在不同區域間傳輸。當兩個區域都在 AWS 平台上時，數據將通過 AWS 全球網路進行私密傳輸，並保持在 AWS 的全球網路內。所有跨越 AWS 全球網路的數據都會在物理層自動加密，確保數據安全。如果區域涉及不同的雲端服務提供商，流量則會通過公共互聯網進行加密傳輸（使用 MTLS 加密）。在跨區域處理過程中，使用者的輸入、服務生成的提示和輸出不會被儲存或緩存，僅進行推論處理。
如何啟用跨區域推論
要在 Snowflake Cortex AI 中啟用跨區域推論，你只需設置帳戶級別的參數 CORTEX_ENABLED_CROSS_REGION。這個參數可以由 ACCOUNTADMIN 角色設置，並且可以配置為 AWS_US、AWS_EU 或 AWS_APJ 等值，根據你希望推論處理的區域進行選擇。
例如，如果你將參數設置為 AWS_US，Cortex AI 會在來源區域未提供所需 LLM 時，將推論請求自動轉移到 AWS us-east-1 或 us-west-2 區域進行處理。這一過程對用戶來說是完全透明的，不需要在目標區域進行任何額外設置。
定價與可用性
跨區域推論的使用不會帶來額外的數據傳輸費用。當你在某個區域內發出 LLM 功能調用，即使推論過程在其他區域內進行，消耗的資源仍會被計入你發出請求的來源區域。目前，Cortex AI 的跨區域推論功能已在所有支持 LLM 功能的區域和雲端服務提供商中推出。這包括 AWS 平台上的特定區域，例如 AWS_US、AWS_EU 和 AWS_APJ。
展望未來
隨著跨區域推論功能的推出，Snowflake Cortex AI 不僅提升了生成式 AI 的靈活性，還幫助企業更快地將最新的 LLM 整合到其應用程序中。這項新功能確保了無論你的 LLM 在哪個區域可用，你都能夠即時部署並滿足業務需求。未來，他們計劃進一步拓展此功能，使其支持更多雲端平台的跨區域推論，為企業提供更加靈活的解決方案。
跨區域推論讓生成式 AI 的部署變得更加無縫且高效。現在就啟用這一功能，利用 Snowflake Cortex AI 的強大能力，為你的客戶帶來前所未有的創新體驗吧！
*資料來源:
Comments