美國陸軍日前宣布，由於生成式 AI 使用量暴增，原本宣稱「不限量」的 token 配額不得不重新收緊。這一決定揭示了美軍在推廣 AI 技術時所面臨的巨大挑戰。
現象觀察：6 月就用完一年配額
根據軍方信件顯示，陸軍戰鬥能力發展司令部（DEVCOM）人員被告知，AI token 消耗速度遠超預期。軍方在 6 月中旬就用光了陸軍 CIO 的 token 池，迫使軍方恢復限額，以維持目前的使用水準。陸軍年度企業方案總量為 1 億個 token，單一 token 約等於 3.7 個字元。
陸軍曾於 5 月宣布 token「不限量」，每位員工每月至少有 20 萬 token 額度，若提前用完還會自動補充。有註冊卻不常用 Ask Sage 的人，系統甚至會寄信催促他們多用。然而，陸軍與國防部短時間內就把整年的配額消耗殆盡，甚至有匿名軍方人員形容，整個陸軍幾乎為單一單位就燒掉了整年的 token。
原因剖析：成本與管理失衡
首先，生成式 AI 的運算成本極高，這成為各機構擴大應用的主要瓶頸。陸軍使用的 Ask Sage 是一個多模態生成式 AI 平台，可串接 Alphabet Gemini、Meta Llama 與 OpenAI ChatGPT 等大型語言模型。這些模型的運算需求巨大，導致 token 消耗迅速。
其次，陸軍在初期推廣 AI 時，可能過於樂觀地低估了使用量。有員工坦言，實務面上，Ask Sage 的表現並不如預期，甚至有時模型聲稱完成任務卻沒有實際執行。這種情況下，大量 token 被無效使用，進一步加劇了資源的浪費。
再者，陸軍內部對於 AI 的管理和監控不足。系統自動補充 token 的機制雖然方便，但也容易導致過度使用。系統甚至會催促用戶多用 AI，這無疑加劇了資源的快速消耗。
影響評估：推廣與預算之間的平衡
這次限縮措施暴露了美軍在推動 AI 技術時面臨的嚴峻挑戰。一方面，生成式 AI 在提升工作效率、優化決策等方面具有巨大潛力；另一方面，高昂的成本和管理難度使得推廣過程充滿困難。
生成式 AI 的高成本已經成為各方擴大應用的主要瓶頸。陸軍不得不在推廣 AI 技術與控制預算之間重新尋找平衡點。這不仅影響陸軍的日常運作，也可能對其他軍種和政府機構的 AI 推廣計劃產生影響。
趨勢預測：未來方向何在？
從產業面來看，生成式 AI 的應用前景依然光明，但需要更精細的管理和更高效的資源利用。陸軍此次經歷可能會促使各機構在未來更加謹慎地評估和管理 AI 資源，以避免類似的情況再次發生。
生成式 AI 的推廣需要兼顧技術進步和成本控制，未來的關鍵在於如何實現兩者的平衡。這不仅需要技術上的創新，也需要管理上的智慧。
未來，我們可以預見，各機構將更多地採用混合模式，結合雲端和本地部署，以降低運算成本並提高資源利用率。此外，AI 模型的優化和精簡也將成為研究的重點方向。
面對生成式 AI 的高成本和管理難度，讀者不妨思考：在自家企業或組織中，如何更好地利用 AI 技術，同時控制成本？你的看法又是什麼？
本文改寫整理自公開新聞來源，原始報導由科技新報發布。
常見問題 FAQ
美國陸軍為什麼要限制 AI token 的使用？
美國陸軍在 6 月中旬就用完了年度 token 配額，為了維持目前的使用水準，不得不恢復限額。
Ask Sage 是什麼？
Ask Sage 是一個多模態生成式 AI 平台，可串接 Alphabet Gemini、Meta Llama 與 OpenAI ChatGPT 等大型語言模型，支援陸軍企業級 LLM 工作區。
生成式 AI 的主要瓶頸是什麼？
生成式 AI 的主要瓶頸是高昂的運算成本和管理難度。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。
About the Author
