固定預算法有哪些

固定預算法是指在給定的預算約束條件下，滿足優化目標的一種優化策略。

常見的固定預算法有兩種：隨機梯度優化算法（SGD）和拓撲約束優化算法（TCO）。

隨機梯度優化算法是一種常用的機器學習算法，它通過不斷地迭代更新權重來最小化損失函數。它的核心思想是，當輸入數據經過神經網絡模型后產生輸出結果，根據輸出結果求出與實際預期誤差的損失函數，隨機梯度算法可以用于優化這個損失函數，通過不斷調整神經網絡中的參數，來降低損失函數的值。

拓撲約束算法（TCO）是一種常用的機器學習算法，它將拓撲結構作為參數約束，嘗試在給定約束條件下最大化特征函數。與隨機梯度優化算法不同，拓撲約束優化算法旨在在給定約束條件下完成優化，而不是為了最小化損失函數。因此，拓撲約束優化算法可以有效避免過擬合。

拓展知識：在機器學習中，優化過程一般分為兩個步驟：搜索和優化。搜索階段，可以使用最陡下降算法（SGD），模擬退火算法（SA），貝葉斯優化算法（BO），遺傳算法（GA）等，來嘗試尋找模型參數的全局最優解。優化階段，則可以使用梯度下降算法（GD），共軛梯度算法（CG），爬山算法（SA），拉格朗日乘子法（LP）等，來精確的優化模型參數。