
簡化分批法和一般分批法區別項很多,他們的區別主要在于以下幾個方面:
一、簡化分批法更加簡單,遵循“大小兩把分”的原則,將訓練數據分成兩類:大樣本和小樣本。大樣本用來對模型進行整體參數訓練,小樣本用來更新模型的具體參數。根據大小樣本比例的不同,簡化分批法分為全局性簡化分批法和局部性簡化分批法。
二、一般分批法將訓練數據分成一個一個小的batch,用來分步更新模型參數的數量。其中每一步更新的量和數據規模有關,這樣能夠加快訓練速度,減少梯度下降過程中計算量。
總的來說,簡化分批法是通過分類訓練數據來更新模型參數,而一般分批法是通過分割訓練數據來更新模型參數。這兩種方法都具有優勢,但在不同情景下,使用不同的分批法可以更好地實現訓練的效果,更接近最優解。
拓展知識:正則化分批法是近幾年提出的一種新型分批法,它主要是根據模型的正則化泛函來選擇樣本,來進行迭代更新模型參數。這種技術可以減少訓練時間,提高模型準確率,可以更好地適應大規模數據集訓練。














官方

0
粵公網安備 44030502000945號


