NAS vs Pruning

보통의 경우 NAS로 최적화 된 Pretrained Model에 Pruning을 사용한다.

 

Dataset이 충분하다고 가정했을 때

 

Pruning의 이점은 high-dimensional Space에서의 최적화 즉 local minum에 영향이 적은 space에 학습한 후 Pruning을 통해서 low-dimension으로 가는 것이다.

 

NAS의 Gradient Descent : DARTS: Differentiable Architecture Search

• learning the connection probability .. 도 Pruning과 비슷 ? 

In pruning, the high-dimensional search space:

• Increases the prevalence of saddle points, which can slow down optimization.
• Reduces the likelihood of encountering "bad" local minima but introduces the risk of pruning-induced suboptimal critical points.
• Sharpens the loss landscape as dimensionality decreases, making optimization harder post-pruning if not carefully managed.

NAS와 Pruning의 각각의 장단점과 추구해야하는 목적성이 무엇인가에 대해서 고민 중