연구주제거리,호기심 (2) 썸네일형 리스트형 NAS vs Pruning 보통의 경우 NAS로 최적화 된 Pretrained Model에 Pruning을 사용한다. Dataset이 충분하다고 가정했을 때 Pruning의 이점은 high-dimensional Space에서의 최적화 즉 local minum에 영향이 적은 space에 학습한 후 Pruning을 통해서 low-dimension으로 가는 것이다. NAS의 Gradient Descent : DARTS: Differentiable Architecture Searchlearning the connection probability .. 도 Pruning과 비슷 ? In pruning, the high-dimensional search space:Increases the prevalence of saddle points, w.. LORA/Pruning LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning How to prune Foundation Model for Domain Specific Efficiently? 이전 1 다음