전체 글 (51) 썸네일형 리스트형 Mixed Precision & Hugging Face Accelerate 1. Mixed Precision (혼합 정밀도)란?기본적으로 PyTorch는 모델의 파라미터와 연산에 FP32 (32-bit Floating Point)를 사용합니다. Mixed Precision은 말 그대로 정밀도를 섞어서 사용하는 기술입니다.FP16 (Half Precision): 행렬 곱셈(Conv, Linear) 등 무거운 연산에 사용. (메모리 절반, 속도 빠름)FP32 (Single Precision): 정확한 수치가 중요한 Loss 계산, Gradient Update 등에 유지.이를 통해 VRAM 사용량을 줄여 Batch Size를 키우고, Tensor Core를 활용해 학습 속도를 비약적으로 향상시킬 수 있습니다.2. 핵심 원리: Loss Scaling과 GradScalerFP16을 사.. TinyEngine and Parallel Processing Agents PPO (Proximal Policy Optimization Algorithm) flow matching EfficientML.ai TinyML on Microcontrollers EfficientML.ai KD(Knowledge Distillation) EfficientML.ai NAS (Neural Architecture Search) 이전 1 2 3 4 ··· 7 다음
