옵티마이저6 SAM PyTorch 코드 분석 (Sharpness-Aware Minimization) SAM: Sharpness-Aware Minimization이란? https://with-neural-network.tistory.com/entry/%EC%98%B5%ED%8B%B0%EB%A7%88%EC%9D%B4%EC%A0%80-%EC%84%A4%EB%AA%85-SAM-Sharpness-Aware-Minimization-for-Efficiently-Improving-Generalization-2021 [옵티마이저 설명] SAM: Sharpness-Aware Minimization for Efficiently Improving Generalization (2021) 현존하는 인공지능의 문제점? 현존하는 인공지능의 문제점은 학습 데이터에 overfitting 돼 있다는 것입니다. overfitting 은 .. 2023. 11. 3. [옵티마이저 설명] SAM: Sharpness-Aware Minimization for Efficiently Improving Generalization (2021) SAM 코드 분석 https://with-neural-network.tistory.com/entry/SAM-PyTorch-%EC%BD%94%EB%93%9C-%EB%B6%84%EC%84%9D 현존하는 인공지능의 문제점? 현존하는 인공지능의 문제점은 학습 데이터에 overfitting 돼 있다는 것입니다. overfitting 은 일반화 성능의 주된 원인이기도 하죠. 특히 거대 언어 모델이 판치는 2023년의 사회에서 인공지능은 이러한 일반화 문제를 피할 수 없게 됐습니다. 이러한 문제점을 해결하기 위해 인공지능 학계는 여러 기법들을 도입했습니다. 일반화 성능을 위한 기존 기법들 일반화 성능을 이끌어 내기 위한 방법들로 제시된 것들은 다음이 있습니다. 아래의 방법들은 서로 동시에 사용할 수 있기 때문에, '.. 2023. 11. 2. 이전 1 2 다음
