머신러닝4 ChatGPT 성능 올리는 Chain of Thought 프롬프트 방법? 날이 지나갈 수록 인공지능의 성능이 향상되고 있습니다. 그 인공지능 중에는 ChatGPT가 있죠. LLM인 ChatGPT는 프롬프트를 받으면, 그에 맞는 답을 제공합니다. 하지만, 항상 정답은 아니죠. 이런 LLM의 성능을 향상시키기 위해, 부가적인 프롬프트를 사용하는 경우가 많습니다. 예를 들어, "정확하게"라는 프롬프트, "너는 이 분야의 전문가야"라는 간단한 프롬프트도 도움이 됩니다. 이번 포스트에서는 최근 ChatGPT에도 적용됐다고 추측되는 Chain-of-Thought (CoT)라는 프롬프트 기법을 소개드립니다. https://arxiv.org/pdf/2205.11916 생각의 사슬? Chain-of-Thought? 그게 뭔데?생각의 사슬이라고 하면, 조금 생소하게 느껴집니다. 생각의 사슬.. 2025. 1. 8. [옵티마이저 설명] Adam: A Method for Stochastic Optimization (2015) Part 03 PyTorch 코드 구현 들어가기에 앞서 이 포스트는 Part 03에 해당되며, Adam의 수식을 기반으로 실제 사용 가능한 PyTorch 기반의 Adam optimizer를 구현하는 것을 목표로 하고 있습니다. 이 시리즈에 대한정보는 다음과 같습니다. Part 01: Adam의 기본적인 원리 파악, 코드 구현 및 장단점 분석 Part 02: Adam 논문 분석 Part 03: PyTorch로 코드 구현 Part 04: Adam이 왜 잘 되는지 수학적으로 증명 (Convergence 증명) Python 코드부터 일단 구현해 보자 PyTorch용 코드를 구현하기 전에 python으로 대강 코드를 작성해 보겠습니다. 이걸 우린 유사코드라고 부르죠? 실제 PyTorch 코드와 유사하게 작성해 봤습니다. 우선 모델의 파라미터는 laye.. 2023. 11. 5. [옵티마이저 설명] Adam: A Method for Stochastic Optimization (2015) Part 02 논문 분석 들어가기에 앞서 이 포스트는 Part 02에 해당되며, Adam 논문을 분석하는데 초점이 맞춰져 있습니다. 특히 bias correction term의 의미와 수식 그리고 실제 이것이 성능에 어떻게 영향을 주는지르 알아볼 것입니다. 이 시리즈에 대한정보는 다음과 같습니다. Part 01: Adam의 기본적인 원리 파악, 코드 구현 및 장단점 분석 Part 02: Adam 논문 분석 Part 03: PyTorch로 코드 구현 Part 04: Adam이 왜 잘 되는지 수학적으로 증명 (Convergence 증명) 논문 https://arxiv.org/pdf/1412.6980.pdf Bias correction term은 왜 있는 거야? 논문에서 bias correction term은 Adam의 adaptiv.. 2023. 11. 4. [옵티마이저 설명] Adam: A Method for Stochastic Optimization (2015) Part 01 들어가기에 앞서 이 포스트는 Part 01에 해당되며, Adam의 기본적인 원리를 쉽게 알고, 이해하는데 초점이 맞춰져 있습니다. 이 시리즈에 대한정보는 다음과 같습니다. Part 01: Adam의 기본적인 원리 파악, 코드 구현 및 장단점 분석 Part 02: Adam 논문 분석 Part 03: PyTorch로 코드 구현 Part 04: Adam이 왜 잘 되는지 수학적으로 증명 (Convergence 증명) Adam: 일단 써보면 좋은 것 인간도 개개인마다 학습 방법이 다르듯 인공지능도 개개의 모델에 맞는 옵티마이저가 존재합니다. 보통 이런 옵티마이저는 모델을 소개한 논문에서 알려주기 마련입니다. 예를 들어 EfficientNet의 경우 논문을 보면 RMSProp를 사용했던 것으로 나옵니다. 이처럼 인.. 2023. 11. 4. 이전 1 다음
