이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다. MDP와 벨만 방정식: 강화학습을 지탱하는 수학적 뼈대강화학습(Reinforcement Learning)의 이론적 근간은 마르코프 의사결정 과정(Markov Decision Process, MDP)이다. MDP는 “에이전트가 환경과 상호작용하며 시간에 따라 최적의 의사결정을 학습하는 과정”을 확률적 수식으로 모델링한 체계다. 이때 에이전트는 현재의 상태(State)를 관찰하고, 가능한 행동(Action) 중 하나를 선택하여 수행한다. 그 결과로 환경은 새로운 상태와 보상(Reward)을 반환하며, 이 상호작용이 시간의 흐름에 따라 연속적으로 반복된다. MDP는 다섯 가지 요소로 정의된다: 상태공간(S)..

이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다. 3강: 첫 번째 실습 CartPole: 엡실론-그리디(ε-greedy)로 균형 잡기강화학습은 목표 지향적 학습과 의사결정을 자동화하는 계산적 접근으로, 에이전트가 환경과 상호작용하며 보상 신호를 통해 누적 보상을 극대화하도록 학습한다.에이전트는 각 시점 t에서 관찰 $o_t$를 받아 정책 $π(a|o)$에 따라 행동$a_t$를 선택하고, 환경은 다음 상태로 전이하며 보상 $r_{t+1}$을 제공한다. 상태 $S_t$는 완전한 환경 정보를 포함하지만 관찰 $o_t$는 불완전할 수 있다. Action space는 이산형과 연속형으로 구분된다. 이산형은 왼쪽·오른쪽 등 유한 선택지이고, 연속형은 실수 벡터로 ..

이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다. 2강: 강화학습을 위한 PyTorch 기초: 텐서부터 오토그라드까지강화학습은 환경 속에서 에이전트가 보상을 극대화하도록 학습하는 과정이다. 이 학습이 가능하려면, 에이전트가 세상을 수치적으로 이해하고 경험을 데이터로 처리할 수 있는 기반이 필요하다. 그 중심에 있는 기술이 바로 PyTorch이다. PyTorch는 딥러닝을 구현하기 위한 핵심 도구로, 데이터를 표현하는 Tensor, 기울기를 자동으로 계산하는 Autograd, 신경망 구조를 설계하는 nn.Module, 그리고 학습 과정을 체계적으로 관리하는 Training Pipeline을 제공한다. 이 네 가지 구성 요소는 딥러닝 모델의 동작을 가능하게..

이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다.1강: 인공지능은 어떻게 걷는 법을 배우나?우리가 인공지능(AI)이라 부르는 개념의 중심에는 ‘학습’이 있다. 그러나 학습에도 여러 형태가 있다. 데이터를 주어 정답을 알려주는 지도학습(supervised learning), 정답 없이 패턴을 스스로 찾아내는 비지도학습(unsupervised learning), 그리고 주요 언급 내용인 ‘강화학습(reinforcement learning)’은 그 중에서도 가장 인간과 닮은 학습 방식이다. 강화학습은 지도학습처럼 누군가 정답을 알려주지 않는다. 대신, 세상과 부딪히며 시행착오를 반복한다. 잘한 행동에는 보상을 받고, 잘못된 행동에는 벌을 받는다. 이 단순한 ..

본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 해당 논문에서 발췌한 것입니다. 이 자료들은 논문의 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원 논문을 참고하여 확인하시기 바랍니다.이 글을 읽기전에 먼저 읽어보세요: Deep Unsupervised Learning using Nonequilibrium Thermodynamics">이 글을 읽기전에 먼저 읽어보세요:Deep Unsupervised Learning using Nonequilibrium ThermodynamicsDDPM은 데이터에 가우시안 노이즈를 단계적으로 주입하는 전방 확산 $q$을 **고정**해 두고, 이를 제거하는 가우시안 역과정의 평균만 신경망으로 학습하..

본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 해당 논문에서 발췌한 것입니다. 이 자료들은 논문의 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원 논문을 참고하여 확인하시기 바랍니다.이 논문은 비평형 통계물리(예: Jarzynski 평등식)와 순차 몬테카를로 아이디어를 차용해, 단순한 기준 분포(가우시안 등)를 데이터 분포로 점진적으로 변환하는 전방 확산 과정을 정의하고, 그 역과정을 가우시안 마르코프 전이(평균·공분산 함수)를 학습하여 되돌리는 “확산 확률모형”을 제안한다. 모델 자체를 “전이 사슬의 끝점”으로 정의함으로써 각 단계의 전이확률이 해석 가능해지고, 이에 따라 샘플링이 정확하며(체인 시뮬레이션), 로그우도(또는 ..