이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다. PPO 완벽 해부: 가장 강력하고 안정적인 표준 알고리즘 앞선 논의를 통해 우리는 정책과 가치를 결합하는 Actor-Critic 구조가 정책 그래디언트의 불안정성을 상당 부분 해결했음을 확인하였다. A2C와 A3C는 평론가(Critic)의 평가 신호를 안정화하여 배우(Actor)가 올바른 방향으로 나아가도록 도왔다. 그러나 여전히 정책 학습에는 해결되지 않은 근본적인 문제가 남아 있었다. 바로 정책 자체가 한 번의 업데이트로 너무 멀리 이동해 버리면 학습 전체가 다시 무너질 수 있다는 점이다. 학습률(Learning Rate)을 작게 잡으면 안정적이지만 속도가 느리고, 크게 잡으면 속도는 빠르지만 정책이..

이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다. 배우와 평론가의 만남: Actor-Critic (A2C)과 GAE앞선 장에서 우리는 정책 그래디언트(Policy Gradient)가 이론적으로는 매우 아름답지만, 실제 현실 세계에서는 얼마나 위태로운 학습 방식인지를 확인했다. 기대값의 관점에서 보면 정책 그래디언트는 분명 정답을 향해 나아가는 올바른 나침반이다. 하지만 문제는 우리가 가진 샘플의 수가 유한하다는 데 있다. 샘플이 부족한 상황에서 계산된 그래디언트는 마치 고장 난 나침반처럼 심하게 흔들리며, 학습은 "조금 좋아졌다가 갑자기 망가지는" 롤러코스터를 반복하게 된다. Reward-to-go나 Baseline 같은 기법들을 응급 처치처럼 붙여보았..

이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다. 가치에서 정책으로-REINFORCE 알고리즘과 정책 그래디언트 바로 직전까지 우리는 DQN이 불안정한 학습을 견디기 위해 경험 재생, 타깃 네트워크 등 여러 공학적 장치들이 결합된 하나의 정교한 시스템임을 확인했다. 하지만 DQN을 이용한 CartPole의 막대가 아슬아슬하게 균형을 잡는 모습을 조금 더 깊이 바라보게 된다면, 자연스럽게 새로운 의문이 떠오른다. "우리는 왜 늘 같은 방식으로만 문제를 풀어왔을까?". DQN의 세계관은 명확하다. 언제나 각 행동의 가치인 $Q(s,a)$를 먼저 학습하고, 그중 예상 보상이 가장 큰 행동 하나를 선택하는 방식이다. 즉, 행동은 Q값이라는 점수판에서 파생된 결..

이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다. DQN 성능 높이기-Dueling DQN 구조와 학습 안정화 팁강화학습(Reinforcement Learning)이라는 용어를 처음 접할 때, 대다수의 사람들은 기계가 스스로 판단하고 학습한다는 표현에서 막연한 기대를 품는다. 마치 어린아이가 걸음마를 배우듯, 기계가 경험을 쌓아가며 점점 더 인간처럼 똑똑한 존재로 성장하는 모습을 상상하게 되는 것이다. 그러나 실제 연구 현장에서 강화학습을 다루다 보면, 연구자가 가장 먼저 마주하는 감정은 경이로움이 아니라 깊은 의심이다. 지금 눈앞의 모델이 정말로 환경을 이해하고 학습하고 있는 것인지, 아니면 단지 운 좋게 맞아떨어진 결과를 반복하고 있는 것인지 구별하..

이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다. DQN의 탄생: 딥러닝이 강화학습을 만났을 때 (Replay Buffer & Target Network)인간은 복잡한 세상 속에서 무수한 선택을 하고 그 결과를 기억하며 다음 결정을 내리는 존재이다. 이와 같은 방식으로 기계에게 스스로 판단하는 능력을 부여하고자 하는 시도에서 강화학습은 출발한다. 그러나 초창기 강화학습 알고리즘들은 현실 세계의 복잡성 앞에서 취약점을 드러냈다. 가능한 상태를 표로 저장하고 최적의 행동을 선택하는 방식, 즉 Tabular Q-learning이 대표적이었다. 이 방식은 단순하고 직관적이지만, 현실 세계에서는 거의 사용할 수 없을 만큼 취약하다. 세상은 우리가 상상하는 것보다..

이 글은 서강대 가상융합 전문대학원(구 메타버스 전문대학원) 강화학습 자료를 기반으로 작성되었습니다. Q-learning vs SARSA: 지도 없이 길을 찾는 방법세상은 우리가 미리 계산할 수 없는 일들로 가득 차 있다. 도로 위 자율주행차는 예기치 않은 상황을 맞닥뜨리고, 로봇은 사람의 행동을 예측해야 한다. 이처럼 완벽한 모델링이 불가능한 환경에서 인공지능이 스스로 학습하려면 어떻게 해야 할까? 그 해답 중 하나가 Q-learning이다. Q-learning은 ‘모델이 없어도 학습할 수 있는 인공지능’을 가능하게 한 획기적인 방법이다. 기존의 모델 기반 강화학습은 환경의 전이확률과 보상 함수를 알아야 했다. 하지만 현실 세계에서는 이러한 정보를 얻는 것이 불가능에 가깝다. Q-learning은 이를..