[강화학습] REINFORCE 알고리즘 설명 및 구현

안녕하세요. 오늘은 강화학습의 Policy Gradient 알고리즘 중 가장 기초가 되는 알고리즘인 REINFORCE에 대해서 공부해보겠습니다.이 글을 통해 REINFORCE 알고리즘의 원리와 어떻게 구현하는지를 아실 수 있습니다. 구현 코드는 Gymansium 공식문서에 있는 예제코드를 초심자들이 쉽게 접근할 수 있도록 수정하였습니다.재미있는 사실은 REINFROCE는 " ‘RE’ward ‘I’ncrement ‘N’on-negative ‘F’actor times ‘O’ffset ‘R’einforcement times ‘C’haracteristic ‘E’ligibility "의 줄임말이라고 합니다. 심층강화학습에서는 크게 두 가지 방식의 알고리즘이 있습니다.1. Value based (ex. DQN)2...

• format_list_bulleted Robot/Reinforcement Learning
• · 2023. 12. 13.

뇌는 최적화를 원한다

호르몬과 관련한 강렬한 기억이 있다. 할머니가 감기약을 드셨는 데 그 날따라 지금이 새벽인 지 밤인지 구분하지 못하시고, 자기 방을 제대로 찾아가지 못하셨다. 다행히 치매는 아니였고, 감기약을 드시지 않으니 정상으로 돌아오셨다. 알고보니 감기약은 인지기능을 담당하는 아세틸콜린의 분비를 막는다고 한다. 그래서 인지기능에 좀 문제가 있으셨던거였다. 20대인 나는 건강하기 때문에 위와 같은 두드러진 변화는 느끼지 못하나, 하루의 컨디션정도는 어떤 잘못된 행동, 생각때문에 호르몬의 영향을 받아 안 좋아질 수도 있을 것이라고 생각했다. 책을 읽어보니 나의 안좋은 행동, 생각을 발견했고, 좋은 행동, 생각은 받아들였다. 도파민 도파민은 동기부여의 원천이 되는 호르몬이다. 원하던 목표를 이루었을 때 도파민이 분비돼 ..

• format_list_bulleted Others/독후감
• · 2022. 12. 11.

6족보행로봇 작동을 위한 전기/전자 내용

리튬폴리머배터리 MG996R 서보모터 18개 작동을 위해서는 엄청난 양의 전류가 필요합니다. MG996R 서보모터 한 개 동작을 위해서 500mA~900mA가 필요한데, 18개를 작동시킬려고하면 9A~16.2A가 필요합니다. 따라서 이에 맞는 적절한 배터리를 선정해야하는데요. 이 장에서는 배터리의 기본적인 내용에 대해서 알아보겠습니다. 1. 리튬폴리머배터리 리튬폴리머배터리는 1셀 당 4.2v의 만충전압을 가집니다. 4.2v는 만충전압이고, 작동을 할 때는 3.7v로 동작하게 됩니다. 따라서 3셀이면 11.1v의 전압출력을 낼 수 있습니다. 참고로 완전히 방전되었을 때는 3.2v라고 합니다. 리튬폴리머배터 리는 과방전에 취약하기 때문에 3.7v에서 조금만 떨어지면 바로 사용을 중지시키는 것이 좋습니다. 2..

• format_list_bulleted 프로젝트/6족보행로봇 프로젝트
• · 2022. 11. 6.

6족보행로봇 제작과정 및 원리설명(2)

leg_IK 함수 void leg_IK(int leg_number, float X, float Y, float Z) { //compute target femur-to-toe (L3) length L0 = sqrt(sq(X) + sq(Y)) - COXA_LENGTH; L3 = sqrt(sq(L0) + sq(Z)); //process only if reach is within possible range (not too long or too short!) if ((L3 (TIBIA_LENGTH - FEMUR_LENGTH))) { //compute tibia angle phi_tibia = acos((sq(FEMUR_LENGTH) + s..

• format_list_bulleted 프로젝트/6족보행로봇 프로젝트
• · 2022. 11. 6.

6족보행로봇 제작과정 및 원리설명(1)

6족보행로봇은 이 분의 가이드를 참고하여 만들었음을 밝힙니다. https://markwtech.com/robots/hexapod/ Hexapod – markwtech Hexapod This is my hexapod robot inspired by the PhantomX AX from Trossen Robotics. The PhantomX costs $1300, which is way too expensive for my taste, so I decided to design a robot using cheap 180 degree MG996R clone 11kg-cm servos (if they are out of sto markwtech.com 물품구매 일단 이분이 만들어주신 부품리스트를 통해서 알리익스프..

• format_list_bulleted 프로젝트/6족보행로봇 프로젝트
• · 2022. 11. 6.

[독후감] 몰입영어 - 황논문

이 책을 읽고 영어공부를 어떻게 해야하는 지 알게되었습니다. 영어공부를 어떻게 해야하는 지 궁금하신 분들께 추천해드리고 싶습니다. 이번 글에서는 황논문 교수님께서 [몰입영어]에서 추천하시는 영어공부법을 소개하고 제가 어떻게 영어공부를 진행하고 있는 지 알려드리겠습니다. 왜 영어를 공부해야하는가? 영어공부를 하는 사람들이 가장 먼저 던져야 하는 질문이다. 모든 분야에서 의미있는 성과를 거두기 위해서는 연습을 지속해야하고 지속하기 위해서는 강렬한 목표가 있어야 한다. 스스로에게 질문을 던져보자. 내가 내린 이유는 2가지이다. 1. 최고에게 배우기 위해 2022년 말에 동역학을 복습했다. 혼자서 책을 보면서 복습하다가 KAIST에서 제공하는 동역학 강의를 알게되었다. 그리고 강체동역학을 수강해서 공부를 했는데..

• format_list_bulleted Others/독후감
• · 2022. 11. 2.