잡담

나도 블로그에 사람들이 많이 들어왔으면 좋겠다… 강화학습 얘기 하면 사람들 많이 들어올까… 근데 난 강화학습을 잘 몰라… 어떡하지….

목적

1. Rollout을 여러 프로세스에서 동시에 진행시키고 싶은데, REINFORCE의 가정은 깨고싶지 않다. 다른 distributed 환경을 위해 만들어진 알고리즘(A3C, PPO)와 같은 경우, A3C는 아마 rollout하는 policy들의 parameter가 다름을 감안하고 만든 알고리즘(인 것 ) 같고, PPO는 잘 모르겠지만, 암튼, Pytorch로 간단하게 Reinforce 알고리즘을 구현하고 싶었다....

잡담

최근에 연구실에 들어가면서, 공부하는 주제가 바뀌게 되었다. 사실 내가 연구라고 말할 걸 하고 있지는 않지만(하고는 싶지만) ‘ㅅ’….공부하는 것들이 낯설다. 낯선 주제이므로, 논문 읽는데 시간이 많이 걸리기도 하고, 뭘 읽어야 하는지도 모르겠고…라는 핑계를 대며 이리저리 놀고만 있었는데, 그러면 안될 것 같다.

개요

RL은 정말 많은 일을 잘 할 수 있다고 많이 밝혀지고 있다. 현재는 주로 로보틱스나 게임이지만. 하지만 RL을 Traditional한 환경에 적용할 수 있다고 믿는 사람이 많다. 내 지도교수님도 그렇게 생각한다. 나도 조금은, 그렇게 생각하게 되었다.

이 논문은, 강화학습을 Cluster Scheduling에 대해 적용한 논문이다. Scheduling은 보통, job을 machine에 할당하는 일이다. (나는 잘 모르겠지만, Click to read more ...

Einsum Notation

Note

Pytorch나 Tensorflow 내의 많은 글들이 외우기 너무너무너무 진짜 외우기도 어렵고, 쓰기도 어려워서, 쉽게 표현할 방법이 없나 찾아보다 정리한 글입니다. 기본적으로, Einsum is All You Need 이 글을 많이 참조했습니다.

Introduction

PyTorch, Tensorflow 내의 다양한 함수(Dot Products, Outer Products, Transposes ,matrix-vector, 아니면 matrix-matrix multiplication)들의 name과 signature을 외우기 어렵지 않은가? 이 글을 읽는 사람이 나와 비슷하...

잡담

회사 내에서 엔지니어가 아닌 사람에게 공유하기 위해 만든 글입니다. 이 주제에 관심 있는 사람에게 도움이 될 것 같아 공유합니다.

개요

이제 인터넷 어디에서나 추천 시스템을 찾아볼 수 있다. 추천 시스템이라는 말을 들어보지 못한 사람은 많겠지만, 밑의 예시를 보면 ㅇㅎㅇㅎ 하고 바로 알 것 같아서 추천 시스템에 대한 자세한 설명은 하지 않겠다.

추천 시스템은 보통 이런 일을 한다.

쿠팡에서 내가 전에 봤던 아이템과 비슷한 아이템을 추천해준다. (Finding s...