Neural Combinatorial Optimization with Reinforcement Learning

Attention, Learn to Solve Routing Problems! 논문 리뷰입니다. 설명은 됬고, 코드를 보고 싶어 하실 분도 계실 것 같습니다 ‘ㅅ’… 논문에서 리뷰한 Attention, Learn to Solve Routing Problems!과 Neu...

나는 어떻게 취업을 (못) 하게 되었나

페이스북에서 학부생인데 기계학습 관련 직종으로 취업하고 싶지만 어떻게 해야 좋을까, 혹은 나는 어떤 공부를 해야 좋을까 하는 고민을 올린 글을 많이 봤어요. 저도 비슷한 고민을 하고 있었고, 나름대로 취업에 대한 고민의 결론을 내렸고, 이를 위해 노력한 성과가 어느 정도 나와서, 이를 공유하고 싶어졌습니다. 사실 결과적으로는 대학원에 진학하게 되었습니다.

(1) 카카오 추천팀과, (2)당근마켓의 면접을 다 합격하게 된 게 성과…‘ㅅ’…

결국 석사를 진학하게 되었지만 ^0^…

(1) 제가 어떤 사람이고, (2) 어떻게 공부를 해왔는지 공유하면, 기계학습 관련 취업을 준비하는 사람들에...

잡담

카카오에서 영입 제의를 받았다(예이!!). 근데 내가 미필이라 어떻게 될 지 모르겠다(ㅠㅠ)

(내 생각에) 요즘 추천 시스템은 Implicit feedback을 어떻게 해석하는가에 관한 문제인 것 같다. 솔직히 어떻게 해석해야 좋은지 잘 모르겠다. 이를 확률인 $p(l_{ui} \vert \theta)$로 보는게 가장 좋을 것 같긴 한데, WMF는 확률적 해석을 하지 않는, Regression이다.(WMF에 관한 내용은 다른 글, 혹은 내 블로그 포스트을 봐도…)

“유저가 어떤 아이템을 좋아하는 것을 regression으로 해결하는 것이 좋은 일인가”에 대해 조금 답답한 점이 있었는데, 이를 확률적으로 표현한 뒤 해결하는 방법이 있는지 찾아보다, logisti...

잡담

각잡고 PRML을 열심히 읽어보니까, 예전보다 훨씬 잘 이해가 되는 것 같다. 내 수학 실력이 는걸까, 아니면 그냥 집중을 조금 더 잘 하게 된 걸까… ‘ㅅ’… 어쨌건 이해가 잘 가니 기분이 좋다.

EM 알고리즘이 뭘까 (수식 없이 설명)

데이터셋에서 관측되지 않았지만, 이러한 확률 변수가 존재한다고 가정하면 문제를 더 쉽게 모델링할 수 있는 경우가 자주 존재한다. 기계학습에서는 이러한 방법을 자주 이용한다.(K-means, Mixture of Gaussian, Hidden Markov Model 등…) 관측되지 않은 확률변수를 Latent variable, 혹은 Hidden variable이라고 부른다. 다만, 문제를 모델링하는 것은 쉬워졌지만, MLE를 바로 적용하기가 힘들어진다. 이럴 때 EM 알고리즘을 사용한다.

EM 알고리...

잡담

추천 시스템 연구하는 곳에서 나와서 왜 추천시스템 리뷰… ‘ㅅ’… 관련 프로젝트를 하나 진행하기로 해서, 추천 시스템 공부를 좀 해야 할 필요성을 느끼기도 했고, 음… 더 중요한 것은, 간단한 모델의 Clever한 사용이 좋은 결과를 만들어내는 경우의 모범적인 케이스라, 공부하면 좋을 것 같다고 생각했다.

나도 언젠가 이렇게 멋진 일을 하고 싶다.

Introduction

2억명이 넘는 유저와 삼십억이 넘는 아이템을 유저에게 리얼타임으로 추천하기 위해, Pinterest에서는 Graph 기반의 새로운 추천, Pixie를 제안했다.

Pinterst는 유저가 좋아하는 아이템(사진)에 Pin을 남기는 방식으로 유저와 아이템이 interaction한다. 유저는 자신이 Pin한 사진들을 Board를 만들어 그곳에 저장할 수 ...

잡담

나도 블로그에 사람들이 많이 들어왔으면 좋겠다… 강화학습 얘기 하면 사람들 많이 들어올까… 근데 난 강화학습을 잘 몰라… 어떡하지….

목적

1. Rollout을 여러 프로세스에서 동시에 진행시키고 싶은데, REINFORCE의 가정은 깨고싶지 않다. 다른 distributed 환경을 위해 만들어진 알고리즘(A3C, PPO)와 같은 경우, A3C는 아마 rollout하는 policy들의 parameter가 다름을 감안하고 만든 알고리즘(인 것 ) 같고, PPO는 잘 모르겠지만, 암튼, Pytorch로 간단하게 Reinforce 알고리즘을 구현하고 싶었다....