가난함에 대한 생각 (1)
들어가며
가난에 관한 내 경험을 다루는 글이며 일반화될 수는 없다고 생각한다. 어느 정도의 가난이냐면… 이를테면 제주도 수학여행을 못 가지는 않았지만, 수학여행비를 마련하기 위해 부모님이 고생을 했을 정도이다. 초등학교 때 친구따라 태권도 학원은 다닐 수 있었지만, 중학교 부터 공부를 가르치는 학원에 다니지는 않았다. 집을 위해 돈을 일찍 벌려고 특성화고에 진학했지만, 막상 대학교에는 올 수 있었던 정도의(다분히 국가장학금 때문이었다), 그런 정도의 가난에 대한 얘기다.
절대적, 상대적 가난
가끔 젊은 사람이 느끼는 가난 조금 더 일반적으로는 젊은 사람이 겪는 고통에 대해, 옛날엔 더 힘들게 살았다는 얘기를 하는 사람들이 많다. ...
An approximation of Cogswell Regularization for SGD update in Recsys.
Cogswell Regularization
Cogswell Regularization has been proposed by [1] in 2015. This is based on the following observations
- Embeddings are spread on the Euclidean Space.
- If two feature vectors are different, then their representations are different. It would be good to fill the embedding space with a similar density of embeddings if they are in the range of the input network.
So [1] Proposed the following obj...
"오픈소스를 해야 하는 이유"에 대한 생각.
잡담.
자주 듣는 얘기가 있다. 어떤 일이 A, B, C, …, Z 이렇게 순차적으로 이뤄진다고 할 때, 나는 A 설명했다가, B, C, ..,D까지 스킵하고는 E를 설명했다가, F를 한참 설명하다, 다시 B가 필요해진 것 같아 B를 설명하는 식이라고 한다. 한두 명만 이런 얘기를 하는 게 아니라, 나랑 가깝게 일을 한 모두가 비슷한 얘기를 하는 걸로 봐선, 좀 문제가 있는 것 같다.
상대방과 내가 같은 지식과 한계를 갖고 있을 것이라는 전제를 갖고 설명하는 듯한 느낌이다. 내가 쉬운 부분은 상대한테도 쉽고, 내가 어려운 부분은 상대방도 어렵고. 사회적 관계에서만이 아니라 일에서도 공감능력은 중요한 것 같다. 게다가 이런 건 노력해도 잘 나아지지 않는다고 한다……..
...NeuralSort
잡담
ICLR 2019에 실린 Stochastic Optimization of Sorting Networks via Continuous Relaxations 의 리뷰. 글을 안 쓴 지 너무 오래되서 글을 쓰는 방법을 잊어버린 것 같다.;;
Motivation
정렬이나 top-k element를 선택하는 일은 여러 머신 러닝 task에서 기본적인 연산 중 하나이다.
그런 예시 중 하나로, vector $q$가 주어졌을 때, 주어진 query $q$와 비슷한 여러 vector $v_1, \cdots, v_n$을 KNN을 생각할 수 있다.
이는 각각의 vector $v_i$에 대해 score $s(q, v_i) = q^Tv_i \text{ or } (q-v_i)^2$를 계산해서...
ALS, BPR을 직접 구현해봤다.
잡담
유명 추천 시스템 라이브러리 2개에 involve되어 있긴 한데, 생각해보니 추천 시스템 알고리즘을 스크래치부터 구현해 본 적이 거의 없는 것 같다. Logistic matrix factorization을 implicit에 구현해보긴 했는데…
그래서, 과연 나는 추천 시스템 알고리즘을 충분히 빠르게 구현할 수 있을까? 하는 생각이 들었다. 생각한 김에 바로 해봤다. 주말에 할 게 없기도 했었고…
사용할 언어/프레임워크 선택
언어
인터페이스 부분은 파이썬으로 진행하기로 결정했다. Numpy Array가 무척 편하기도 하고, scipy.sparse_matrix를 그대로 이용할 수 있다는 장점이 있기 때문이다.
사실, 중요한건 Backend였는데, 내가 약간이라도 경험해 본 기술을 사용하는게 유리할...
10월 19일 일기
지루함과 새로운 것을 배우는 것에 관한 생각
알량한 지식으로 할 수 있는 게 생기니 벌어진 일
오랜 시간동안 독서를 하지 않았다. 공부도 요즘 게을리 한 것 같다. 지금 내가 가진 지식으로, 무언가를 해볼 수 있게 되어서인 것 같다. 논문을 열심히 들여다보면 적당한 수준에서 구현할 수 있었고, 대충 레퍼런스 문서 찾아보면 내게 필요한 정도의 프로그래밍은 대강 할 수 있게 된 이후부터인 것 같다.
오랫동안 새로운 것을 배우는 일을 하지 않았더니 새로운 것을 배우는 방법을 까먹어버린 것 같다. 계속 할 줄 아는 대로, 편한 대로 생각하게 되어버린 것 같다. 무언가를 찾아볼 때, 정말 중요한 것들은 어딘가 책에 쓰여져...