Simple Hack for AE GPU Training

추천 시스템 모델을 만드는 사람에게 (생각보다 자주 벌어지는) 기분 나쁜 상황

모델을 열심히 만들었다. 근데 학습이 이상하게 느리다. 그래서 nvidia-smi를 눌러서 GPU 사용량이 얼마나 되나 확인해보면 utilization이 낮다. 대체로 0-10% 사이를 오가며, 아마도 내 딥러닝 모델이 계산을 하고 있을 것 같은 순간에만 GPU-Utilization이 20%를 넘는다. 사실, 이는 데이터의 형태를 적당히 바꿔서, GPU 메모리로 올리는 시간이 모델이 실제로 계산하는 시간보다 길다는 의미다. 이를 해결하기 위한 방법이 사실 많이 있다. 한가지 소개하자면 Click to read more ...

10월 11일의 일기

복잡한 해법을 통해 문제를 풀도록 교육받고, 선택받고, 보상받은 사람들이 단순한 해법을 제안할 이유도 사실 찾을 수 있는 능력도 없다. 나심 니콜라스 탈렙, skin in the game 책 어디에선가, 생각나는 대로 적어 옮겨서 정확하지 않음

몇 년 전에 처음 읽었을 때는 “그런 사람이 어딨어 ㅋㅋㅋ”하는 생각을 했었는데 잘 생각해보면 비슷한 사례를 많이 찾을 수 있었고, 많이 경험했다. 나도 단순한 게 아니라 복잡한 해결책을 찾아내던가, 아니면 단순한 해결책을 복잡하게 보이는 데 관심사가 있는 것 같다.

첫번째로 수단과 목적이 바뀌는 점을 들 수 있다. 예를 들면, 어떤 특정한 방법에 대한 논문을 읽고 나서 이 논문이 제안한 방법을 내 일...

Click to read more ...

8월 10일의 일기

8월 10일의 일기

대체로 입만 산 사람에 관해

물론 이 얘기는 저 같은 병신은 그런 일을 할 수조차 없어 부러움과 시기심에 하는 얘기입니다.

가끔 어떤 사람이 강의를 한다던가, 아니면 누가 유명인사로 어떤 티비, 혹은 유튜브에 출연한다는 얘기를 듣는다. 근데 그 어떤 사람은 내가 봤을 때엔 전문성도 그다지 없고, 그럭저럭 운이 좋았을 뿐더러, 자신이 운이 좋았던 줄도 몰랐던 사람이다. 이런 사람을 보면 벙커버스터…가 되고 싶지만, 사실 이런 사람은 Click to read more ...

8월 1일의 일기

RecSys 2022 Challenge 참가 후기.

딱히 방법론에 대한 얘기를 자세히 할건 아니고 그냥 드는 생각에 관한 얘기.

올해 참가한 RecSys Challenge는 50등에 가까운 점수로, 그렇게 좋은 성적이라고 말하기는 힘든 점수다. 리더보드에서는 13등이었는데 최종 제출할 때 실수가 있었다. 등수 자체는 8등이었던 작년이 훨씬 나았지만, 번엔 논문을 써서 마무리를 지었다는 점을 잘 한 것 같다. 회사에서 실험할 수 있는 형태로 산출물을 만든 것도 좀 잘 한 것 같다.

가끔 머리가 나빠졌다는 생각을 많이 한다. 서버 프로그래밍을 공부하던 시절에는, epoll같은 ...

Click to read more ...

5월 26일의 일기

게으르다는 착각을 읽고

실제로 그렇게 성실히 살아온 것은 아니지만, 성실해야 한다는 압박감은 많이 느끼고 있었던 것 같다. 그런 압박감을 받아도 성실했던 적은 삶에서 많지 않았고, 죄책감을 느꼈던 적이 훨씬 많았다. 예를 들면 게임을 할 때 책상 위에 책이 놓여져 있으면 게임을 하면서도 죄책감이 들었다. 그렇지만 게임을 관둔 것은 아니었다. 죄책감을 느끼면서 게임을 했을 뿐이다.

죄책감을 느껴서 8시간 할 게임을 6시간만 했을지도 모르겠다. 그나마 이런 죄책감과 압박감을 받아왔기에 약간의 성실성을 발휘해 공부를 했던 것일까? 과거로 돌아가 다른 trajectory를 그려볼 수 없고, 현재에도 여러 trajectory를 다시 그려 볼 수 없기 때문에 알 수 없을 것 같다.<...

Click to read more ...

Embedding sets of vectors with EMDE

Translation of the post Embedding Sets of Vectors With EMDE

피쳐 엔지니어링으로서의 Vector Aggregation

EMDE는 인풋과 아웃풋만을 생각한다면, 벡터을 하나의 고정된 길이의 벡터로 변환하는 연산이다. 여러 벡터를 하나의 단일 벡터로 표현하는 연산은 그다지 쓸모가 없을 것 같지만 실제로는 상당히 흔한 연산이다. 특히 추천 시스템에서, 한 유저의 표현을 유저가 소비한 아이템의 목록으로 표현하기로 했을 때…

모든 음식들에 대한 좋은 임...

Click to read more ...