Embedding sets of vectors with EMDE
Translation of the post Embedding Sets of Vectors With EMDE
피쳐 엔지니어링으로서의 Vector Aggregation
EMDE는 인풋과 아웃풋만을 생각한다면, 벡터들을 하나의 고정된 길이의 벡터로 변환하는 연산이다. 여러 벡터를 하나의 단일 벡터로 표현하는 연산은 그다지 쓸모가 없을 것 같지만 실제로는 상당히 흔한 연산이다. 특히 추천 시스템에서, 한 유저의 표현을 유저가 소비한 아이템의 목록으로 표현하기로 했을 때…
모든 음식들에 대한 좋은 임...
Well-Classified Examples are Underestimated...
Summary of the paper “Well-Classified Examples are Underestimated in Classification with Deep Neural Networks” of AAAI 2022
TL;DR;
- I didn’t understand Energy related parts.
Paper Link
https://arxiv.org/abs/2110.06537
different losses/derivations w.r.t $p$ or $\theta$
where $p = \sigma(f(x))$ and $\sigma$ is sigmoid, and $f(x) \in \mathbb{R}^n$ is the o...
Reverse Maximum Inner Product Search
Summary of the paper “Reverse Maximum Inner Product Search: How to efficiently find users who would like to buy my item?” of Recsys 2021
TL;DL;
I modified proofs and procedures for more clear self-understanding.
Paper Link
https://arxiv.org/abs/2110.07131
Notations
- $u_i$ in $Q$ (User vectors)
- $p_j$ in $P$ (Item vectors)
- $<a, b>$: dot product between $a$ and $b$.<...
개발자스럽게 공부하는 방법
잡담
웃기라고 가볍게 쓴 것도 있는데 실제로 이렇게 공부하는 방식이 개인적으로는 도움이 많이 되었다.
1. 공부할 거리를 찾는다(혹은 해야지 생각만 하고 있던 것들을 잡는다)
나는 JAX (쉽게 설명하면 Yet Another Autodiff Framework)를 공부하고 싶었다. 좋아보이는데 쓸 기회가 없었다. 간지나보이긴 하는데 써 본적이 없는 상황이 1년 정도 되었던 것 같은데, 마침 시간도 남아서 공부하기로 했다.
2. 공부하고...
친숙함에 관해, 혹은 수학 우물을 피하는 방법에 대해
잡담
혼자 독학하다가 첨에 엄청 쩔쩔매다 공부 방법을 바꿨었는데, 뭔가 엄청 공감가는 글이라 보고 기억해두기 위해 번역한 뒤 올림. 저 스레드를 다 번역할 수는 없어서, 그냥 내가 생각하기에 중요한 부분만 가져왔음.
누구든 수학을 혼자 공부해본 사람은, 수학 우물에 빠져본 적이 있다.
예를 들어, 새로운 단어인 옛날보다는 수식이 많은 식이 조금 더 잘 이해가 되는 것 같기도 하면서도 잘 안되는 것 같으면서도… 모든 걸 이해할 필요는 없는데, 자꾸 모든 부분을 이해하고 싶어진다. 많은 일들이 추상화가 잘 되어 있어서 윗단과 아랫단에 대해 잘 알고 있을 필요가 없다는 사실을 알고 있다. 예를 들어서, 컴퓨터 일 하면서 재료공학은 전혀 몰라도 상관이 없다. 전기공학도 전혀 상관 없을 것이다. CPU가 복잡한 전기회로로 이뤄지지 않고, 0과 1 계산을 빨리 하는(굳이 0과 1 계산일 필요도 없다) 미니언즈 1000만 마리쯤 모여 있다고 해도 내 일엔 그다지 상관이 없을 것 같다. 추천 시스템 일도 마찬가지일 텐데. 복잡한 수학적 정의와 성질과 증명을 잘 몰라도, 알아야 할 부분만 알면...Click to read more ...Fast Differentiable Sorting and Ranking
Fast Differentiable Sorting and Ranking
잡담