Well-Classified Examples are Underestimated...
Summary of the paper “Well-Classified Examples are Underestimated in Classification with Deep Neural Networks” of AAAI 2022
TL;DR;
- I didn’t understand Energy related parts.
Paper Link
https://arxiv.org/abs/2110.06537
different losses/derivations w.r.t $p$ or $\theta$
where $p = \sigma(f(x))$ and $\sigma$ is sigmoid, and $f(x) \in \mathbb{R}^n$ is the o...
Reverse Maximum Inner Product Search
Summary of the paper “Reverse Maximum Inner Product Search: How to efficiently find users who would like to buy my item?” of Recsys 2021
TL;DL;
I modified proofs and procedures for more clear self-understanding.
Paper Link
https://arxiv.org/abs/2110.07131
Notations
- $u_i$ in $Q$ (User vectors)
- $p_j$ in $P$ (Item vectors)
- $<a, b>$: dot product between $a$ and $b$.<...
개발자스럽게 공부하는 방법
잡담
웃기라고 가볍게 쓴 것도 있는데 실제로 이렇게 공부하는 방식이 개인적으로는 도움이 많이 되었다.
1. 공부할 거리를 찾는다(혹은 해야지 생각만 하고 있던 것들을 잡는다)
나는 JAX (쉽게 설명하면 Yet Another Autodiff Framework)를 공부하고 싶었다. 좋아보이는데 쓸 기회가 없었다. 간지나보이긴 하는데 써 본적이 없는 상황이 1년 정도 되었던 것 같은데, 마침 시간도 남아서 공부하기로 했다.
2. 공부하고...
친숙함에 관해, 혹은 수학 우물을 피하는 방법에 대해
잡담
혼자 독학하다가 첨에 엄청 쩔쩔매다 공부 방법을 바꿨었는데, 뭔가 엄청 공감가는 글이라 보고 기억해두기 위해 번역한 뒤 올림. 저 스레드를 다 번역할 수는 없어서, 그냥 내가 생각하기에 중요한 부분만 가져왔음.
누구든 수학을 혼자 공부해본 사람은, 수학 우물에 빠져본 적이 있다.
예를 들어, 새로운 단어인 옛날보다는 수식이 많은 식이 조금 더 잘 이해가 되는 것 같기도 하면서도 잘 안되는 것 같으면서도… 모든 걸 이해할 필요는 없는데, 자꾸 모든 부분을 이해하고 싶어진다. 많은 일들이 추상화가 잘 되어 있어서 윗단과 아랫단에 대해 잘 알고 있을 필요가 없다는 사실을 알고 있다. 예를 들어서, 컴퓨터 일 하면서 재료공학은 전혀 몰라도 상관이 없다. 전기공학도 전혀 상관 없을 것이다. CPU가 복잡한 전기회로로 이뤄지지 않고, 0과 1 계산을 빨리 하는(굳이 0과 1 계산일 필요도 없다) 미니언즈 1000만 마리쯤 모여 있다고 해도 내 일엔 그다지 상관이 없을 것 같다. 추천 시스템 일도 마찬가지일 텐데. 복잡한 수학적 정의와 성질과 증명을 잘 몰라도, 알아야 할 부분만 알면... 유저는 여러 취향을 가지고 있고 추천의 결과가 한 가지 종류의 아이템으로만 이루어져 있다면 추천이 불완전하다고 생각할 것이다. 추천은 일반적으로 list 형태로 주어지며, 유저는 list를 좌에서 우로, 혹은 위에서 아래로 탐색하는 경우가 일반적이다. $N$개의 추천 아이템이 주어진 경우, $k \leq N$인 $k$을 유저가 클릭한 경우, 유저가 $1, \dots, k-1$까지 보지 않았던 이유가 존재할 것이며, 이는 rank가 $k$ 미만인 아이템이 유저가 relevant하지 않았다고 판단했기 때문일 가능성이 높다, $i_1, i_2, \dots, i_{k-1}$는 서로 닮아 있을 가능성이 높다. 이를 대비해서, ...Click to read more ...Fast Differentiable Sorting and Ranking
Fast Differentiable Sorting and Ranking
잡담
Alpha-Beta-NDCG
왜 다양성이 중요한가.
Diversity에 대한 대한 요구
Novelty에 대한 요구