Well-Classified Examples are Underestimated...
Summary of the paper “Well-Classified Examples are Underestimated in Classification with Deep Neural Networks” of AAAI 2022
TL;DR;
- I didn’t understand Energy related parts.
Paper Link
https://arxiv.org/abs/2110.06537
different losses/derivations w.r.t $p$ or $\theta$
where $p = \sigma(f(x))$ and $\sigma$ is sigmoid, and $f(x) \in \mathbb{R}^n$ is the o...
2월 11일의 일기
잡생각 1
여성운동을 볼 때마다 내가 가장 신기하게 느끼는 점은, 여성끼리 그렇게 동질감을 느낄 여지가 있냐는 점이다. 나는 다른 남성들에게 그다지 동질감을 잘 느끼지 못한다. 나는 나와 사회적 계층이 다른 남성들에게 그다지 동질감을 느끼지 못 한다. 이건 여성도 마찬가지일 것 같다. 내 생각에 나는 공대에서 컴퓨터공학을 전공한 뒤 프로그래머로 일 하고 있는 여성과 닮았을 것 같다. 돈 많은 남자보단 가난한 여자가 나랑 더 가까운 것 같다. 국적도 마찬가지인 것 같다. 러시아에 사는 하츠네미쿠 음악을 자주 듣는 안톤(43세, 프로그래머) 씨가, 내 옆 집 사는 나랑 동갑인 김창우(가상인물)씨보다 높은 확률로 나랑 더 닮아 있다고 생각한다.
국적이나 성별은 동질성을 나타내기...
Reverse Maximum Inner Product Search
Summary of the paper “Reverse Maximum Inner Product Search: How to efficiently find users who would like to buy my item?” of Recsys 2021
TL;DL;
I modified proofs and procedures for more clear self-understanding.
Paper Link
https://arxiv.org/abs/2110.07131
Notations
- $u_i$ in $Q$ (User vectors)
- $p_j$ in $P$ (Item vectors)
- $<a, b>$: dot product between $a$ and $b$.<...
개발자스럽게 공부하는 방법
잡담
웃기라고 가볍게 쓴 것도 있는데 실제로 이렇게 공부하는 방식이 개인적으로는 도움이 많이 되었다.
1. 공부할 거리를 찾는다(혹은 해야지 생각만 하고 있던 것들을 잡는다)
나는 JAX (쉽게 설명하면 Yet Another Autodiff Framework)를 공부하고 싶었다. 좋아보이는데 쓸 기회가 없었다. 간지나보이긴 하는데 써 본적이 없는 상황이 1년 정도 되었던 것 같은데, 마침 시간도 남아서 공부하기로 했다.
2. 공부하고...
친숙함에 관해, 혹은 수학 우물을 피하는 방법에 대해
잡담
혼자 독학하다가 첨에 엄청 쩔쩔매다 공부 방법을 바꿨었는데, 뭔가 엄청 공감가는 글이라 보고 기억해두기 위해 번역한 뒤 올림. 저 스레드를 다 번역할 수는 없어서, 그냥 내가 생각하기에 중요한 부분만 가져왔음....
Fast Differentiable Sorting and Ranking
Fast Differentiable Sorting and Ranking
잡담
옛날보다는 수식이 많은 식이 조금 더 잘 이해가 되는 것 같기도 하면서도 잘 안되는 것 같으면서도… 모든 걸 이해할 필요는 없는데, 자꾸 모든 부분을 이해하고 싶어진다. 많은 일들이 추상화가 잘 되어 있어서 윗단과 아랫단에 대해 잘 알고 있을 필요가 없다는 사실을 알고 있다. 예를 들어서, 컴퓨터 일 하면서 재료공학은 전혀 몰라도 상관이 없다. 전기공학도 전혀 상관 없을 것이다. CPU가 복잡한 전기회로로 이뤄지지 않고, 0과 1 계산을 빨리 하는(굳이 0과 1 계산일 필요도 없다) 미니언즈 1000만 마리쯤 모여 있다고 해도 내 일엔 그다지 상관이 없을 것 같다. 추천 시스템 일도 마찬가지일 텐데. 복잡한 수학적 정의와 성질과 증명을 잘 몰라도, 알아야 할 부분만 알면...