Activation Aware Quantization

Uniform Quantization

Transforms value $w$ -> quantized value $w_q$.

by \(w_q = \text{clamp}(\text{round}(\frac{w}{s_q} + z))\)

  • $w \in [\beta, \alpha]$
  • $w_q \in [0, 2^b-1]$
  • $b$ is the number of bits used in the quantization process.
  • $s_q=\frac{\alpha - \beta}{2^b - 1}$ is the scale factor
  • $z=-\text{round}(\beta \frac{\beta - \alpha}{2^b - 1})$ is the zero point.

w는 weight...

Click to read more ...

요즘 느낀 것

변하기 위해서, 단 한 번의 코끝이 시려지고, 눈시울이 뜨거워지는 경험이 충분한 경우도 있지만, 그런 일은 흔히 발생하지 않는다. 변화는 다짐이지만, 결과는 서서히 나타나기 때문이다. 예를 들면, 대기 중 이산화탄소가 증가하기 시작한 것(변화)은 약 200여 년 전이지만, 지구온난화의 효과가 발생한 것(변화의 결과)는 20년 쯤 되었을 것이다. 살이 찐 것은 장기간의 식습관 탓일 가능성이 높다. 공부를 열심히 하기로 마음먹은 학생의 노력이 빛을 발하려면 몇 개월의 시간은 걸릴 것이다. 변하기 위해 생각과 행동은 빠르게 바꿔야 하지만, 변화의 결과는 인내심을 갖고 기다려야 한다.

내가 이런 상황에 처하게 된 것도 오랜 습관의 결과이며, 내 습관을 일순간에 변화시킬 수 있다고 하더라도(물론 ...

Click to read more ...

논문 쓰며 느낀 것들

계획을 세우고 실천하는 일이 무척 중요하다

예전엔 되는대로 했는데, 이번엔 우선 계획을 잘 세우고, 계획대로 일이 초반에 진행되는 경험을 했다. 절반 정도까지는 계획대로 무리 없이 진행되었고, 뒤에 약간 기운이 빠졌을 때 처음 절반이 잘 되었기 때문에 버틸 수 있었다는 생각이 들었다. 데카르트의 방법서설 책 내용 중 일부였는데, 숲 속을 헤메게 되었을 때, 이 방향 저 방향 비틀거리기보다는, 방향을 한 곳 잡고, 틀린 길이라도 그 방향을 향해 나아가는 사람이 더 유리할 것이라는 내용이 있었는데 그게 이 경우에는 다소 사실이었던 것 같다.

사람은 지치게 마련

논문 마감이 삼 주 정도 다가오면서, 초기의 열정은 어디에 사라지고… ...

Click to read more ...

마법이 마법이 아니게 되는 순간

마법이 아니게 되는 순간

무언가를 배울 때는 항상 마법이다. 텐서플로우와는 다르게 왜 파이토치는 바로 실행이 되는가라던가. 물론 내가 관심있는 부분에 관한 얘기다. CPU, GPU의 동작도 충분히 마법이지만, 그 곳에 큰 열망이 생기지는 않는다. 살다가, 공부를 해서던, 익숙해져서던, 그 내부 동작이 이해가 갈 때가 생긴다. 다시 파이토치를 예로 들면, AutoGrad가 어떻게 동작하는지 대강 감이 온 순간이 나한테는 그랬다.

머신러닝을 처음 배울 때에도 그랬다. 어떤 Classificaion Model이 있는데, 얘는 어떻게던 돈다. 무언가를 분류한다. 아무쪼록 살다 보면, 이게 더 이상 마법이 아닌 순간이 오게 된다. 어떠한 방식의 함수를 만들어서, 이 함수가 적당히 0과...

Click to read more ...

11월 27일의 일기

일을 잘 하는 방법

그렇게 하고 있다는 얘기는 아니고 그런 방법이 보인다는 수준인데, 몇 가지 있는 것 같다.

다른 사람들이 할 수 있는 일이지만 이를 더 빠르게 하거나, 우선순위를 잘 맞춘다던가, 투입하는 시간이 많으면 일을 더 잘 할 수 있는 것 같다. 반대로 투입 시간이 너무 적으면 아무리 우수해도 일을 잘 할 수 없는 것 같다.

혼자서는 못 하는 일을 하는 것도 일을 잘 하는 방법 중 하나이다. 규모가 필요한 일이 있다. 다른 사람들을 이끌어서 혼자서는 하지 못 할 규모의 프로젝트를 리드할 수도 있다. 다른 사람을 이끌고, 신뢰를 사고, 일정대로 결과를 만드는 일은 어려운 것 같다.

실현이 복잡한 일을 하는 것도 일을 잘 하는 방법...

Click to read more ...

Faster Linear Contextual Bandit by Removing Inverse Operation

Linear contextual bandit is a necessary tool in modern machine learning, especially in Recommender Systems. One of the difficulties of deploying it comes from that it involves an inverse operation. In this post, I will explain how to make it faster without removing inverse operation.

Cholskey Decomposition

It decomposes a positive-definite matrix into the product of a lower triangular matrix and its transpose. And, Covariance Matrix of Multivar...

Click to read more ...