Adding Scaled Dot Product to Triton
Recently, my first contribution to Triton (PR #7918) was merged. This features a new matrix multiply operation introduced in sm_120 NVIDIA architectures (RTX 50XX series and RTX Pro 6000). Thanks to @masahi, and @mobiacham, I was able to make my first contribution to triton.
With this addition, fast quantization and accelerated inference us...
Mental disorder and work-life balance
업무 문화
링크드인에서 일과 삶의 균형은 거짓말이라고 말하는 사람들을 많이 봤다. 그들은 일과 삶의 균형을 중시하는 문화의 유럽은 쇠퇴해 온 반면, 996 문화로 유명한 중국의 거대 테크 기업들은 부상하고 있다고 주장한다. 그런 글을 볼 때마다 작성자를 차단해서 이름을 댈 수는 없지만, 내가 기억하기로는 대부분 테크 업계 사람이 아니었다. 나는 그게 이상하게 느껴지고, 그들이 몇 가지 핵심을 놓치고 있다고 생각한다.
때로는 과로와 고된 노동이 필요하다. 대부분의 사람은 중요한 시험을 공부하느라 밤을 새우거나, 심각한 문제를 디버깅하느라 늦게까지 깨어 있었던 경험이 있다. 하지만 그 뒤에는 우리 모두 휴식이 필요하다. 인간은 기계가 아니다. 사람은 짧은 기간 동안만 자신을 몰아붙일 수 있으며, 그 기간이 얼마나 지속되는...
SVDQuant and Nunchaku
Introduction
This is a super brief summary of SVDQUant. Please refer to the original paper if interested.
\[Q_X = \operatorname{round}(X / s_X)\]$s_X = \max(\vert X \vert ) / q_{max}$ and $q_{max} = \text{possible max value in repr}$
\[Q(X) = \text{dequantization of }X = s_X\,Q_X\]$XW$ can be approximated by
\[XW = Q(X)Q(W) = S_X\,S_W\,Q_X\,Q_W\]SVDQuant introduces two-path quant...
Thoughts
다짐 나는 자랑스러운 엔비디아인이다. 나는 열심히, 윤리적으로 일한다.
決意 私は誇りあるNVIDIA社員だ。懸命に、倫理に則って働く。
决心 我是一名自豪的英伟达人。我努力工作,恪守道德。
다짐 I’m proud Nvidian. I work hard, ethically.
A plan for getting involved in an open source project
나는 오픈 소스 경험이 거의 없고, 현재 어떤 오픈 소스 프로젝트에도 소속되어 있거나 활동하고 있지 않다. 참여하고 싶고, 이를 위한 좋은 계획이 있다. 내 경험상 좋은 계획이라고 생각하기 때문에, 참여하고 싶지만 어려움을 겪는 다른 사람들에게 도움이 될 수도 있다. 이것은 내 계획이며 모든 사람에게 맞지는 않을 수 있다는 점을 명심하자.
주의 사항
많은 가이드가 장밋빛 그림을 그리지만, 두 가지 핵심 사항을 명심하자:
- 처음 올린 이슈, 풀 리퀘스트, 댓글은 무시당할 수 있다—인내와 끈기가 신뢰를 쌓는다.
- 적응 과정은 어렵다. 코드베이스, 문화, 워크플로를 깊이 이해하는 데는 시간이 걸리며, 직접적인 멘토링이 없다면 특히 그렇다.Click to read more ...
Cuda Matmul with wmma
Click to read more ...Matmul
There are several ways to do matmul in CUDA.
- Use libraries
- cutlass
- cuBlas
- Implementing your own
- naive way
- tiled matmul
- you can also decide to use shared memory or not
It’s not the end, yet another way to implement matmul is to use
wmma. This accro... - Use libraries