SVDQuant and Nunchaku
Introduction
This is a super brief summary of SVDQUant. Please refer to the original paper if interested.
\[Q_X = \operatorname{round}(X / s_X)\]$s_X = \max(\vert X \vert ) / q_{max}$ and $q_{max} = \text{possible max value in repr}$
\[Q(X) = \text{dequantization of }X = s_X\,Q_X\]$XW$ can be approximated by
\[XW = Q(X)Q(W) = S_X\,S_W\,Q_X\,Q_W\]SVDQuant introduces two-path quant...
Thoughts
다짐 나는 자랑스러운 엔비디아인이다. 나는 열심히, 윤리적으로 일한다.
決意 私は誇りあるNVIDIA社員だ。懸命に、倫理に則って働く。
决心 我是一名自豪的英伟达人。我努力工作，恪守道德。
다짐 I’m proud Nvidian. I work hard, ethically.
A plan for getting involved in an open source project
나는 오픈 소스 경험이 거의 없고, 현재 어떤 오픈 소스 프로젝트에도 소속되어 있거나 활동하고 있지 않다. 참여하고 싶고, 이를 위한 좋은 계획이 있다. 내 경험상 좋은 계획이라고 생각하기 때문에, 참여하고 싶지만 어려움을 겪는 다른 사람들에게 도움이 될 수도 있다. 이것은 내 계획이며 모든 사람에게 맞지는 않을 수 있다는 점을 명심하자.
주의 사항
많은 가이드가 장밋빛 그림을 그리지만, 두 가지 핵심 사항을 명심하자:
- 처음 올린 이슈, 풀 리퀘스트, 댓글은 무시당할 수 있다—인내와 끈기가 신뢰를 쌓는다.
- 적응 과정은 어렵다. 코드베이스, 문화, 워크플로를 깊이 이해하는 데는 시간이 걸리며, 직접적인 멘토링이 없다면 특히 그렇다.Click to read more ...
Cuda Matmul with wmma
Click to read more ...Matmul
There are several ways to do matmul in CUDA.
- Use libraries
- cutlass
- cuBlas
- Implementing your own
- naive way
- tiled matmul
- you can also decide to use shared memory or not
It’s not the end, yet another way to implement matmul is to use
wmma. This accro...Learning with chatGPT
Click to read more ...최근 나는 ChatGPT로 이것저것 공부하고 있다. ChatGPT가 새로운 것을 배우는 데 엄청나게 유용하다는 걸 알게 됐다.
몇 가지 장점:
- 사전 지식이 거의 없어도 코드베이스부터 파고들 수 있다. 아직 ChatGPT가 코드를 생성하는 데 그다지 뛰어나지는 않지만, MLIR의 “Vector” 같은 개념을 설명하는 데는 능하다.
- 키워드 매칭 검색이 아니라 시맨틱 검색을 할 수 있다. 예를 들어 “그게 뭐 하는 거지…” 같은 식으로 물어볼 수 있다. 이런 질의는 구글 검색으로는 대부분 좋지 않은 답이 나온다.
最近、ChatGPTを使っていろいろ勉強している。ChatGP...
Implementing FlashAttnetion V1 naively
Click to read more ...Warning
This is not a comprehensive tutorial. It’s more a note for myself to write what descisions I made while implementing naive FlashAttention V1. So sadly this also describes my limitation of skills.
I already posted an introductory post about CUDA a year ago. I’ve been not using CUDA actively after writing this post. It would be great if I continue to develop Parallel Computing sinc...
- Use libraries