Tiled Matmul 101
I’m extremly poor at thinking about matrices. I’ve seen many people graphically think and draw matrix strides, multiplications, etc…. Yet as a person who work in ML, I think I should understand matmul, even in high-level concepts. This post is about my struggle to understand matmul in HPC environment.
for convenience, I set the notation:
- A is M by K sized matrix
- B is K by N sized matrix
- C = A @ B, is M by N sized matrix
Click to read more ...
Flash Attention Idea
This post is basically a commentary, or more introductory version of this gist. I added some which helped me to understand the article, but more verbosity and confusion may be introduced. Thanks to Kunwar Grover for making a great tutorial on FlashAttention and mlir.linalg.
The goal of this post is to provide conceptual understanding of FlashAttention for peop...
Click to read more ...
1월 9일의 일기
만 서른살이 되었다. 몇년 전부터 유년기의 끝, 청년기의 끝, 뭐 이런 생각들을 해오고 있었는데, 사실 이제부터 중년이 되었다고 봐도 무방한 것 같다. 젊게 살려는 사람들이 많고, 그런 분위기가 아무래도 있지만 나는 왠지 30부턴 좀체 중년에 가깝다(혹은 이미 중년이라)고 자꾸만 생각하게 된다.
이 나이가 될 때까지 도무지 이뤄낸 것이 없고 잘 하는 것도 없지만, 어쨌건 이 나이가 되어버렸다. 갑자기 변할 수는 없겠지만 즐거움을 추구하는 삶에서, 조금씩 책임감으로 움직이는 사람이 되었으면 좋겠다.
생각은 많았지만 적으려고 보니 짧은 결론이다. 도피하지 말고, 마주하고, 앉아서 일을 좀 하자. 누워있지 말고.
Click to read more ...
9월 16일의 일기
잘 산다는 것은 무엇일까. 항상 생각해왔던 것을 잊지 않게 간단하게 적어두려 한다.
성취하려고 애쓰는 것이 아니라 유지하는 것이다.
몸과 마음이 건강하게 지내는 것, 주변 사람들과 좋은 관계를 유지하는 것, 먹고 살 정도의 소득이 있는 것, 때로는 열심히, 때로는 즐겁게 시간을 보낼 일, 친구, 취미가 있는 것은 일시적으로는 어렵지 않은 목표이다.
하지만 이런 상황을 유지하는 것은 어렵다. 피할 수 없이 이따금 무기력해지는 날들이 있다. 잠을 못 드는 시간이 길어지면 낮에 피곤해진다. 낮에 피곤해지면 짜증을 쉽게 내고, 주변 사람들과의 관계가 틀어지기 쉽다. 일의 페이스를 유지해지기 어렵고, 즐거운 일도 즐겁지 않게 느껴진다. 이런 상황이 오지 않게 최대한...
Click to read more ...
이직을 하게 되었다.
미국에 이직하려고 하는 사람은 생각보다 많은 것 같다. 나도 그 중 하나였는데, 아무쪼록 이직에 성공했긴 하다. OctoAI라는 회사에 합격해서 6월 중순부터 일하게 되었다. 사실 당장 미국에 가는 건 아니고 리모트로 일 하게 될 것 같다. 사실 다른 곳에도 면접을 보고 있었는데, OctoAI에 합격하고 간단한 연봉협상 끝에 다른 진행중인 면접들은 다 드랍했다. 일 할 포지션이 정말 마음에 들었고, 그 회사에 정말 훌륭한 엔지니어들이 많다는 사실 때문이다.
예전에 다른 회사에 지원했을 때, 그 회사 CEO가 자기 회사의 경쟁사가 한국엔 없는 것 같고 미국에 OctoAI를 목표로 열심히 하고 있다고 해서 알게 된 회사였다. 그 때 OctoAI에 대해서 조금 찾아봤었...
Click to read more ...
Attention을 쿠다로 구현해보기
CUDA를 공부하기.
쿠다를 공부하려고 오래 전 부터 마음먹었는데 실제로는 한 달 쯤 전부터 (정말 필요해진 순간에!) 공부하게 되었다. 회사에서 LLM 인퍼런스 모델을 이해해야 할 일이 생겨서, 동기가 강제로 부여되게 되어 겨우 쿠다 첫 걸음을 떼었다. 사실 아직 뗐다고 말 할 수 있는지도 잘 모르겠다.
사진 출처:https://kjhov195.github.io/2020-01-07-activation_function_1
인터넷에 많이 있는 쿠다 자료의 특징은 난이도가 Sigmoid 함수를 따른다는 점이다. 쉬웠다가…쉬웠다가… 갑자기 어려워진다! 예를 들면 다음과 같다. 첫 예제에서 벡터 곱셈을 배우고, 두번째 예제에서 쿠다로 Quick So...
Click to read more ...
Flash Attention Idea
This post is basically a commentary, or more introductory version of this gist. I added some which helped me to understand the article, but more verbosity and confusion may be introduced. Thanks to Kunwar Grover for making a great tutorial on FlashAttention and mlir.linalg.
The goal of this post is to provide conceptual understanding of FlashAttention for peop...
1월 9일의 일기
만 서른살이 되었다. 몇년 전부터 유년기의 끝, 청년기의 끝, 뭐 이런 생각들을 해오고 있었는데, 사실 이제부터 중년이 되었다고 봐도 무방한 것 같다. 젊게 살려는 사람들이 많고, 그런 분위기가 아무래도 있지만 나는 왠지 30부턴 좀체 중년에 가깝다(혹은 이미 중년이라)고 자꾸만 생각하게 된다.
이 나이가 될 때까지 도무지 이뤄낸 것이 없고 잘 하는 것도 없지만, 어쨌건 이 나이가 되어버렸다. 갑자기 변할 수는 없겠지만 즐거움을 추구하는 삶에서, 조금씩 책임감으로 움직이는 사람이 되었으면 좋겠다.
생각은 많았지만 적으려고 보니 짧은 결론이다. 도피하지 말고, 마주하고, 앉아서 일을 좀 하자. 누워있지 말고.
9월 16일의 일기
잘 산다는 것은 무엇일까. 항상 생각해왔던 것을 잊지 않게 간단하게 적어두려 한다.
성취하려고 애쓰는 것이 아니라 유지하는 것이다.
몸과 마음이 건강하게 지내는 것, 주변 사람들과 좋은 관계를 유지하는 것, 먹고 살 정도의 소득이 있는 것, 때로는 열심히, 때로는 즐겁게 시간을 보낼 일, 친구, 취미가 있는 것은 일시적으로는 어렵지 않은 목표이다.
하지만 이런 상황을 유지하는 것은 어렵다. 피할 수 없이 이따금 무기력해지는 날들이 있다. 잠을 못 드는 시간이 길어지면 낮에 피곤해진다. 낮에 피곤해지면 짜증을 쉽게 내고, 주변 사람들과의 관계가 틀어지기 쉽다. 일의 페이스를 유지해지기 어렵고, 즐거운 일도 즐겁지 않게 느껴진다. 이런 상황이 오지 않게 최대한...
이직을 하게 되었다.
미국에 이직하려고 하는 사람은 생각보다 많은 것 같다. 나도 그 중 하나였는데, 아무쪼록 이직에 성공했긴 하다. OctoAI라는 회사에 합격해서 6월 중순부터 일하게 되었다. 사실 당장 미국에 가는 건 아니고 리모트로 일 하게 될 것 같다. 사실 다른 곳에도 면접을 보고 있었는데, OctoAI에 합격하고 간단한 연봉협상 끝에 다른 진행중인 면접들은 다 드랍했다. 일 할 포지션이 정말 마음에 들었고, 그 회사에 정말 훌륭한 엔지니어들이 많다는 사실 때문이다.
예전에 다른 회사에 지원했을 때, 그 회사 CEO가 자기 회사의 경쟁사가 한국엔 없는 것 같고 미국에 OctoAI를 목표로 열심히 하고 있다고 해서 알게 된 회사였다. 그 때 OctoAI에 대해서 조금 찾아봤었...
Attention을 쿠다로 구현해보기
CUDA를 공부하기.
쿠다를 공부하려고 오래 전 부터 마음먹었는데 실제로는 한 달 쯤 전부터 (정말 필요해진 순간에!) 공부하게 되었다. 회사에서 LLM 인퍼런스 모델을 이해해야 할 일이 생겨서, 동기가 강제로 부여되게 되어 겨우 쿠다 첫 걸음을 떼었다. 사실 아직 뗐다고 말 할 수 있는지도 잘 모르겠다.
사진 출처:https://kjhov195.github.io/2020-01-07-activation_function_1
인터넷에 많이 있는 쿠다 자료의 특징은 난이도가 Sigmoid 함수를 따른다는 점이다. 쉬웠다가…쉬웠다가… 갑자기 어려워진다! 예를 들면 다음과 같다. 첫 예제에서 벡터 곱셈을 배우고, 두번째 예제에서 쿠다로 Quick So...