시계와 장인정신과 애플워치
인터넷에서 오토매틱 시계를 옹호하고 애플워치를 까는 글을 봤는데, 오토매틱 시계 옹호론자에게 내가 항상 이해가 안 가던 건 대강 이런 내용이었다.
시계에는 장인정신이 깃들어 있는데, 애플워치에는 깃들어 있지 않다.
장인정신은 사실 정의가 그렇게 명료한 단어는 아니다. 뭐, 일단 여기서는 대강 이런 뜻이라고 해 보자.
자기가 하는 일에 전념하고, 한 가지 기술에서 최고의 경지에 이르고자 하는 철저한 직업 정신.
상상력을 조금 발휘해서 다음과 같은 인물을 상상해 보자.
일본에 사는 62살의 스시 장인 오카다 씨가 있다. 오카다 씨는 1...
Linear Layout in Triton (2): LL Examples
Prerequisites
- Part 1 of this series (concepts, GF(2) intuition, and basis vectors)
- A working knowledge of CUDA-thread hierarchy (CTA → warp → lane) or an equivalent AMD mental model
What you will learn here
- How to map hardware dimensions to layout inputs without memorising folklore
- When to pick each constructor (
identity1D,Click to read more ...Linear Layout in Triton (1): Basic Idea
Click to read more ...Introduction
As I study Triton, I realized that one of the most difficult concepts in Triton is
Linear Layout(LL for short), but there are only a few resources to learn about it (see references). Therefore, I’m writing down my understanding and struggles with this interesting and important concept to help others who want to study Triton and Linear Layout.Warning: This post is not...
PTX Mental Model
Simplest matmul using PTX
During the Chuseok (Mid-Autumn Festival) break I decided to build a clear mental model for how
mmaworks at the PTX level.The example below is close to the simplest matrix multiply that mixes CUDA and PTX.
- The problem size is m16n8k16
- A, B, and accumulator operands all use
f16Click to read more ...Adding Scaled Dot Product to Triton
Click to read more ...Recently, my first contribution to Triton (PR #7918) was merged. This features a new matrix multiply operation introduced in sm_120 NVIDIA architectures (RTX 50XX series and RTX Pro 6000). Thanks to @masahi, and @mobiacham, I was able to make my first contribution to triton.
With this addition, fast quantization and accelerated inference us...
Mental disorder and work-life balance
Click to read more ...업무 문화
링크드인에서 일과 삶의 균형은 거짓말이라고 말하는 사람들을 많이 봤다. 그들은 일과 삶의 균형을 중시하는 문화의 유럽은 쇠퇴해 온 반면, 996 문화로 유명한 중국의 거대 테크 기업들은 부상하고 있다고 주장한다. 그런 글을 볼 때마다 작성자를 차단해서 이름을 댈 수는 없지만, 내가 기억하기로는 대부분 테크 업계 사람이 아니었다. 나는 그게 이상하게 느껴지고, 그들이 몇 가지 핵심을 놓치고 있다고 생각한다.
때로는 과로와 고된 노동이 필요하다. 대부분의 사람은 중요한 시험을 공부하느라 밤을 새우거나, 심각한 문제를 디버깅하느라 늦게까지 깨어 있었던 경험이 있다. 하지만 그 뒤에는 우리 모두 휴식이 필요하다. 인간은 기계가 아니다. 사람은 짧은 기간 동안만 자신을 몰아붙일 수 있으며, 그 기간이 얼마나 지속되는...