잘 산다는 것은 무엇일까. 항상 생각해왔던 것을 잊지 않게 간단하게 적어두려 한다. 성취하려고 애쓰는 것이 아니라 유지하는 것이다. 몸과 마음이 건강하게 지내는 것, 주변 사람들과 좋은 관계를 유지하는 것, 먹고 살 정도의 소득이 있는 것, 때로는 열심히, 때로는 즐겁게 시간을 보낼 일, 친구, 취미가 있는 것은 일시적으로는 어렵지 않은 목표이다. 하지만 이런 상황을 유지하는 것은 어렵다. 피할 수 없이 이따금 무기력해지는…
미국에 이직하려고 하는 사람은 생각보다 많은 것 같다. 나도 그 중 하나였는데, 아무쪼록 이직에 성공했긴 하다. OctoAI 라는 회사에 합격해서 6월 중순부터 일하게 되었다. 사실 당장 미국에 가는 건 아니고 리모트로 일 하게 될 것 같다. 사실 다른 곳에도 면접을 보고 있었는데, OctoAI에 합격하고 간단한 연봉협상 끝에 다른 진행중인 면접들은 다 드랍했다. 일 할 포지션이 정말 마음에 들었고, 그 회사에 정말 훌륭한…
CUDA를 공부하기. 쿠다를 공부하려고 오래 전 부터 마음먹었는데 실제로는 한 달 쯤 전부터 (정말 필요해진 순간에!) 공부하게 되었다. 회사에서 LLM 인퍼런스 모델을 이해해야 할 일이 생겨서, 동기가 강제로 부여되게 되어 겨우 쿠다 첫 걸음을 떼었다. 사실 아직 뗐다고 말 할 수 있는지도 잘 모르겠다. 사진 출처: https://kjhov195.github.io/2020-01-07-activation_function_1…
Uniform Quantization Transforms value w w w - quantized value w q w_q w q . by w q = clamp ( round ( w s q + z ) ) w_q = \text{clamp}(\text{round}(\frac{w}{s_q} + z)) w q = clamp ( round ( s q w + z )) w ∈ [ β , α ] w \in [\beta,…
변하기 위해서 , 단 한 번의 코끝이 시려지고, 눈시울이 뜨거워지는 경험이 충분한 경우도 있지만, 그런 일은 흔히 발생하지 않는다. 변화는 다짐이지만, 결과는 서서히 나타나기 때문이다. 예를 들면, 대기 중 이산화탄소가 증가하기 시작한 것(변화)은 약 200여 년 전이지만, 지구온난화의 효과가 발생한 것(변화의 결과)는 20년 쯤 되었을 것이다. 살이 찐 것은 장기간의 식습관 탓일 가능성이 높다. 공부를 열심히 하기로…
계획을 세우고 실천하는 일이 무척 중요하다 예전엔 되는대로 했는데, 이번엔 우선 계획을 잘 세우고, 계획대로 일이 초반에 진행되는 경험을 했다. 절반 정도까지는 계획대로 무리 없이 진행되었고, 뒤에 약간 기운이 빠졌을 때 처음 절반이 잘 되었기 때문에 버틸 수 있었다는 생각이 들었다. 데카르트의 방법서설 책 내용 중 일부였는데, 숲 속을 헤메게 되었을 때, 이 방향 저 방향 비틀거리기보다는, 방향을 한 곳 잡고, 틀린…