복잡한 해법을 통해 문제를 풀도록 교육받고, 선택받고, 보상받은 사람들이 단순한 해법을 제안할 이유도 사실 찾을 수 있는 능력도 없다. 나심 니콜라스 탈렙, skin in the game 책 어디에선가, 생각나는 대로 적어 옮겨서 정확하지 않음
몇 년 전에 처음 읽었을 때는 “그런 사람이 어딨어 ㅋㅋㅋ”하는 생각을 했었는데 잘 생각해보면 비슷한 사례를 많이 찾을 수 있었고, 많이 경험했다. 나도 단순한 게 아니라 복잡한 해결책을 찾아내던가, 아니면 단순한 해결책을 복잡하게 보이는 데 관심사가 있는 것 같다.
첫번째로 수단과 목적이 바뀌는 점을 들 수 있다. 예를 들면, 어떤 특정한 방법에 대한 논문을 읽고 나서 이 논문이 제안한 방법을 내 일에서도 활용할 방법이 있지 않을까 생각하게 된다. 사실 올바른 방법은 내가 처한 상황, 혹은 겪고 있는 문제를 잘 생각해본 다음 이 문제를 해결할 방법을 어딘가에서 찾는 것이 더 올바르다. 이를테면, 4-stage recommendation이라는 걸 보고 “간지나네?”라고 생각해서 이것저것 뒤져보고 헤메본 경우라던가. 사실 배치 업데이트로도 충분한 경우가 많고, 아이템의 수가 그리 크지 않은 경우 candidate generator와 ranker를 분리할 필요도 없을 것이다.
necessity precedes art라는 말을 가끔 생각하자.
두번째로는 괜히 내가 한 일을 복잡하게 포장하려고 한다는 점이다. 논문을 쓸 때 인트로에 막 이 연구분야는 언제쯤부터 많은 관심을 받기 시작해서 막 리서치하는게 막 엄청 무진장 중요하고 이런 계보가 있고…하는 마태복음 1장 1절같은 말을 적는다던가. 사실 내가 쓴 논문들이 막 그렇게 중요하지는 않았다. 뭐 그렇게 포장하려고 하지 말자. 내 인생도 그렇고, 내가 하는 일도 그렇고. 무언가가 복잡해져서 내가 이득을 보는 상황이라면 분명 일이 잘못된 것이거나, 내가 변호사로 직업을 바꾼 거거나 할 거다.
Plurality is never to be posited without necessity라는 말도 가끔 생각하자.
결론
망치를 든 사람은 세상 모든 것이 다 못으로 보이게 된다. BERT만 아는 머신러닝 엔지니어는 모든 일을 대해 패러미터 수가 적어도 수천만개는 되는 라지스케일 BERT로 해결하려고 할 것이다.