ETRI 2024 동계 연구연수생 - 3주차

3주차 후기

ETRI에.. 스퍼트 프로젝트에.. 정처기 준비에.. 아주 바쁜 하루하루를 보내느라 정신이 없다. 그 와중에 도서관에서 괜찮아 보이는 책들을 빌려가며 필요한 부분을 읽으며 공부하는 것은 은근히 즐거운 일인 것 같다.

cuDF?

모델의 성능이 돌릴 때마다 너무 들쭉날쭉하다는 생각이 들었고 결국 데이터셋에 있는 제품들의 점수 측정 방식을 바꿔가며 테스트해보는 것이 좋을 것 같다는 생각이 들었다. 하지만 전처리를 비롯한 time decay 함수 적용, 점수를 정하는 함수를 실행하는 과정이 너무 오래 걸린다는 문제가 있었다. 게다가 pandas의 Dataframe은 GPU가 아닌 CPU로 연산을 수행하기 때문에 더 느린 것이다. 그래서 이 전처리 관련 시간을 줄일 수 있는 방법을 찾아보다가 cuDF를 발견하게 되었다.

cuDF는 pandas의 Dataframe 관련 연산을 CPU가 아닌 GPU로 수행하게 해주는 라이브러리인데 문제가 있었다. 바로 윈도우 환경에는 설치가 불가능한 것이다. 그래서 우리에게 선택지는 2가지였다. 지금 쓰고 있는 윈도우 컴퓨터에 WSL2로 리눅스 가상환경을 구축하거나 이미 갖고 있는 리눅스 서버에 환경을 구성하고 거기서 원격으로 돌리거나..

그래서 동기와의 고민 끝에 다음날에 리눅스 서버에 환경을 구성하고 원격으로 돌리는 후자의 선택지를 선택했다.

리눅스 서버

그 다음날 동기는 병가를 냈다. 전날부터 기침을 했는데 비염 증상인줄 알고 가볍게 넘겼다가 몸살에 걸렸다고 연락이 왔었다.

아무튼 나는 출근을 했고 리눅스 서버부터 보기 시작했다. 첫 주에 깔아두었던 MobaXterm에 연결해서 확인해보고 있었다.

$ nvidia-smi 커맨드를 실행해도 반응이 없길래 $ lspci | grep -i VGA 커맨드를 실행하여 확인해 봤는데 그래픽카드 정보는 나오지 않았다. $ sudo update-pciids 커맨드를 실행하면 된다는데 내 계정이 sudoers가 아니라서 $ sudo 명령어 를 사용할 수 없어서 그래서 박사님한테 현재 서버가 쓰고 있는 그래픽카드가 무엇인지 여쭤봤다. 그런데 박사님도 내 계정으로 $ sudo 명령어 를 몇 번 쳐보시더니 안 되니까 조금 있다가 서버를 내 자리에 갖다 놓으셨다. 그 전부터 듀얼 모니터를 쓰고 싶다는 생각을 하고 있긴 했지만.. 컴퓨터가 2개가 되는 것은 원치 않았다..! 게다가 처음 써보는 리눅스라니.. 게다가 서버 원본이라니.. 잘못하다가 이 서버 날리면.. 상상만 해도 끔찍한 광경이 나를 기다리고 있을 것이다.

아무튼 나는 sudoers 계정을 가지고 miniconda 환경을 처음부터 끝까지 구축하기 시작했다. 관련 내용은 가능하다면 빠른 시일 내로 추가해보도록 하겠다. 아무튼 그래서 이제 cuDF를 설치해야 하는데 문제가 생겼다. 나는 python 버전을 3.11.0으로 구축했는데 지원하는 버전은 3.9.x와 3.10.x인 것이다..!

뭐 가상환경을 또 만들면 되는 것이기 때문에 큰 문제가 아니라 새로 가상환경을 만들었다. 그런데 뭐 어디서 라이브러리 버전 의존성 문제가 발견한 것인지.. cuDF 설치는 계속해서 실패했다. 거의 이틀동안 노력했는데.. 이 날은 공쳤다는 생각과 함께 허탈해졌다.

다른 모델

그래서 결국 cuDF는 포기하고(나중에 시간이 나면 다시 도전할 수도 있다!) 정확도를 어떻게 올릴지 고민했다. 그 전에 fastai의 Collab_learner가 아니라 Tabular_learner로 정확도가 말도 안 되게 높게 나왔는데 테스트를 더 진행해보니 특정 데이터셋에만 그렇게 되는 것을 확인했다. 아무튼 이대로 가면 정확도 향상은 무슨 제대로된 모델도 구현할 수 없을 것이다. 그래서 다른 모델을 쓸까 말까 동기와 함께 찾아보면서 고민하다가 금요일에 칼퇴하고 조치원에 친구들을 보러 도망갔다.

---

결론

스퍼트 프로젝트 준비를 하느라 정신없이 지내면서 ETRI 관련 글을 쓰는 것이 너무 늦어졌다. 스터디 회의 직전에 글을 작성하는 것이라 내용이 많이 충분하지 않은 것 같은데 시간이 남으면 더 추가해보도록 하겠다. 아무튼 리눅스 서버도 만져보고 새로운 경험을 많이 해서 즐겁지만 힘들었던 일주일이었던 것 같다.

식당 음식 사진은 찍긴 했는데 그냥 안 올리려고 한다