cleanUrl: "24su-challenge/dl-architecture"

Overview

딥러닝에서 아키텍처는 성능에 가장 큰 영향을 미치는 요소입니다. 어떤 레이어를 사용했는지, 파라미터를 어떻게 설정했는지, Loss Function은 무엇을 사용했는지 등 아키텍처를 구성하는 요소는 무수히 많습니다. 이러한 아키텍처에 대한 기본적인 이해가 선행되지 않는다면 딥러닝을 공부함에 있어서 가장 큰 걸림돌이 될 수 있습니다.

이번 딥다이브 2024 여름 커리큘럼에서 저희 딥러닝 아키텍처 분야는 주제에 맞춰서 세상에 존재하는 다양한 아키텍처 블록들을 해체하고 조립하여 최대한 성능을 끌어올릴 수 있는 아키텍처를 설계하는 것을 목표로 합니다. 이러한 과정을 통해 아키텍처 설계에 대한 전반적인 프로토콜과 구성 요소의 역할을 이해하고 다양한 아키텍처들을 사용해보는 경험을 얻어가길 바랍니다.

모집된 인원에 따라 최대 2개의 팀으로 나누고 각 팀에서 선택한 주제를 기반으로 최신 논문들을 리뷰하고 구현합니다. 이후 구현한 여러 아키텍처 블록들을 “합리적인 이유”에 맞춰 조립하여 모델의 성능을 향상시키는 프로젝트를 진행할 예정입니다.

자격 요건

  1. Python을 기반으로 Tensorflow or PyTorch를 다룰 수 있는 사람이어야 합니다.

    기본적으로 논문의 아키텍처를 직접 구현하거나 오픈되어 있는 경우 팀의 주제에 맞춰서 변형시켜야 하기 때문에 딥러닝 라이브러리를 사용해서 프로젝트를 진행해 본 경험이 있어야 합니다. 특히 이번 기수의 경우 코딩 초심자라면 프로젝트를 따라오기 어려울 수 있습니다.

  2. 논문에 거부감이 없어야 합니다.

    딥러닝은 논문을 읽는 것으로 시작합니다. 특히 다양한 아키텍처를 이해하기 위해서는 그 아키텍처를 개발하고 실험한 논문을 반드시 읽어야 합니다. 그렇기 때문에 프로젝트를 진행함에 있어서 어찌 보면 가장 중요한 점이 논문을 읽고 이해하는 것이라고 할 수 있습니다.

  3. 시도를 두려워 하시면 안됩니다.

    딥러닝에는 정답이 없습니다. 따라서 목표를 향해가는 과정에는 많은 시행착오들이 분명 존재할 것입니다. 그렇기 때문에 시도하고 실패하는 경험이 무엇보다 중요합니다. ‘이건 어려울 것 같아’보다는 ‘일단 해보자’라는 마음을 가지셨으면 좋겠습니다.

  4. 딥 다이브에 deep dive 하실 수 있는 분이어야 합니다.

    딥 다이브는 10주라는 짧은 기간 동안 진행되는 활동이기 때문에 동시에 여러 활동을 진행하는 것은 프로젝트에 좋지 않은 영향을 미칠 수 있습니다. 따라서 딥 다이브에 집중하여 활동할 수 있는 분들이셨으면 좋을 것 같습니다.

  5. 10주간 프로젝트에서 포기하시면 안됩니다(중요).

    상당히 어려운 분야일 것이라고 생각합니다. 그만큼 중간에 포기하시게 되면 남겨진 팀원들은 배 이상으로 힘들어집니다. 적극적으로 끝까지 활동하실 각오가 있으신 분들만 지원하셨으면 좋겠습니다.

그 외 사항

  1. 저희 분야에서는 기존의 모델을 Fine-tuning하거나 Pre-train된 모델절대 사용하지 않습니다.
  2. 피치 못할 이유가 존재하지 않는 한 모든 미팅은 오프라인으로 진행됩니다.
  3. 기본적으로 미팅은 발표토론 형식으로 진행할 예정입니다.
  4. 힘들겠지만 모든 분들이 많은 것을 얻어가실 수 있도록 같이 노력하겠습니다.🙂

24년 여름 기수 딥러닝 아키텍처 분야의 특별 사항

  1. 희망 팀에 한해서 11월에 개최되는 국내 학술 대회에 논문을 제출하는 것을 목표로 프로젝트를 진행할 예정입니다. (24년 겨울 기수는 2024 대한전자공학회 춘계학술대회에 참가하여 우수 학생 논문상을 수상하였습니다.)
  2. 프로젝트 주제는 뇌파(EEG) 기반의 Emotion Recognition, Motor Imagery 두 가지를 진행할 예정입니다.