cleanUrl: "24su-challenge/multimodal"

πŸ—’οΈ Multimodal 2024 여름 컀리큘럼


<aside> ✨ λͺ¨μ§‘ 인원 6~8λͺ… (2개 νŒ€)

ν™œλ™ μ‹œκ°„ 맀주 ν† μš”μΌ μ˜€μ „ 11μ‹œ ~ μ˜€ν›„ 1μ‹œ

ν™œλ™ 방법 μ£Ό 1회 λŒ€λ©΄&λΉ„λŒ€λ©΄(격주) μ •κΈ° μ„Έμ…˜ + μ£Ό 1회 ν•„μˆ˜ νŒ€λ³„ λ―ΈνŒ…(λŒ€λ©΄ ꢌμž₯)

</aside>


Overview

λͺ¨λ‹¬λ¦¬ν‹°(Modality)λž€ β€˜μ–‘μ‹β€™μ΄λΌλŠ” 뜻으둜 λ”₯λŸ¬λ‹μ—μ„œλŠ” λ°μ΄ν„°μ˜ ν˜•νƒœλ₯Ό μ˜λ―Έν•©λ‹ˆλ‹€. κ·Έ μ€‘μ—μ„œλ„ **λ©€ν‹°λͺ¨λ‹¬ λ”₯λŸ¬λ‹(Multi-Modal Deep Learning)**은 두 가지 μ΄μƒμ˜ μ„œλ‘œ λ‹€λ₯Έ 양상을 가진 λͺ¨λ‹¬λ¦¬ν‹°λ₯Ό μ‚¬μš©ν•˜μ—¬ 문제λ₯Ό ν•΄κ²°ν•©λ‹ˆλ‹€. μ΄μ „μ—λŠ” 이미지 λΆ„λ₯˜λ₯Ό μœ„ν•΄ 이미지 λͺ¨λ‹¬λ¦¬ν‹° ν•˜λ‚˜λ§Œμ„ μ‚¬μš©ν–ˆλ‹€λ©΄, λ©€ν‹° λͺ¨λ‹¬μ—μ„œλŠ” 이미지와 ν…μŠ€νŠΈ 데이터λ₯Ό ν•¨κ»˜ μ‚¬μš©ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€.

졜근 Chat-GPT 4o λ˜ν•œ Omni modal의 oλ₯Ό μ°¨μš©ν•˜λ©° λ‹€μ–‘ν•œ λͺ¨λ‹¬λ¦¬ν‹°μ˜ 정보λ₯Ό ν•¨κ»˜ ν™œμš©ν•˜λŠ” κ²ƒμ˜ μ€‘μš”μ„±μ€ 점점 더 λŒ€λ‘λ˜κ³  μžˆμŠ΅λ‹ˆλ‹€. μ΄λŠ” 마치 인간이 μƒˆλ‘œμš΄ 것을 λ°°μ›Œλ‚˜κ°ˆ λ•Œ ν•œ 가지 감각이 μ•„λ‹Œ μ—¬λŸ¬ 가지 감각에 μ˜μ‘΄ν•˜μ—¬ κ²½ν—˜ν•˜κ³  또 지식을 μŒ“λŠ” 것과 μœ μ‚¬ν•˜λ‹€κ³  ν•  수 μžˆμŠ΅λ‹ˆλ‹€. κ·Έλž˜μ„œ μ’…μ’… λ©€ν‹°λͺ¨λ‹¬ λ”₯λŸ¬λ‹μ€ μΈκ°„μ˜ 사고 방식과 μœ μ‚¬ν•΄μ§€λŠ” 과정을 μ—°κ΅¬ν•˜λŠ” 뢄야라고도 ν•©λ‹ˆλ‹€.

β€˜24λ…„ λ”₯ λ‹€μ΄λΈŒ 여름 기수 λ©€ν‹°λͺ¨λ‹¬λΆ„μ•Όμ—μ„œλŠ” λ‹€μŒκ³Ό 같은 λͺ©ν‘œλ₯Ό 가지고 μžˆμŠ΅λ‹ˆλ‹€:

  1. κΈ°μ‘΄ μ—°κ΅¬μ˜ 문제점과 ν•΄κ²° λ°©μ•ˆμ„ 깊게 고민해보기
  2. ν”„λ‘œμ νŠΈ 결과보닀 과정에 μ§‘μ€‘ν•˜μ—¬ ν’λΆ€ν•œ ν”„λ‘œμ νŠΈ μŠ€ν† λ¦¬ λ§Œλ“€κΈ°

쒋은 ν”„λ‘œμ νŠΈλž€ λ¬΄μ—‡μΌκΉŒμš”? 보톡 결과물이 ν™”λ €ν•˜κ³  잘 λ‚˜μ˜¨ ν”„λ‘œμ νŠΈλΌκ³  말할 μˆ˜λ„ μžˆμ§€λ§Œ, μ €μ˜ 경우 **β€œμΆ©μ‹€ν•˜κ²Œ 깊이 탐색해본 ν”„λ‘œμ νŠΈβ€**라고 μƒκ°ν•©λ‹ˆλ‹€. μ—¬λŸ¬λΆ„μ΄ λ©€ν‹°λͺ¨λ‹¬ λΆ„μ•ΌλΌλŠ” 심화 과정에 μ§€μ›ν•˜λŠ” μ΄μœ λŠ” μ—”μ§€λ‹ˆμ–΄λ‚˜ λ¦¬μ„œμ²˜κ°€ ν•˜κ³  μ‹Άμ–΄μ„œ μ§€μ›ν•˜λŠ” μ΄μœ κ°€ μžˆλ‹€κ³  μƒκ°ν•©λ‹ˆλ‹€.

μžμ†Œμ„œμ™€ 면접에 λΆ„λͺ… 쒋은 결과물을 λ³΄μ—¬μ£ΌλŠ” ν”„λ‘œμ νŠΈκ°€ μžˆμ–΄μ•Ό ν•  μˆ˜λ„ μžˆμ§€λ§Œ, 이에 λͺ»μ§€ μ•Šκ²Œ μ€‘μš”ν•œ 것은 β€œν”„λ‘œμ νŠΈλ₯Ό 깊이 파 λ³Έ κ²½ν—˜β€ λ˜ν•œ μžˆμ–΄μ•Ό ν•œλ‹€κ³  μƒκ°ν•©λ‹ˆλ‹€. λ˜ν•œ μ½”λ“œ κ΅¬ν˜„ κ²½ν—˜κ³Ό 문제 해결을 μœ„ν•œ 과정은 λ°˜λ“œμ‹œ λ‹€λ₯Έ ν”„λ‘œμ νŠΈμ—μ„œ λ”°λΌμ„œ, λ©€ν‹°λͺ¨λ‹¬ λΆ„μ•ΌλŠ” 성곡을 ν–₯ν•œ 과정에 더 μ§‘μ€‘ν•˜μ—¬ ν”„λ‘œμ νŠΈλ₯Ό μ§„ν–‰ν•˜κ³ μž ν•©λ‹ˆλ‹€.

β€˜24λ…„ λ”₯ λ‹€μ΄λΈŒ 여름 κΈ°μˆ˜μ—μ„œλŠ” **3-4λͺ…μœΌλ‘œ κ΅¬μ„±λœ λ¦¬μ„œμΉ˜ 2νŒ€(ν˜Ήμ€ ν”„λ‘œμ νŠΈ 1νŒ€ & λ¦¬μ„œμΉ˜ 1νŒ€)**을 λͺ¨μ§‘ν•  μ˜ˆμ •μž…λ‹ˆλ‹€. λ¦¬μ„œμΉ˜νŒ€μ˜ 경우 λ―Έμ„Έμ‘°μ •(Fine-Tuning)은 일절 μ§„ν–‰λ˜μ§€ μ•ŠμŠ΅λ‹ˆλ‹€. 사전 ν•™μŠ΅λœ κ±°λŒ€ λͺ¨λΈμ„ μ‚¬μš©ν•  μˆ˜λŠ” μžˆμœΌλ‚˜, 효율적 ν•™μŠ΅μ„ μœ„ν•œ λͺ¨λ“ˆμ„ μΆ”κ°€ν•˜λŠ” λ“± λ”₯λŸ¬λ‹ μ•„ν‚€ν…μ²˜λ₯Ό μ„€κ³„ν•˜λŠ” λ°©ν–₯으둜 ν”„λ‘œμ νŠΈλ₯Ό μ§„ν–‰ν•΄λ‚˜κ°ˆ μ˜ˆμ •μž…λ‹ˆλ‹€. λ¦¬μ„œμΉ˜ μœ„μ£Όμ˜ ν•΄λ‹Ή λΆ„μ•Ό 진행을 지ν–₯ν•˜λ‚˜, μ§€μ›μžμ˜ μ„ ν˜Έλ₯Ό 보아 ν”„λ‘œμ νŠΈ 1νŒ€μ˜ 운영 μ—¬λΆ€λ₯Ό μ •ν•˜κ² μŠ΅λ‹ˆλ‹€.

λ‹€λ₯Έ λ©˜ν† λΆ„λ“€κ³Ό 달리 μ—„μ²­λ‚œ μƒˆλ‘œμš΄ 아이디어λ₯Ό μ œμ‹œν•˜κ±°λ‚˜ μ½”λ“œλ₯Ό λŒ€μ‹  μž‘μ„±ν•΄μ€€λ‹€λ˜κ°€ ν•˜λŠ” 도움은 많이 λ“œλ¦¬μ§€ λͺ» ν•  수 μžˆμŠ΅λ‹ˆλ‹€. ν•˜μ§€λ§Œ λ©˜ν† μ΄μž ν•œ λͺ…μ˜ μ°Έμ—¬μžλ‘œμ„œ λ©€ν‹°λͺ¨λ‹¬ 뢄야에 λŒ€ν•΄ 같이 κ³΅λΆ€ν•˜κ³  μ΄μ•ΌκΈ°ν•˜κ³  μƒκ°ν•˜λŠ” ν™œλ™μ΄ 될 수 μžˆλ„λ‘ μ΅œμ„ μ„ λ‹€ν•΄ λ„μ™€λ“œλ¦¬κ² μŠ΅λ‹ˆλ‹€.

deep daiv. Multimodal λΆ„μ•Ό GitHub

μ•„λž˜λŠ” β€˜23λ…„ 가을, β€˜24λ…„ 겨울, β€˜24λ…„ λ΄„ κΈ°μˆ˜μ—μ„œ μ§„ν–‰ν•œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό μ•„μΉ΄μ΄λΉ™ν•œ κΉƒν—ˆλΈŒμž…λ‹ˆλ‹€.