cleanUrl: "24su-challenge/multimodal"
<aside> β¨ λͺ¨μ§ μΈμ 6~8λͺ (2κ° ν)
νλ μκ° λ§€μ£Ό ν μμΌ μ€μ 11μ ~ μ€ν 1μ
νλ λ°©λ² μ£Ό 1ν λλ©΄&λΉλλ©΄(격주) μ κΈ° μΈμ + μ£Ό 1ν νμ νλ³ λ―Έν (λλ©΄ κΆμ₯)
</aside>
λͺ¨λ¬λ¦¬ν°(Modality)λ βμμβμ΄λΌλ λ»μΌλ‘ λ₯λ¬λμμλ λ°μ΄ν°μ ννλ₯Ό μλ―Έν©λλ€. κ·Έ μ€μμλ **λ©ν°λͺ¨λ¬ λ₯λ¬λ(Multi-Modal Deep Learning)**μ λ κ°μ§ μ΄μμ μλ‘ λ€λ₯Έ μμμ κ°μ§ λͺ¨λ¬λ¦¬ν°λ₯Ό μ¬μ©νμ¬ λ¬Έμ λ₯Ό ν΄κ²°ν©λλ€. μ΄μ μλ μ΄λ―Έμ§ λΆλ₯λ₯Ό μν΄ μ΄λ―Έμ§ λͺ¨λ¬λ¦¬ν° νλλ§μ μ¬μ©νλ€λ©΄, λ©ν° λͺ¨λ¬μμλ μ΄λ―Έμ§μ ν μ€νΈ λ°μ΄ν°λ₯Ό ν¨κ» μ¬μ©νλ κ²μ λλ€.
μ΅κ·Ό Chat-GPT 4o λν Omni modalμ oλ₯Ό μ°¨μ©νλ©° λ€μν λͺ¨λ¬λ¦¬ν°μ μ 보λ₯Ό ν¨κ» νμ©νλ κ²μ μ€μμ±μ μ μ λ λλλκ³ μμ΅λλ€. μ΄λ λ§μΉ μΈκ°μ΄ μλ‘μ΄ κ²μ λ°°μλκ° λ ν κ°μ§ κ°κ°μ΄ μλ μ¬λ¬ κ°μ§ κ°κ°μ μμ‘΄νμ¬ κ²½ννκ³ λ μ§μμ μλ κ²κ³Ό μ μ¬νλ€κ³ ν μ μμ΅λλ€. κ·Έλμ μ’ μ’ λ©ν°λͺ¨λ¬ λ₯λ¬λμ μΈκ°μ μ¬κ³ λ°©μκ³Ό μ μ¬ν΄μ§λ κ³Όμ μ μ°κ΅¬νλ λΆμΌλΌκ³ λ ν©λλ€.
β24λ λ₯ λ€μ΄λΈ μ¬λ¦ κΈ°μ λ©ν°λͺ¨λ¬λΆμΌμμλ λ€μκ³Ό κ°μ λͺ©νλ₯Ό κ°μ§κ³ μμ΅λλ€:
μ’μ νλ‘μ νΈλ 무μμΌκΉμ? λ³΄ν΅ κ²°κ³Όλ¬Όμ΄ νλ €νκ³ μ λμ¨ νλ‘μ νΈλΌκ³ λ§ν μλ μμ§λ§, μ μ κ²½μ° **βμΆ©μ€νκ² κΉμ΄ νμν΄λ³Έ νλ‘μ νΈβ**λΌκ³ μκ°ν©λλ€. μ¬λ¬λΆμ΄ λ©ν°λͺ¨λ¬ λΆμΌλΌλ μ¬ν κ³Όμ μ μ§μνλ μ΄μ λ μμ§λμ΄λ 리μμ²κ° νκ³ μΆμ΄μ μ§μνλ μ΄μ κ° μλ€κ³ μκ°ν©λλ€.
μμμμ λ©΄μ μ λΆλͺ μ’μ κ²°κ³Όλ¬Όμ 보μ¬μ£Όλ νλ‘μ νΈκ° μμ΄μΌ ν μλ μμ§λ§, μ΄μ λͺ»μ§ μκ² μ€μν κ²μ βνλ‘μ νΈλ₯Ό κΉμ΄ ν λ³Έ κ²½νβ λν μμ΄μΌ νλ€κ³ μκ°ν©λλ€. λν μ½λ ꡬν κ²½νκ³Ό λ¬Έμ ν΄κ²°μ μν κ³Όμ μ λ°λμ λ€λ₯Έ νλ‘μ νΈμμ λ°λΌμ, λ©ν°λͺ¨λ¬ λΆμΌλ μ±κ³΅μ ν₯ν κ³Όμ μ λ μ§μ€νμ¬ νλ‘μ νΈλ₯Ό μ§ννκ³ μ ν©λλ€.
β24λ λ₯ λ€μ΄λΈ μ¬λ¦ κΈ°μμμλ **3-4λͺ μΌλ‘ ꡬμ±λ 리μμΉ 2ν(νΉμ νλ‘μ νΈ 1ν & 리μμΉ 1ν)**μ λͺ¨μ§ν μμ μ λλ€. 리μμΉνμ κ²½μ° λ―ΈμΈμ‘°μ (Fine-Tuning)μ μΌμ μ§νλμ§ μμ΅λλ€. μ¬μ νμ΅λ κ±°λ λͺ¨λΈμ μ¬μ©ν μλ μμΌλ, ν¨μ¨μ νμ΅μ μν λͺ¨λμ μΆκ°νλ λ± λ₯λ¬λ μν€ν μ²λ₯Ό μ€κ³νλ λ°©ν₯μΌλ‘ νλ‘μ νΈλ₯Ό μ§νν΄λκ° μμ μ λλ€. 리μμΉ μμ£Όμ ν΄λΉ λΆμΌ μ§νμ μ§ν₯νλ, μ§μμμ μ νΈλ₯Ό 보μ νλ‘μ νΈ 1νμ μ΄μ μ¬λΆλ₯Ό μ νκ² μ΅λλ€.
λ€λ₯Έ λ©ν λΆλ€κ³Ό λ¬λ¦¬ μμ²λ μλ‘μ΄ μμ΄λμ΄λ₯Ό μ μνκ±°λ μ½λλ₯Ό λμ μμ±ν΄μ€λ€λκ° νλ λμμ λ§μ΄ λλ¦¬μ§ λͺ» ν μ μμ΅λλ€. νμ§λ§ λ©ν μ΄μ ν λͺ μ μ°Έμ¬μλ‘μ λ©ν°λͺ¨λ¬ λΆμΌμ λν΄ κ°μ΄ 곡λΆνκ³ μ΄μΌκΈ°νκ³ μκ°νλ νλμ΄ λ μ μλλ‘ μ΅μ μ λ€ν΄ λμλλ¦¬κ² μ΅λλ€.
μλλ β23λ κ°μ, β24λ 겨μΈ, β24λ λ΄ κΈ°μμμ μ§νν νλ‘μ νΈ μ½λλ₯Ό μμΉ΄μ΄λΉν κΉνλΈμ λλ€.