AI 학습 로드맵 - 기초부터 전문 과정까지

엑스칼리드로로 만들었습니다

이 로드맵이 도움이 되었다면 Twitter 와 LinkedIn 에서 저를 팔로우하세요 ! 또한 매주 친구와 흥미로운 링크를 공유하는 이 뉴스레터 를 구독하세요.

 

에스o, AI를 배우고 싶나요? 하지만 어떻게, 어디서 시작해야 할지 모르시겠어요?

저는 2020년에 인터넷에서 가장 인기 있는 무료 데이터 과학, 머신러닝, AI MOOC 20개를 작성했습니다. 하지만 많은 과정을 수강하는 것이 방법이 아니라는 것을 깨달았습니다.

튜토리얼 지옥에서 벗어나기 위해정말배우고 싶다면 직접 실습하고, 알고리즘을 처음부터 작성하고, 논문을 작성하고, AI를 사용하여 문제를 해결하는 재밌는 사이드 프로젝트를 진행해야 합니다.

이 글은 그 철학을 따르는 무료 커리큘럼을 만들려고 합니다. 저는 이 과정 중 일부를 작업 중이니, 함께 배우고 싶으시다면 Twitter 나 Linkedin 에서 연락하세요 !

또한, 빠진 것이 있다고 생각되면 댓글로 남겨주세요!

하지만 먼저, 커리큘럼에 대한 몇 가지 참고사항과 학습에 대한 조언을 드리겠습니다.

탑다운 접근 방식

이 커리큘럼은 상향식 접근 방식을 따릅니다. 즉, 먼저 코드를 배우고 나중에 이론을 배웁니다.

저는 필요에 의해 배우는 것을 좋아합니다. 그래서 무언가를 알아내야 하거나, 해결해야 할 문제가 있거나, 만들어야 할 프로토타입이 있다면, 저는 필요한 정보를 멀리까지 찾아다니며 공부하고, 이해한 다음, 그에 따라 행동할 것입니다.

예를 들어, 저는 LLM을 근본적으로 이해하는 AI 엔지니어가 되는 것을 목표로 합니다. 즉, 변압기를 처음부터 코딩하고 GPU에서 LLM을 미세 조정할 수 있는 기술을 갖추는 것을 의미합니다. 지금은 제 지식에 격차가 있어서 그렇게 할 수 없고, 저는 그 격차를 메우는 것을 목표로 합니다.

또한 NLP에 초점을 맞춥니다. 컴퓨터 비전이나 강화 학습과 같은 다른 AI 전문 분야를 찾고 있다면 아래에 댓글을 달거나 Twitter 나 Linkedin 에서 DM을 보내주세요. 몇 가지 추천 사항을 전달해 드리겠습니다.

여러분께 링크를 늘어놓기 전에, 제가 무엇인가를 배우기 전에 누군가 두 가지 중요한 사실을 알려줬으면 좋겠다는 바람이 있습니다.

대중 속에서 배우다

배워야 할 것이 많고, 특히 AI 분야의 경우 매주 혁신적인 새로운 논문과 아이디어가 발표되므로 결코 배울 것이 없습니다.

가장 큰 실수는 사적으로 배우는 것입니다. 그렇게 하면 스스로에게 어떤 기회도 만들지 못합니다. 무언가를 완료했다고 말할 수 있다는 것 외에는 보여줄 것이 없습니다. 더 중요한 것은 정보를 어떻게 활용했는지, 대중과 공유할 지식으로 어떻게 전환했는지, 그 정보에서 어떤 새로운 아이디어와 해결책이 나왔는지입니다.

그러니까, 여러분은 공개적으로 배워야 합니다.

즉, 창조하는 습관을 갖는 것을 의미합니다.

이는 다음을 의미할 수 있습니다.

• 블로그와 튜토리얼 쓰기
• 해커톤에 참여하고 다른 사람들과 협업하세요
• Discord 커뮤니티에서 질문하고 답변하세요
• 당신이 열정을 가지고 있는 사이드 프로젝트에 참여하세요
• 당신이 새롭게 발견한 흥미로운 것에 대해 트윗하기

그리고 트위터에 대해 말하자면,

트위터를 사용하세요

올바른 사람들을 팔로우하고 올바르게 활용한다면, 트위터는 오늘날 누구나 이용할 수 있는 가장 높은 가치를 지닌 소셜 플랫폼입니다.

누구를 팔로우해야 하나요 ? Suhail의 이 AI 목록을 보세요.

트위터를 사용하는 방법 ? Near의 트위터를 성공적으로 사용하는 방법을 읽어보세요.

트위터에서 DM을 보내세요. 진솔하게, 짧게, 구체적으로 요청하세요. Sriram Krishnan의 콜드 이메일 쓰는 방법 에 대한 이 가이드는 DM에도 적용할 수 있습니다.

트윗하는 방법? Instructor 의 제작자 Jason 이 쓴 Tweet의 해부학을 읽어보세요. 그는 몇 달 만에 팔로워가 0에서 14k로 늘어났습니다.

이 글을 읽고 계시다면, 트위터에서 저를 팔로우해주세요 !

지금 뭐 하고 있는지 DM으로 알려주세요 ! 멋진 프로젝트에 협력하는 건 언제나 환영이에요.

이제 본격적으로 시작해 보겠습니다.

 

목차

• 수학
• 도구
  ∘ 파이썬
  ∘ PyTorch
• 머신러닝
  ∘ 처음부터 작성
  ∘ 경쟁
  ∘ 사이드 프로젝트 수행
  ∘ 배포
  ∘ 보충
• 딥러닝
  ∘ Fast.ai
  ∘ 더 많은 경쟁 수행
  ∘ 논문 구현
  ∘ 컴퓨터 비전
  ∘ NLP
• 대규모 언어 모델
  ∘ Neural Networks: Zero to Hero 시청
  ∘ 무료 LLM 부트 캠프
  ∘ LLM으로 구축
  ∘ 해커톤 참여
  ∘ 논문 읽기
  ∘ Transformers 처음부터 작성
  ∘ 몇몇 좋은 블로그
  ∘ Umar Jamil 시청
  ∘ 오픈소스 모델 실행 방법 알아보기
  ∘ Prompt Engineering
  ∘ LLM 미세 조정
  ∘ RAG
• 최신 소식을 받는 방법
• 유용하다고 생각되는 다른 커리큘럼/리스트

 

수학

달·이

머신 러닝은 선형 대수, 미적분, 확률, 통계라는 수학의 세 가지 기둥에 크게 의존합니다. 각각은 알고리즘이 효과적으로 기능할 수 있도록 하는 데 고유한 역할을 합니다.

• 선형대수학: 행렬과 벡터가 정보를 해석하고 처리하는 알고리즘을 위한 언어를 형성하는 데이터 표현 및 조작을 위한 수학적 툴킷
• 미적분학: 머신 러닝의 최적화 엔진으로, 알고리즘이 기울기와 변화율을 이해하여 학습하고 개선할 수 있도록 합니다.
• 확률과 통계: 불확실성 속에서의 의사 결정의 기초로, 알고리즘이 결과를 예측하고 무작위성과 변동성 모델을 통해 데이터로부터 학습할 수 있도록 합니다.

프로그래머 관점에서 ML을 위한 수학에 관한 훌륭한 시리즈입니다: 가중치 및 편향에 따른 머신 러닝을 위한 수학 ( 코드 )

선형 대수학에 대한 코드 우선 접근 방식을 원하시면 fast.ai의 제작자가 만든 계산 선형 대수학 ( 비디오, 코드 )을 수강하세요.

수업과 함께 Python을 활용한 응용 머신 러닝을 위한 선형 대수학 입문서를 읽어보세요.

좀 더 전통적인 것을 원하시면 Imperial College London의 선형대수학 과 다변량 미적분학 강의를 들어보세요.

3Blue1Brown의 선형대수의 본질 과 미적분의 본질을 시청하세요.

통계를 위해 StatQuest의 통계 기초를 시청하세요

보충

• 책: 머신러닝을 위한 수학
• 논문: 딥러닝에 필요한 행렬 미적분

 

도구

달·이

파이썬

초보자를 위한 실용 Python 프로그래밍 부터 시작하세요.

이미 Python에 익숙하다면 Advanced Python Mastery 를 수강하세요.

두 강좌 모두 Python Cookbook의 저자인 데이비드 비즐리가 쓴 훌륭한 강좌입니다.

그 후 James Powell의 강연 중 일부를 시청하세요.

Python 디자인 패턴을 읽어보세요.

보충

• 책: Fluent Python, 2nd Edition ( 코드 )
• 팟캐스트: Real Python & Talk Python

파이토치

Aladdin Persson 의 PyTorch 튜토리얼 보기

PyTorch 웹사이트는 정말 좋은 곳입니다.

• PyTorch 예제
• 공식 PyTorch 튜토리얼
• FAQ 페이지

퍼즐로 지식을 테스트해보세요

• srush/Tensor-Puzzles: 퍼즐을 풀어보세요. PyTorch를 개선하세요

보충

• 책: 딥러닝을 위한 PyTorch 프로그래밍

 

머신러닝

달·이

100페이지 분량의 ML 책을 읽어보세요.

처음부터 쓰기

읽는 동안 알고리즘을 처음부터 작성해 보세요.

아래 저장소를 살펴보세요

• eriklindernoren/ML-처음부터
• JeremyNixon/오라클
• trekhleb/수제 머신러닝

도전하고 싶다면 이 과정을 따라 PyTorch를 처음부터 작성해 보세요.

• MiniTorch: 머신 러닝 엔지니어링에 대한 DIY 코스 ( 비디오, 코드 )

경쟁하다

대회에서 배운 것을 적용해 보세요.

• bitgrit 및 Kaggle 과 같은 플랫폼에서 ML 경연 대회에 참여하세요. 이 기사를 읽고 자세한 내용을 알아보세요.
• 과거의 성공 사례를 살펴보고 연구해보세요.

사이드 프로젝트를 하세요

Vicki Boykis의 머신 러닝을 프로덕션으로 가져오기 를 읽어보세요

그녀는 또한 책에 대한 의미 검색 기능인 Viberary를 구축하면서 배운 내용에 대해서도 글을 썼습니다.

데이터 세트를 얻고 모델을 구축합니다(예: earthaccess를 사용하여 NASA 지구 데이터를 가져옵니다).

Streamlit 으로 UI를 만들고 Twitter에서 공유해보세요.

배치하다

모델을 프로덕션에 적용하세요. 실험을 추적하세요. 모델을 모니터링하는 방법을 알아보세요. 데이터와 모델 드리프트를 직접 경험하세요.

다음은 몇 가지 훌륭한 리소스입니다.

• ML로 만들어짐
• DataTalksClub/mlops-zoomcamp: 무료 MLOps 코스
• chiphuyen/기계 학습 시스템 설계
• 분명히 AI - ML 시스템 설계: 300개의 사례 연구
• stas00/ml-engineering: 머신러닝 엔지니어링 온라인 책

보충

• PyTorch와 Scikit-Learn을 활용한 머신러닝 ( 코드 )
• [1811.12808] 머신 러닝에서의 모델 평가, 모델 선택 및 알고리즘 선택
• 머신러닝 인터뷰 입문서 · MLIB

 

딥러닝

탑다운 방식을 원하시면 fast.ai로 시작하세요.

패스트.에이아이

• fast.ai ( part1, part2 ) + W&B 스터디 그룹

fast.ai를 좋아하셨나요? Full Stack Deep Learning을 확인해 보세요.

좀 더 포괄적이고 전통적인 과정을 원하시면 François Fleuret 의 UNIGE 14x050 — Deep Learning을 확인해 보세요.

어느 시점에서 이론에 대해 알아볼 필요가 있다면 이 책들이 아주 좋습니다.

• 딥러닝에 뛰어들기 (PyTorch, NumPy/MXNet, JAX 및 TensorFlow의 코드 예제 포함)
• Ian Goodfellow, Yoshua Bengio 및 Aaron Courville의 딥 러닝
• 신경망과 딥러닝
• 딥러닝 이해 (핸즈온 노트북 포함 )

트위터를 스크롤하는 대신 휴대폰에서 딥러닝 소책자를 읽어보세요.

신경망이 수렴하는 동안 이 글을 읽어보세요.

• 신경망 훈련을 위한 레시피
• 딥 뉴럴 네트: 33년 전과 33년 후

더 많은 경쟁을 하세요

• PlantTraits2024 — FGVC11 | Kaggle (컴퓨터 비전)

논문을 구현하다

labml.ai 주석이 달린 PyTorch 논문 구현을 확인하세요.

Papers with Code는 유용한 자료입니다. 여기 웹사이트에서 BERT에 대한 설명을 볼 수 있습니다.

아래는 딥러닝 내 전문 분야에 대한 일부 리소스입니다.

컴퓨터 비전

많은 사람들 이 CS231n: 컴퓨터 비전을 위한 딥 러닝을 추천합니다. 도전적이지만 끝까지 한다면 가치가 있습니다.

강화 학습

RL의 경우 다음 두 가지가 좋습니다.

• OpenAI의 Deep RL에서 스피닝 업
• 🤗 심층 강화 학습 과정 - Hugging Face

자연어처리

또 다른 훌륭한 스탠포드 과정, CS 224N | 딥러닝을 통한 자연어 처리

허깅 페이스 배우기: 허깅 페이스 NLP 코스

이 슈퍼 듀퍼 NLP 리포를 확인하세요

좋은 기사와 분석

• BERT Research - 1화 - 핵심 개념 및 소스 · Chris McCormick
• 그림으로 표현된 Word2vec — Jay Alammar
• 그림으로 표현된 BERT, ELMo, 그리고 회사(NLP가 전이 학습을 어떻게 깨뜨렸는가)
• LSTM 네트워크 이해 — colah's blog
• PyTorch RNN from Scratch — Jake Tae

보충

• Transformers를 이용한 자연어 처리 책

 

대규모 언어 모델

먼저 Andrej의 [ 1시간 토크] 대규모 언어 모델 소개를 시청하세요.

Alexander Rush 의 5가지 공식으로 구성된 대규모 언어 모델 — Cornell Tech

Neural Networks: Zero to Hero를 시청하세요

먼저 역전파 알고리즘을 처음부터 설명하고 코딩하는 것으로 시작하고, GPT를 처음부터 작성하는 것으로 끝납니다.

신경망: Andrej Karpathy의 Zero To Hero

그는 방금 새로운 영상을 공개했습니다 → GPT Tokenizer를 만들어 봅시다

이 글을 읽는 동안 NumPy로 쓴 60줄의 GPT | Jay Mody 도 살펴보세요.

무료 LLM 부트캠프

Full Stack Deep Learning에서 무료로 공개한 유료 LLM 부트캠프입니다 .

이 강좌에서는 신속한 엔지니어링, LLM 운영 방법, LLM을 위한 UX, 그리고 한 시간 안에 LLM 앱을 출시하는 방법을 배웁니다.

이 부트 캠프를 마친 후 이제 빌드하고 싶어지네요.

LLM으로 구축

LLM으로 앱을 만들고 싶으신가요?

Andrew Ng의 대규모 언어 모델을 사용한 애플리케이션 개발 시청

Huyen Chip의 생산을 위한 LLM 애플리케이션 구축을 읽어보세요

Eugene Yan의 LLM 기반 시스템 및 제품 구축을 위한 패턴

요리법은 OpenAI Cookbook 을 참조하세요.

Vercel AI 템플릿을 사용하여 시작하세요.

해커톤에 참여하세요

lablab.ai는 매주 새로운 AI 해커톤을 진행합니다. 팀을 구성하고 싶으면 알려주세요 !

이론을 더 깊이 이해하고 모든 것이 어떻게 작동하는지 알고 싶다면:

논문 읽기

세바스찬 라슈카가 쓴 대규모 언어 모델 이해 에 관한 훌륭한 기사에서, 읽어야 할 논문을 몇 가지 나열해 놓았습니다.

그는 또한 최근에 2024년 1월에 읽어야 할 논문을 담은 또 다른 기사를 출판했는데, 여기에는 미스트랄 모델이 다루어졌습니다.

AI보다 앞서 그의 서브스택을 따르세요.

Transformers를 처음부터 작성해 보세요.

개요를 알아보려면 Transformer Family 버전 2.0 | Lil'Log를 읽어보세요.

자신에게 가장 적합한 형식을 선택하여 처음부터 구현하세요.

종이

• 주의는 당신에게 필요한 전부입니다
• 그림으로 표현된 변압기
• 하버드의 주석이 달린 변압기
• 트랜스포머처럼 생각하다

블로그

• 처음부터 변압기 만들기 - 1부: 주의 메커니즘 ( 2부 )( 코드 )
• Sebastian Raschka 박사 의 처음부터 대규모 언어 모델의 자기 주의 메커니즘 이해 및 코딩
• 처음부터 변압기

비디오

• PyTorch에서 Transformer를 처음부터 코딩하기, 전체 설명, 훈련 및 추론 포함
• NLP: BERT 및 Transformers를 처음부터 구현

이제 처음부터 변압기를 코딩할 수 있습니다. 하지만 아직 더 많은 것이 있습니다.

Stanford CS25 — Transformers United 영상을 시청해 보세요.

좋은 블로그 몇 개

• 광기로의 경사 하강 - 처음부터 LLM 구축
• 일러스트레이티드 트랜스포머 - 제이 알라마
• 유진 얀의 주의와 변압기에 대한 몇 가지 직관
• GPT 속도 향상 — KV 캐시 | 최고의 존재가 되다
• 자기 주의 너머: 작은 언어 모델이 다음 토큰을 예측하는 방법
• 처음부터 라마 만들기(또는 울지 않고 논문을 구현하는 방법) | 브라이언 키타노
• LoRA 개선: 처음부터 Weight-Decomposed Low-Rank Adaptation(DoRA) 구현

우마르 자밀을 시청하세요

그는 논문을 설명하는 환상적인 심층 비디오를 가지고 있습니다. 그는 또한 당신에게 코드를 보여줍니다.

• LoRA: 대규모 언어 모델의 저랭크 적응 - 시각적으로 설명 + 처음부터 PyTorch 코드
• Mistral/Mixtral 설명: 슬라이딩 윈도우 주의, 전문가의 희소한 혼합, 롤링 버퍼
• 주의만 있으면 됩니다(Transformer) - 모델 설명(수학 포함), 추론 및 훈련
• LLaMA 설명: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU
• 검색 증강 생성(RAG) 설명: 임베딩, 문장 BERT, 벡터 데이터베이스(HNSW)

LLM과 관련된 몇 가지 링크가 있지만 포괄적이지 않습니다. LLM에 대한 보다 포괄적인 교과과정은 LLM 교과과정 을 참조하세요.

오픈소스 모델을 실행하는 방법을 알아보세요.

ollama 사용 : Llama 2, Mistral 및 기타 대규모 언어 모델을 로컬로 실행하세요

최근 Python 및 JavaScript 라이브러리를 출시했습니다.

신속한 엔지니어링

Read Prompt Engineering | Lil'Log

Ise Fulford(OpenAI)와 Andrew Ng가 작성한 개발자를 위한 ChatGPT 프롬프트 엔지니어링

DeepLearning.ai에서는 무료로 등록할 수 있는 다른 단기 과정도 제공합니다.

LLM 미세 조정

허깅 페이스 미세 조정 가이드를 읽어보세요.

좋은 가이드북: Fine-Tuning — GenAI 가이드북

악솔로틀을 확인해 보세요.

좋은 기사입니다: Direct Preference Optimization을 사용한 Mistral-7b 모델 미세 조정 | Maxime Labonne 작성

조각

Anyscale의 훌륭한 기사: 프로덕션을 위한 RAG 기반 LLM 애플리케이션 구축

Aman Chadha 의 Retrieval Augmented Generation 에 대한 포괄적인 개요

 

최신 소식을 받는 방법

뉴스레터 + 팟캐스트 + 트위터의 조합

논문은 AK(@_akhaliq)를 팔로우해주세요.

팟캐스트 중에서 제가 찾은 가장 좋은 것은 Swyx & Alessio의 Latent Space 입니다.

그들의 Discord 에 가입하세요.

그들은 또한 모든 주요 AI 불화를 요약한 Smol Talk라는 뉴스레터도 가지고 있습니다.

내가 좋아하는 다른 뉴스레터는 다음과 같습니다.

• 배치 | DeepLearning.AI | AI 뉴스 및 통찰력
• 딥러닝 위클리
• 인터커넥트 | 네이선 램버트
• AI 잡상 | 사하르 모르

이 기사 에서 더 많은 내용을 확인하세요.

유용하다고 생각되는 다른 커리큘럼/목록이 있습니다.

제가 작성한 목록은 모든 내용을 담고 있지는 않지만, 더 많은 정보를 원하신다면 다음과 같습니다.

• 오픈아이/실라버스.md
• AI 캐논 | 안드레센 호로비츠
• AI 학습 큐레이션 - LLM Utils
• AI 멀티버스의 문턱 | 오픈 딥러닝
• louisfb01/start-llms: 2023년 LLM 기술을 시작하고 향상시키기 위한 완벽한 가이드

 

이걸 쓰고 정리하는 데 시간을 너무 많이 들였더니 수익이 점점 줄어드는군요. 배우고 쌓아야 할 때입니다.

이 글이 여러분의 AI 여정에 도움이 되기를 바랍니다!

 

*참고한 원본 글 https://medium.com/bitgrit-data-science-publication/a-roadmap-to-learn-ai-in-2024-cc30c6aa6e16