コース概要

導入

  • 大規模言語モデル (LLMs) とは何か?
  • LLMs と伝統的な NLP モデルの違い
  • LLMs の特徴とアーキテクチャの概要
  • LLMs の課題と制限

LLMs の理解

  • LLM のライフサイクル
  • LLMs がどのように機能するか
  • LLM の主要な構成要素:エンコーダ、デコーダ、アテンション、埋め込みなど

開始方法

  • 開発環境のセットアップ
  • Google Colab や Hugging Face などの LLM 開発ツールのインストール

LLMs の使用

  • 利用可能な LLM オプションの探索
  • LLM の作成と使用
  • カスタムデータセットでの LLM の微調整

要約作成

  • 要約作成タスクとその応用について理解する
  • 抽出型と抽象型の要約作成に LLM を使用する
  • ROUGE、BLEU などの指標を使用して生成された要約の品質を評価する

質問応答

  • 質問応答タスクとその応用について理解する
  • オープンドメインとクローズドドメインの質問応答に LLM を使用する
  • F1、EM などの指標を使用して生成された回答の正確性を評価する

テキスト生成

  • テキスト生成タスクとその応用について理解する
  • 条件付きと無条件付きのテキスト生成に LLM を使用する
  • 温度、top-k、top-p などのパラメータを使用して生成されたテキストのスタイル、トーン、内容を制御する

他のフレームワークやプラットフォームとの統合

  • PyTorch や TensorFlow での LLMs の使用
  • Flask や Streamlit での LLMs の使用
  • Google Cloud や AWS での LLMs の使用

トラブルシューティング

  • LLMs の一般的なエラーやバグの理解
  • TensorBoard を使用してトレーニングプロセスを監視および可視化する
  • PyTorch Lightning を使用してトレーニングコードを簡素化し、パフォーマンスを向上させる
  • Hugging Face Datasets を使用してデータの読み込みと前処理を行う

まとめと次回への準備

要求

  • 自然言語処理と深層学習の理解。
  • Python および PyTorch や TensorFlow の使用経験。
  • 基本的なプログラミングスキル。

対象者

  • 開発者。
  • NLP 愛好家。
  • データ科学者。
 14 時間

参加者の人数


参加者1人当たりの料金

今後のコース

関連カテゴリー