大規模言語モデル(LLM)の作り方 GPT-NeoX編 Part 1

Kazuki Fujii ・ 2023/07/19 に公開・ 1 件

Python

Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 の藤井( @okoge_kaz )です。

大規模モデルへの注目の高さを肌で感じる今日このごろですが、事前学習の知見については依然として十分に共有されているとは言い難いと個人的に感じています。

Turing株式会社では、次世代の自動運転技術を支える技術の1つとして大規模言語モデルに注目しており、独自に研究開発を行っています。今回は大規模言語モデルを学習する際、用いるライブラリ候補の１つに上がるであろうGPT-NeoXについて解説します。

以下で環境構築方法、学習を行う方法などについて詳しく解説します。

EleutherAIが管理しているNIDIA/Megatron-LM ベースの大規模言語モデル(Large Language Model: LLM)を学習するためのライブラリです。

Microsoftが開発するDeepSpeedの技術が組み込まれており、Megatron-DeepSpeedの対抗馬と言える存在です。Megatron-DeepSpeedについて知りたい方は以下の記事をご覧ください。

<a href="https://zenn.dev/turing_motors/articles/04c1328bf6095a" style="" target="_blank">https://zenn.dev/turing_motors/articles/04c1328bf6095a</a> DeepSpeedとは何ですか？ Microsoftが開発しているソフトウェアで、大規模モデルを学習する上では欠かせない技術のひとつです。学習時間の削減や、メモリ効率の上昇など様々な恩恵があります。 詳しくは以下をご覧ください <a href="https://github.com/microsoft/DeepSpeed" target="_blank" rel="nofollow noopener noreferrer">https://github.com/microsoft/DeepSpeed</a> あるモデルをファインチューニングをしたいのですが、GPT-NeoXを使うことは適していますか？ 「適していない」というのが簡潔な答えです。 If you are not looking to train models with billions of parameters from scratch, this is likely the wrong library to use. For generic inference needs, we recommend you use the Hugging Face transformers library instead which supports GPT-NeoX models. このように公式のREADMEで述べられているように、あくまでフルスクラッチで学習を行う際に用いるライブラリと考えるべきでしょう。 今回実験に使用する環境は A100(40GB) ✕ 16 と、A100(40GB) ✕ 8 です。 1 node 8GPU環境下での実験と、2 node 16 GPU環境下におけるマルチノード実験を行えるように解説を行います。 CUDA11.8環境でのセットアップについて解説しますが、CUDA11.7環境の場合はどのようにすれば良いか適時触れますのでご安心ください。 以下で用いるコードをGitHub上にて公開しています。適時参照ください。 <iframe id="zenn-embedded__bbb4c04088828" src="https://embed.zenn.studio/card#zenn-embedded__bbb4c04088828" data-content="https%3A%2F%2Fgithub.com%2Fokoge-kaz%2Fgpt-neox-abci-llm-hackathon" frameborder="0" scrolling="no" loading="lazy"/><a href="https://github.com/okoge-kaz/gpt-neox-abci-llm-hackathon" style="" target="_blank" rel="nofollow noopener noreferrer">https://github.com/okoge-kaz/gpt-neox-abci-llm-hackathon</a> <a class="header-anchor-link" href="#python%E3%81%AE%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97" aria-hidden="true"/> Pythonのセットアップ</h3> Python3.8系を用いましょう。 Python3.9系でも動作するようですが、開発元がPython 3.8で開発、検証していると言っているので、あえて異なるversionにする強い動機がなければPython3.8を用いましょう。 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">&gt; python --version Python 3.8.17 &gt; python -m venv .env &gt; source .env/bin/activate &gt; which python /home/kazuki/gpt-neox/.env/bin/python &gt; python --version Python 3.8.17 仮想環境の名前を<code>.env</code>とする理由はありますか？ ありません。完全に筆者の趣味です。 ただ、python gitignoreで検索すると出てくる<code>.gitignore</code>ファイルのテンプレートに<code>.env</code>が含まれているので、そこそこメジャーな仮想環境作成時の名前だと思っています。 <a href="https://github.com/github/gitignore/blob/main/Python.gitignore#L123" target="_blank" rel="nofollow noopener noreferrer">python gitignore</a> <a class="header-anchor-link" href="#pip-install" aria-hidden="true"/> pip install</h3> 公式の<a href="https://github.com/EleutherAI/gpt-neox" target="_blank" rel="nofollow noopener noreferrer">GPT-NeoX</a>からpip installを行うと、2023年7月16日現在 CUDA11.7対応のPyTorchがinstallされます。 今回は、CUDA11.8環境向けにセットアップを行うので<code>requirements/requirements.txt</code>を修正します。修正済みのものを以下のリンク先に用意していますのでお使いください。 <iframe id="zenn-embedded__5af111e28334e" src="https://embed.zenn.studio/github#zenn-embedded__5af111e28334e" data-content="https%3A%2F%2Fgithub.com%2Fokoge-kaz%2Fgpt-neox-abci-llm-hackathon%2Fblob%2Fhpc%2Ffujii%2Fwandb-logging%2Frequirements%2Frequirements.txt" frameborder="0" scrolling="no" loading="lazy"/><a href="https://github.com/okoge-kaz/gpt-neox-abci-llm-hackathon/blob/hpc/fujii/wandb-logging/requirements/requirements.txt" style="" target="_blank" rel="nofollow noopener noreferrer">https://github.com/okoge-kaz/gpt-neox-abci-llm-hackathon/blob/hpc/fujii/wandb-logging/requirements/requirements.txt</a> <div class="code-block-filename-container">requirements.txt</div> <pre class="language-txt"><code class="language-txt">--find-links https://download.pytorch.org/whl/torch_stable.html torch==2.0.1+cu118 best_download git+https://github.com/EleutherAI/DeeperSpeed.git#egg=deepspeed ftfy&gt;=6.0.1 git+https://github.com/EleutherAI/lm_dataformat.git@4eec05349977071bf67fc072290b95e31c8dd836 huggingface_hub&gt;=0.11.0 lm_eval&gt;=0.3.0 mpi4py&gt;=3.0.3 numpy&gt;=1.22.0 pybind11&gt;=2.6.2 regex sentencepiece tiktoken&gt;=0.1.2 tokenizers&gt;=0.12.1 transformers&gt;=4.24.0 </div><details><summary>nvcc による versionの確認</summary><div class="details-content"> Lambda Cloudなど、自分でセットアップしたわけではない環境でCUDA versionを確認する方法 <div class="code-block-container"><pre class="language-bahs"><code class="language-bahs">&gt; nvcc --version nvcc: NVIDIA (R) Cuda compiler driver Built on Wed_Sep_21_10:33:58_PDT_2022 Cuda compilation tools, release 11.8, V11.8.89 Build cuda_11.8.r11.8/compiler.31833905_0 では、実際に<code>pip install</code>していきましょう。 ABCI, wisteria, 研究室GPUクラスタなどで module loadをする必要がある環境下ではmodule loadを忘れないようにしましょう。 具体例を以下に示します。 ABCIの場合 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">module load cuda/11.8/11.8.0 module load cudnn/8.6/8.6.0 nccl/2.16/2.16.2-1 module load hpcx/2.12 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">pip install -r requirements/requirements.txt pip install -r requirements/requirements-wandb.txt pip install -r requirements/requirements-tensorboard.txt </code></pre></div>wandb, tensorboard を導入してログの収集を容易にします。 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">python ./megatron/fused_kernels/setup.py install </code></pre></div>install できると以下のようなログが出るはずです。 <div class="code-block-container"><pre><code>Adding fused-kernels 0.0.1 to easy-install.pth file Installed /home/kazuki/gpt-neox/.env/lib/python3.8/site-packages/fused_kernels-0.0.1-py3.8-linux-x86_64.egg Processing dependencies for fused-kernels==0.0.1 Finished processing dependencies for fused-kernels==0.0.1 fused kernels とは何ですか？ 端的に表現すると、計算効率を上昇させるためのものです。 特定の計算のために必要な複数の操作、処理を1つにまとめてしまい、個別に計算するのではなく、まとめて計算することでメモリアクセス回数の削減や、オーバヘッドを削減し計算効率を上昇させる技術です。 DeepLearningの文脈では、膨大な行列積、加算処理を1つのカーネルに融合(fused)し、データの読み込み、書き込みなどのオーバーヘッドを削減することで、パフォーマンスを向上させる技術のことを指します。 NVIDIA apex fused kernelに関する記事ではありませんが、Preferred Networks(PFN)のCuPyにおけるカーネル融合に関する記事が参考になるかと思います。 <a href="https://tech.preferred.jp/ja/blog/cupy-kernel-fusion-extension/" target="_blank" rel="nofollow noopener noreferrer">https://tech.preferred.jp/ja/blog/cupy-kernel-fusion-extension/</a> CUDA11.7環境でinstallするには？ requirements.txt を <div class="code-block-container"><pre class="diff-highlight "><code class="diff-highlight ">- torch==2.0.1+cu118 + torch==2.0.1+cu117 のようにすれば、問題ありません。コマンドラインからinstallする場合は <div class="code-block-container"><pre class="language-bash"><code class="language-bash">pip install torch==2.0.1+cu117 のようにすれば良いです。 データの用意 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">python prepare_data.py -d ./data </code></pre></div><code>gpt2-vocab.json</code>, <code>gpt2-merges.txt</code>, <code>enwik8.zip</code>がダウンロードされます。 <code>gpt2-vocab.json</code>, <code>gpt2-merges.txt</code>は、GPT2BPETokenizerに用いられ、<code>enwik8.zip</code>はデータセットとして用いられます。 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">Setting ds_accelerator to cuda (auto detect) &gt; building GPT2BPETokenizer tokenizer ... &gt; padded vocab (size: 50257) with 47 dummy tokens (new size: 50304) Vocab size: 50257 Output prefix: ./data/enwik8/enwik8 &gt; building GPT2BPETokenizer tokenizer ... &gt; padded vocab (size: 50257) with 47 dummy tokens (new size: 50304) </code></pre></div>以上のように自動で<code>data/enwik8/enwik8_text_document.bin</code>, <code>data/enwik8/enwik8_text_document.idx</code>の形式にTokenizeされます。 Tokenizeを行っているので、しばらくの間待つ必要があります。 気長に待ちましょう。 デフォルトで対応しているTokenizerを調べるにはどうすればよいですか？ <code>megatron/neox_arguments/neox_args.py</code>の676行目付近に <div class="code-block-filename-container">megatron/neox_arguments/neox_args.py</div> <pre class="language-python"><code class="language-python"> tokenizer_type: Literal[ "GPT2BPETokenizer", "HFTokenizer", "HFGPT2Tokenizer", "SPMTokenizer", "CharLevelTokenizer", "TiktokenTokenizer", ] = "GPT2BPETokenizer" とあるように、これらが対応しています。 tokenizerの定義や、実体は<code>megatron/tokenizer/tokenizer.py</code>にありますので、独自のTokenizerを追加する際などはここを変更してください。 HFTokenizerはHuggingFace Tokenizer, SPMTokenizerはSentencePiece Tokenizerのことを指します。 GPT-NeoXでは、DeepSpeedをラップしたランチャー(launcher)がデフォルトで用意されています。DeepSpeedコマンドや、<code>mpirun</code>にて立ち上げることも可能ですが、今回はデフォルトで用意されているランチャーを用いた方法を紹介します。 学習を行う際の実行方法は以下の通りです。 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">python ./deepy.py train.py [path/to/config1.yml] [path/to/config2.yml] ... </code></pre></div><code>deepy.py</code>がデフォルトで用意されているランチャーです。学習時には、このランチャーに<code>train.py</code>を渡します。またGPT-NeoXでは、学習時のパラメーターを YAMLファイル形式で管理し、YAMLにて定義した設定ファイルを上記のコマンドのように <code>[path/to/config.yml]</code>の形で渡すことで学習を行います。 YAMLファイルには、Tensor Parallel, Pipeline ParallelなどのParallelismの設定や、Modelの詳細を決定するための設定、Optimizerの設定などがあります。 具体例を見たほうが理解し易いと思うので、いくつか例を示します。 <a class="header-anchor-link" href="#parallelism(%E4%B8%A6%E5%88%97%E5%8C%96)%E8%A8%AD%E5%AE%9A" aria-hidden="true"/> Parallelism(並列化)設定</h4> <div class="code-block-container"><pre class="language-yaml"><code class="language-yaml"> "pipe_parallel_size": 1, "model_parallel_size": 1, </code></pre></div>Data Parallel Sizeは、 \text{DP-SIZE} = \text{WORLD-SIZE} / (\text{TP-SIZE} \times \text{PP-SIZE}) にて計算されます。 GPT-NeoXでは Tensor Parallelのことを Model Parallelと呼んでいます。 この記事では、Tensor Parallel(Model Parallel)のような形で表記します。 Model Parallelを Tensor ParallelとPipeline Parallelを含んだ上位概念として使っているドキュメントも存在します。また、Tensor Model Parallel, Pipeline Model Parallelという表記も存在します。必ずしもライブラリ間で用語の統一がなされているとは限らないため注意が必要です。 DP-SIZE: Data Parallel Size (データ並列) TP-SIZE: Tensor Parallel (Model Parallel) Size (テンソル並列) PP-SIZE: Pipeline Parallel Size (パイプライン並列) のことです。 上記で出てきた用語の理解が怪しい方は、以下の記事を参照ください。 <iframe id="zenn-embedded__223d9d86f0792" src="https://embed.zenn.studio/card#zenn-embedded__223d9d86f0792" data-content="https%3A%2F%2Fzenn.dev%2Fturing_motors%2Farticles%2F0e6e2baf72ebbc" frameborder="0" scrolling="no" loading="lazy"/><a href="https://zenn.dev/turing_motors/articles/0e6e2baf72ebbc" style="" target="_blank">https://zenn.dev/turing_motors/articles/0e6e2baf72ebbc</a> <a class="header-anchor-link" href="#%E3%83%A2%E3%83%87%E3%83%AB-%E8%A8%AD%E5%AE%9A" aria-hidden="true"/> モデル設定</h4> <div class="code-block-container"><pre class="language-yaml"><code class="language-yaml"> "num_layers": 12, "hidden_size": 768, "num_attention_heads": 12, "seq_length": 2048, "max_position_embeddings": 2048, </code></pre></div>モデルアーキテクチャを指定します。 これによりモデルパラメータ数が決定されます。 何を参考に<code>num_layers</code>,<code>hidden_size</code>,<code>num_attention_heads</code>などを決めれば良いですか？ <a href="https://arxiv.org/abs/2005.14165" target="_blank" rel="nofollow noopener noreferrer">GPT-3の論文</a>や学習したいモデルの論文、Technical Reportから具体的な値を探す方法が考えられます。 また、<code>gpt-neox/configs</code>には175M, 350M, 760M, 800M, 1.3B, 2.7B, 6.7B, 13B,...といったパラメーター数のconfigurationを記したYAMLファイルが存在します。これを参考にするのが最も手軽かと思います。 参考までに、GPT-3の論文に掲載されているモデル構成を添付します。 (<a href="https://arxiv.org/abs/2005.14165" target="_blank" rel="nofollow noopener noreferrer">Language Models are Few-Shot Learniers</a> 8ページより) <a class="header-anchor-link" href="#optimizer-%E8%A8%AD%E5%AE%9A" aria-hidden="true"/> Optimizer 設定</h4> <div class="code-block-container"><pre class="language-yaml"><code class="language-yaml"> "optimizer": { "type": "Adam", "params": { "lr": 0.0006, "max_grad_norm": 1.0, "betas": [0.9, 0.95] </code></pre></div>モデルサイズやモデルアーキテクチャに応じて、Learning Rate(学習率)を変更する必要がある場合や、Optimizerのtype自体を変更する場合は、この部分を変更すれば良いです。 <a class="header-anchor-link" href="#%E3%81%9D%E3%81%AE%E4%BB%96%E3%81%AE%E8%A8%AD%E5%AE%9A" aria-hidden="true"/> その他の設定</h4> DeepSpeed ZeRO Optimizationの設定や、Batch Sizeの設定など、設定できる項目は複数存在します。設定可能なすべての項目一覧は<a href="https://github.com/EleutherAI/gpt-neox/blob/main/configs/neox_arguments.md" target="_blank" rel="nofollow noopener noreferrer">こちらに</a>ありますので参照ください。 また、GPT-NeoXでは <div class="code-block-container"><pre class="language-bash"><code class="language-bash">python ./deepy.py train.py [path/to/config1.yml] [path/to/config2.yml] ... </code></pre></div>のようにconfigファイルを複数渡すことができます。そのため、config1には変更が少ない設定を書き、config2には実験ごとに変える可能性が高い<code>data_path</code>, <code>save</code>(=checkpointの保存先), wandb, tensorboardのlogging設定などを記述するといった運用方法が可能です。 <a class="header-anchor-link" href="#%E3%82%B7%E3%83%B3%E3%82%B0%E3%83%AB%E3%83%8E%E3%83%BC%E3%83%89" aria-hidden="true"/> シングルノード</h3> 2.7Bのモデルを学習してみましょう。 A100(40GB) ✕ 8枚の環境で学習を行います。 まず<code>scripts/2.7B/1node-dp8-tp1-pp1.sh</code>を作成し、以下のようにします。 <div class="code-block-filename-container">scripts/2.7B/1node-dp8-tp1-pp1.sh</div> <pre class="language-bash"><code class="language-bash">#!/bin/bash source .env/bin/activate # nccl log export NCCL_DEBUG=INFO # nvlink nvidia-smi nvlink --status # log dir mkdir -p outputs/logs/2.7B now=$(date +"%Y-%m-%d-%H-%M-%S") python ./deepy.py train.py \ -d configs 2-7B.yml 1node/2.7b-dp8-tp1-pp1.yml \ &amp;&gt; outputs/logs/2.7B/1node-dp8-tp1-pp1-$now.log <code>gpt-neox/config</code>に<code>1-3B</code>,<code>2-7B</code>のようなYAMLファイルがありますが、どのような意味ですか？ それぞれ、1.3B、2.7Bという意味です。 標準出力にモデルのパラメーター数が出力される箇所が下記のようにあるので、それを見ていただくと明らかかと思います。 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">[2023-07-07 19:36:56,980] [INFO] [engine.py:138:__init__] RANK=0 STAGE=0 LAYERS=37 [0, 37) STAGE_PARAMS=2775208960 (2775.209M) TOTAL_PARAMS=2775208960 (2775.209M) UNIQUE_PARAMS=2775208960 (2775.209M) &gt; number of parameters on model parallel rank 0: 2775208960 &gt; total params: 2,775,208,960 次に <code>configs/1node/2.7b-dp8-tp1-pp1.yml</code>を作成します。 中身の内容は以下のようにしてください。 <div class="code-block-filename-container">configs/1node/2.7b-dp8-tp1-pp1.yml</div> "data_path": "data/enwik8/enwik8_text_document", "vocab_file": "data/gpt2-vocab.json", "merge_file": "data/gpt2-merges.txt", "save": "checkpoints/default-launcher/gpt-2.7b-dp8-tp1-pp1", "load": "checkpoints/default-launcher/gpt2-2.7b-dp8-tp1-pp1", "checkpoint_validation_with_forward_pass": False, "tensorboard_dir": "tensorboard", "log_dir": "logs", "use_wandb": True, "wandb_host": "https://api.wandb.ai", "wandb_project": "gpt-neox-abci", "wandb_team": &lt;user-name&gt;, "wandb_group": "gpt-2.7b-dp8-tp1-pp1", wandb loginを行っていないと、エラーが出ます。 wandb loginを事前に行ってください。 また、wandb_teamの箇所に自分のwandb user_nameを記載してください。 諸々の準備が整いましたので、学習を行いましょう。 <code>gpt-neox/</code>にて <div class="code-block-container"><pre class="language-bash"><code class="language-bash">bash scripts/2.7B/1node-dp8-tp1-pp1.sh </code></pre></div>で学習を行いましょう。 上手く学習ができると、wandbに以下のようなグラフが得られます。 また以下のような標準出力が得られます。 <details><summary>標準出力</summary><div class="details-content"><div class="code-block-container"><pre class="language-bash"><code class="language-bash">[2023-07-07 19:37:06,263] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 573.87 | optimizer_gradients: 5.38 | optimizer_step: 9.64 [2023-07-07 19:37:10,624] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 578.54 | optimizer_gradients: 5.31 | optimizer_step: 9.60 [2023-07-07 19:37:14,496] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 577.69 | optimizer_gradients: 5.40 | optimizer_step: 9.65 [2023-07-07 19:37:18,364] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 574.50 | optimizer_gradients: 5.34 | optimizer_step: 9.60 [2023-07-07 19:37:22,235] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 577.48 | optimizer_gradients: 5.52 | optimizer_step: 9.65 [2023-07-07 19:37:26,113] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 577.73 | optimizer_gradients: 5.37 | optimizer_step: 9.67 [2023-07-07 19:37:29,978] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 575.30 | optimizer_gradients: 5.36 | optimizer_step: 9.72 [2023-07-07 19:37:33,855] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 575.87 | optimizer_gradients: 5.44 | optimizer_step: 9.62 [2023-07-07 19:37:37,733] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 576.62 | optimizer_gradients: 5.30 | optimizer_step: 9.96 [2023-07-07 19:37:41,604] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 577.08 | optimizer_gradients: 5.33 | optimizer_step: 9.61 [2023-07-07 19:37:41,604] [INFO] [logging.py:96:log_dist] [Rank 0] step=10, skipped=0, lr=[5e-07, 5e-07], mom=[[0.9, 0.95], [0.9, 0.95]] [2023-07-07 19:37:41,606] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | batch_input: 523.88 | forward_microstep: 6684.31 | backward_microstep: 15795.31 | backward_inner_microstep: 15794.06 | backward_allreduce_microstep: 0.24 | step_microstep: 6070.90 [2023-07-07 19:37:41,607] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | forward: 6684.10 | backward: 15795.29 | backward_inner: 15793.91 | backward_allreduce: 0.28 | step: 6071.11 steps: 10 loss: 9.5540 iter time (s): 4.179 samples/sec: 7.658 [2023-07-07 19:37:41,608] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) [2023-07-07 19:37:45,490] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 577.16 | optimizer_gradients: 5.30 | optimizer_step: 9.64 [2023-07-07 19:37:49,359] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 574.45 | optimizer_gradients: 5.35 | optimizer_step: 9.66 [2023-07-07 19:37:53,229] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 573.38 | optimizer_gradients: 5.30 | optimizer_step: 9.85 [2023-07-07 19:37:57,108] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 578.81 | optimizer_gradients: 5.34 | optimizer_step: 9.61 [2023-07-07 19:38:00,988] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 575.95 | optimizer_gradients: 5.40 | optimizer_step: 9.60 [2023-07-07 19:38:04,863] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 572.32 | optimizer_gradients: 5.56 | optimizer_step: 9.63 [2023-07-07 19:38:08,744] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 577.78 | optimizer_gradients: 5.42 | optimizer_step: 9.68 [2023-07-07 19:38:12,661] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 575.15 | optimizer_gradients: 5.35 | optimizer_step: 9.63 [2023-07-07 19:38:16,552] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 578.07 | optimizer_gradients: 5.39 | optimizer_step: 9.62 [2023-07-07 19:38:20,430] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 577.15 | optimizer_gradients: 5.37 | optimizer_step: 9.65 [2023-07-07 19:38:20,431] [INFO] [logging.py:96:log_dist] [Rank 0] step=20, skipped=0, lr=[1e-06, 1e-06], mom=[[0.9, 0.95], [0.9, 0.95]] [2023-07-07 19:38:20,433] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | batch_input: 12.32 | forward_microstep: 4644.11 | backward_microstep: 15769.43 | backward_inner_microstep: 15767.64 | backward_allreduce_microstep: 0.44 | step_microstep: 6064.11 [2023-07-07 19:38:20,434] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | forward: 4643.94 | backward: 15769.51 | backward_inner: 15767.57 | backward_allreduce: 0.48 | step: 6064.31 A100 (40GB) に 2.7B のパラメーターは載らないと思うのですが、どうして学習できているのですか？ 今回は、DeepSpeedのZeRO Stage1 を用いています。ZeRO Stage1 ではOptimizer StateがGPU間で共有されるため、<embed-katex><eq class="zenn-katex">N_d</eq></embed-katex>をData Parallelサイズとすると、各Data Parallelのプロセス(=各GPU)は<embed-katex><eq class="zenn-katex">\frac{1}{N_d}</eq></embed-katex>のOptimizer Stateしか有する必要がなくなります。学習ステップ(training step)の終わりごとに、Data Parallelプロセス間でAll-Gatherを行い、すべてのプロセス間でパラメーターを更新します。この仕組みによりメモリを削減しているため、学習が行えているという訳です。 これらの仕組みや詳しい使用方法については「大規模モデルを支える分散並列学習のしくみ Part2」にて解説する予定ですのでそちらをご覧ください。 <a class="header-anchor-link" href="#%E3%83%9E%E3%83%AB%E3%83%81%E3%83%8E%E3%83%BC%E3%83%89" aria-hidden="true"/> マルチノード</h3> シングルノードで学習ができたので、次はマルチノードでの学習を行ってみましょう。 <a class="header-anchor-link" href="#%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97" aria-hidden="true"/> セットアップ</h4> マルチノードで学習するためには、そのためのセットアップが必要です。 DeepSpeedをlauncherとして用いる場合、マルチノードで学習する際にはPDSHを用います。 該当コード <iframe id="zenn-embedded__811467f3b1aff" src="https://embed.zenn.studio/github#zenn-embedded__811467f3b1aff" data-content="https%3A%2F%2Fgithub.com%2Fmicrosoft%2FDeepSpeed%2Fblob%2Fmaster%2Fdeepspeed%2Flauncher%2Frunner.py%23L120-L124" frameborder="0" scrolling="no" loading="lazy"/><a href="https://github.com/microsoft/DeepSpeed/blob/master/deepspeed/launcher/runner.py#L120-L124" style="" target="_blank" rel="nofollow noopener noreferrer">https://github.com/microsoft/DeepSpeed/blob/master/deepspeed/launcher/runner.py#L120-L124</a> そのため、pdshをinstallする必要があります。インストール方法は以下の通りです。 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">sudo apt-get update -y sudo apt-get install -y pdsh </code></pre></div>pdsh が install できていないと以下のようなエラーが発生します。 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">2023-07-12 17:12:39,692] [INFO] [runner.py:455:main] Using IP address of 10.xx.xx.xxx for node 10.xx.xx.xxx Traceback (most recent call last): File "./deepy.py", line 41, in &lt;module&gt; main() File "./deepy.py", line 37, in main deepspeed.launcher.runner.main(deepspeed_main_args) File "/home/kazuki/gpt-neox/.env/lib/python3.8/site-packages/deepspeed/launcher/runner.py", line 527, in main raise RuntimeError(f"launcher '{args.launcher}' not installed.") RuntimeError: launcher 'pdsh' not installed. pdshってなに？ PDSH(Parallel Distributed Shell)は、シェルコマンドを複数のリモートマシン上で並列的(parallel)に実行するために用いられるツールです。 今回はマルチノードで学習を行うため、そのために用いられています。 次に、DeepSpeedでマルチノード学習を行うには、ノード間でパスフレーズなしSSHが可能な必要があります。(より正確にはPDSHの仕様) <code>ssh-keygen -t ed25519 -f &lt;key-name&gt;</code>でSSHキーを作成し、ノード間で接続できるようにします。まず、接続先のノードに何らかの方法で公開鍵を登録します。(webの管理画面等から公開鍵をuploadできるようなサービスもあれば、接続先の<code>~/.ssh/authorized_keys</code>に何らかの方法で公開鍵を追加する必要がある場合もあります。) 次にssh configを作成しましょう。以下のような形で作成します。 <div class="code-block-filename-container">~/.ssh/config</div> <pre class="language-bash"><code class="language-bash">Host 10.xx.xx.xxx HostName 10.xx.xx.xxx User kazuki IdentityFile ~/.ssh/&lt;key-name&gt; ServerAliveInterval 15 </div>また、マルチノードで学習を行うには hostfileを作成する必要があります。 以下のような要領で、Host名、GPU数を記述してください。 (今回は A100(40GB)✕8GPU ✕ 2nodeなので、slots=8としています) <div class="code-block-filename-container">scripts/2.7B/hostfile</div> <pre class="language-txt"><code class="language-txt">10.xx.xx.xxx slots=8 10.xx.xx.yyy slots=8 準備が整ったので、2 node 16 GPUでも学習させてみましょう。 <div class="code-block-filename-container">scripts/2.7B/2node-dp16-tp1-pp1.sh</div> <pre class="language-bash"><code class="language-bash">#!/bin/bash source .env/bin/activate # nccl log export NCCL_DEBUG=INFO # nvlink nvidia-smi nvlink --status # log dir mkdir -p outputs/logs/2.7B now=$(date +"%Y-%m-%d-%H-%M-%S") python ./deepy.py train.py \ --hostfile scripts/2.7B/hostfile \ -d configs 2-7B.yml multi-node/2.7B/dp16-tp1-pp1.yml \ &amp;&gt; outputs/logs/2.7B/2node-dp16-tp1-pp1-$now.log </div>のような学習用のJob Scriptを作成します。 次に、configファイルを作成します。 <div class="code-block-filename-container">configs/multi-node/2.7B/dp16-tp1-pp1.yml</div> "data_path": "data/enwik8/enwik8_text_document", "vocab_file": "data/gpt2-vocab.json", "merge_file": "data/gpt2-merges.txt", "save": "checkpoints/gpt-2.7b-dp16-tp1-pp1", "load": "checkpoints/gpt-2.7b-dp16-tp1-pp1", "checkpoint_validation_with_forward_pass": False, "tensorboard_dir": "tensorboard", "log_dir": "logs", "use_wandb": True, "wandb_host": "https://api.wandb.ai", "wandb_project": "gpt-neox-abci", "wandb_team": &lt;user-name&gt;, "wandb_group": "gpt-neox-2.7b-dp16", </div>実は、1 node の場合と変わっているのはcheckpointの保存先、ロード先、wandb_groupの名前だけです。どうして、このようなことが可能かというと、batch sizeについてconfigファイルにて指定しているのが<code> "train_micro_batch_size_per_gpu": 4</code>であるため、global batch sizeをあわせて変更する必要がないからです。また、Data Parallel Size(データ並列数)はWorld SizeとTensor Parallel Size, Pipeline Parallel Sizeから自動計算されるため、こちら側でconfigファイルを書き換える必要はありません。 準備が整ったので実際に実行してみましょう。 <code>bash scripts/2.7B/2node-dp16-tp1-pp1.sh</code>で実行します。 実行する際に、他のノードのGPUが確認できているか、確認するには、実行時の標準出力を見てください <div class="code-block-container"><pre class="language-bash"><code class="language-bash">[2023-07-17 13:24:36,090] [INFO] [launch.py:162:main] global_rank_mapping=defaultdict(&lt;class 'list'&gt;, {'10.xx.xx.xxx': [0, 1, 2, 3, 4, 5, 6, 7], '10.xx.xx.yyy': [8, 9, 10, 11, 12, 13, 14, 15]}) 10.xx.xx.xxx: [2023-07-17 13:24:36,090] [INFO] [launch.py:163:main] dist_world_size=16 上記の標準出力の読み方を教えてください IPアドレス: 10.xx.xx.xxx のノードのglobal rankのリストが[0, 1, 2, 3, 4, 5, 6, 7],であり、IPアドレス: 10.xx.xx.yyyのノードのglobal rankのリストが[8, 9, 10, 11, 12, 13, 14, 15]であるということです。16枚のGPUを認識できていることが分かります。 上手く実行できている場合は、wandbにLossの推移が以下のように記録されているはずです。 マルチノードでも学習を行うことができました。🎉 ログが大量に表示されるのですが、なぜですか？ <code>export NCCL_DEBUG=INFO</code>によりNCCL INFOを表示するようにしています。 <div class="code-block-container"><pre class="language-bash"><code class="language-bash">10.xx.xx.xxx: work1-gpu8:14085:16296 [2] NCCL INFO Using network IB 10.xx.xx.xxx: work1-gpu8:14090:16298 [7] NCCL INFO Trees [0] -1/-1/-1-&gt;15-&gt;14 [1] -1/-1/-1-&gt;15-&gt;14 10.xx.xx.xxx: work1-gpu8:14089:16295 [6] NCCL INFO Trees [0] 15/-1/-1-&gt;14-&gt;13 [1] 15/-1/-1-&gt;14-&gt;13 ログを表示することで、InfiniBand(IB)を利用して高速通信が行えているかどうかや、NCCLが木構造を形成し、通信を行う際のパスを確認することができます。 NCCLとは何ですか？ NVIDIA Collective Communication Libraryのことを指します。 GPU間でデータのやり取りをする際に利用されます。 分散並列学習では、大量のデータを高速に転送することができるか否かが、学習速度に大きく影響を与えるため、GPU間のデータ通信速度は極めて重要です。 NCCLはノード内のGPU同士、ノード間の通信を広帯域、低レイテンシで通信できるように最適化された通信を提供してくれます。 詳しい説明は以下のリンクを参照ください。 <a href="https://developer.nvidia.com/nccl" target="_blank" rel="nofollow noopener noreferrer">https://developer.nvidia.com/nccl</a> 標準出力は以下のようになります。 <details><summary>標準出力</summary><div class="details-content"><div class="code-block-container"><pre class="language-bash"><code class="language-bash">[2023-07-17 13:27:17,846] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 789.93 | optimizer_gradients: 2.91 | optimizer_step: 4.84 10.xx.xx.xxx: [2023-07-17 13:27:22,223] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 787.71 | optimizer_gradients: 2.91 | optimizer_step: 4.83 10.xx.xx.xxx: [2023-07-17 13:27:26,602] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 788.85 | optimizer_gradients: 2.87 | optimizer_step: 4.81 10.xx.xx.xxx: [2023-07-17 13:27:30,980] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 787.38 | optimizer_gradients: 2.97 | optimizer_step: 4.87 10.xx.xxx.xxx: [2023-07-17 13:27:35,351] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 786.62 | optimizer_gradients: 2.89 | optimizer_step: 4.88 10.xx.xx.xxx: [2023-07-17 13:27:39,732] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 791.11 | optimizer_gradients: 2.99 | optimizer_step: 4.84 10.xx.xx.xxx: [2023-07-17 13:27:44,110] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 790.53 | optimizer_gradients: 2.89 | optimizer_step: 4.85 10.xx.xx.xxx: [2023-07-17 13:27:48,484] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 787.16 | optimizer_gradients: 2.87 | optimizer_step: 4.85 10.xx.xx.xxx: [2023-07-17 13:27:52,859] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 787.22 | optimizer_gradients: 2.91 | optimizer_step: 4.84 10.xx.xx.xxx: [2023-07-17 13:27:52,860] [INFO] [logging.py:96:log_dist] [Rank 0] step=10, skipped=0, lr=[5e-07, 5e-07], mom=[[0.9, 0.95], [0.9, 0.95]] 10.xx.xx.xxx: [2023-07-17 13:27:52,861] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | batch_input: 1438.54 | forward_microstep: 13076.98 | backward_microstep: 16110.56 | backward_inner_microstep: 16109.84 | backward_allreduce_microstep: 0.08 | step_microstep: 8128.62 10.xx.xx.xxx: [2023-07-17 13:27:52,862] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | forward: 13076.75 | backward: 16110.41 | backward_inner: 16109.70 | backward_allreduce: 0.09 | step: 8128.77 10.xx.xx.xxx: steps: 10 loss: 9.5307 iter time (s): 5.483 samples/sec: 11.672 10.xx.xx.xxx: [2023-07-17 13:27:52,863] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) 10.xx.xxx.xxx: [2023-07-17 13:27:57,236] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 788.70 | optimizer_gradients: 2.88 | optimizer_step: 4.84 10.xx.xx.xxx: [2023-07-17 13:28:01,611] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 787.81 | optimizer_gradients: 2.96 | optimizer_step: 4.84 10.xx.xx.xxx: [2023-07-17 13:28:05,988] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 790.09 | optimizer_gradients: 2.87 | optimizer_step: 4.85 10.xx.xx.xxx: [2023-07-17 13:28:10,362] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 788.21 | optimizer_gradients: 2.87 | optimizer_step: 4.84 10.xx.xx.xxx: [2023-07-17 13:28:14,741] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 790.06 | optimizer_gradients: 2.88 | optimizer_step: 4.83 10.xx.xx.xxx: [2023-07-17 13:28:19,116] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 789.71 | optimizer_gradients: 2.87 | optimizer_step: 4.83 10.xx.xx.xxx: [2023-07-17 13:28:23,492] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 789.44 | optimizer_gradients: 2.87 | optimizer_step: 4.82 10.xx.xx.xxx: [2023-07-17 13:28:27,873] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 790.56 | optimizer_gradients: 2.90 | optimizer_step: 4.84 10.xx.xx.xxx: [2023-07-17 13:28:32,247] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 789.19 | optimizer_gradients: 2.87 | optimizer_step: 4.83 10.xx.xx.xxx: [2023-07-17 13:28:36,626] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 787.22 | optimizer_gradients: 2.89 | optimizer_step: 4.84 10.xx.xx.xxx: [2023-07-17 13:28:36,627] [INFO] [logging.py:96:log_dist] [Rank 0] step=20, skipped=0, lr=[1e-06, 1e-06], mom=[[0.9, 0.95], [0.9, 0.95]] 10.xx.xx.xxx: [2023-07-17 13:28:36,628] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | batch_input: 12.21 | forward_microstep: 4588.99 | backward_microstep: 15634.87 | backward_inner_microstep: 15634.26 | backward_allreduce_microstep: 0.07 | step_microstep: 8043.15 10.xx.xx.xxx: [2023-07-17 13:28:36,629] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | forward: 4588.86 | backward: 15634.69 | backward_inner: 15634.14 | backward_allreduce: 0.07 | step: 8043.33 10.xx.xx.xxx: steps: 20 loss: 8.4760 iter time (s): 4.374 samples/sec: 14.633 <a class="header-anchor-link" href="#zero-data-parallel-%2B-pipeline-parallel" aria-hidden="true"/> ZeRO Data Parallel + Pipeline Parallel</h3> Data Parallel単体だけでなく、Pipeline ParallelとData Parallelを組み合わせる手法についても試してみましょう。 <code>scripts/2.7B/1node-dp4-tp1-pp2.sh</code>に以下のようなスクリプトファイルを作成します。 <div class="code-block-filename-container">scripts/2.7B/1node-dp4-tp1-pp2.sh</div> <pre class="language-bash"><code class="language-bash">#!/bin/bash source .env/bin/activate # nccl log export NCCL_DEBUG=INFO # nvlink nvidia-smi nvlink --status # log dir mkdir -p outputs/logs/2.7B now=$(date +"%Y-%m-%d-%H-%M-%S") python ./deepy.py train.py \ -d configs 1node/2.7b-dp4-tp1-pp2.yml \ &amp;&gt; outputs/logs/2.7B/1node-dp4-tp1-pp2-$now.log </div>加えて config ファイルを作成します。 今回は複数ファイルに分けず1つのファイルに集約してみましょう。 <code>configs/1node/2.7b-dp4-tp1-pp2.yml</code>に以下のようなYAMLファイルを作成します。 # parallelism settings ( you will want to change these based on your cluster setup, ideally scheduling pipeline stages # across the node boundaries ) "pipe_parallel_size": 2, "model_parallel_size": 1, # model settings "num_layers": 32, "hidden_size": 2560, "num_attention_heads": 32, "seq_length": 2048, "max_position_embeddings": 2048, "norm": "layernorm", "pos_emb": "rotary", "no_weight_tying": true, "gpt_j_residual": false, "output_layer_parallelism": "column", # these should provide some speedup but takes a while to build, set to true if desired "scaled_upper_triang_masked_softmax_fusion": false, "bias_gelu_fusion": false, # init methods "init_method": "small_init", "output_layer_init_method": "wang_init", # optimizer settings "optimizer": "type": "Adam", "params": { "lr": 0.00016, "betas": [0.9, 0.95], "eps": 1.0e-8 }, "min_lr": 0.000016, # for all zero_optimization options, see https://www.deepspeed.ai/docs/config-json/#zero-optimizations-for-fp16-training "zero_optimization": "stage": 1, "allgather_partitions": True, "allgather_bucket_size": 500000000, "overlap_comm": True, "reduce_scatter": True, "reduce_bucket_size": 500000000, "contiguous_gradients": True, # batch / data settings "train_micro_batch_size_per_gpu": 4, "data_impl": "mmap", # activation checkpointing "checkpoint_activations": true, "checkpoint_num_layers": 1, "partition_activations": true, "synchronize_each_layer": true, # regularization "gradient_clipping": 1.0, "weight_decay": 0.1, "hidden_dropout": 0, "attention_dropout": 0, # precision settings "fp16": "fp16": true, "enabled": true, "loss_scale": 0, "loss_scale_window": 1000, "hysteresis": 2, "min_loss_scale": 1, # misc. training settings "train_iters": 320000, "lr_decay_iters": 320000, "distributed_backend": "nccl", "lr_decay_style": "cosine", "warmup": 0.01, "checkpoint_factor": 10000, "eval_interval": 1000, "eval_iters": 10, "save_iters": 5000, # logging "log_interval": 1, "steps_per_print": 10, "keep_last_n_checkpoints": 4, "wall_clock_breakdown": true, "data_path": "data/enwik8/enwik8_text_document", "vocab_file": "data/gpt2-vocab.json", "merge_file": "data/gpt2-merges.txt", # dataset settings "save": "checkpoints/default-launcher/gpt-2.7b-dp4-tp1-pp2", "load": "checkpoints/default-launcher/gpt-2.7b-dp4-tp1-pp2", "checkpoint_validation_with_forward_pass": False, "tensorboard_dir": "tensorboard", "log_dir": "logs", "use_wandb": True, "wandb_host": "https://api.wandb.ai", "wandb_project": "gpt-neox-abci", "wandb_team": &lt;user-name&gt;, "wandb_group": "gpt-neox-2.7b-dp4-tp1-pp2", </code></pre></div><code>wandb_team</code>の名前は置き換えてください。 では実際に動かしてみましょう。 wandbでLossの推移を確認すると次のようになるはずです。 またPP=2 としたことで1GPUあたりのAllocated Bytesが減っていることも確認できます。 また標準出力は以下のようになります。 <details><summary>標準出力</summary><div class="details-content"><div class="code-block-container"><pre class="language-bash"><code class="language-bash">samples/sec: 2.598 | iteration 1/ 320000 | elapsed time per iteration (ms): 6159.7 | learning rate: 5.000E-08 | approx flops per GPU: 17.8TFLOPS | lm_loss: 1.107905E+01 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | after 1 iterations memory (MB) | allocated: 6687.5341796875 | max allocated: 13676.14990234375 | reserved: 16750.0 | max reserved: 16750.0 time (ms) [2023-07-17 15:02:21,036] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 239.21 | optimizer_gradients: 5.31 | optimizer_step: 9.61 samples/sec: 5.694 | iteration 2/ 320000 | elapsed time per iteration (ms): 2809.9 | learning rate: 1.000E-07 | approx flops per GPU: 38.9TFLOPS | lm_loss: 1.107772E+01 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:23,831] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 237.42 | optimizer_gradients: 5.30 | optimizer_step: 9.67 samples/sec: 5.730 | iteration 3/ 320000 | elapsed time per iteration (ms): 2792.4 | learning rate: 1.500E-07 | approx flops per GPU: 39.2TFLOPS | lm_loss: 1.105253E+01 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:26,635] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 240.49 | optimizer_gradients: 5.32 | optimizer_step: 9.65 samples/sec: 5.705 | iteration 4/ 320000 | elapsed time per iteration (ms): 2804.5 | learning rate: 2.000E-07 | approx flops per GPU: 39.0TFLOPS | lm_loss: 1.104417E+01 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:29,430] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 242.47 | optimizer_gradients: 5.32 | optimizer_step: 9.66 samples/sec: 5.731 | iteration 5/ 320000 | elapsed time per iteration (ms): 2791.6 | learning rate: 2.500E-07 | approx flops per GPU: 39.2TFLOPS | lm_loss: 1.087381E+01 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:32,232] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 242.70 | optimizer_gradients: 5.31 | optimizer_step: 9.62 samples/sec: 5.708 | iteration 6/ 320000 | elapsed time per iteration (ms): 2803.1 | learning rate: 3.000E-07 | approx flops per GPU: 39.0TFLOPS | lm_loss: 1.079356E+01 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:35,023] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 239.13 | optimizer_gradients: 5.31 | optimizer_step: 9.67 samples/sec: 5.724 | iteration 7/ 320000 | elapsed time per iteration (ms): 2795.1 | learning rate: 3.500E-07 | approx flops per GPU: 39.2TFLOPS | lm_loss: 1.042607E+01 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:37,835] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 243.55 | optimizer_gradients: 5.32 | optimizer_step: 9.66 samples/sec: 5.701 | iteration 8/ 320000 | elapsed time per iteration (ms): 2806.7 | learning rate: 4.000E-07 | approx flops per GPU: 39.0TFLOPS | lm_loss: 1.014001E+01 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:40,622] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 237.42 | optimizer_gradients: 5.32 | optimizer_step: 9.63 samples/sec: 5.727 | iteration 9/ 320000 | elapsed time per iteration (ms): 2793.8 | learning rate: 4.500E-07 | approx flops per GPU: 39.2TFLOPS | lm_loss: 9.925351E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:43,429] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 238.75 | optimizer_gradients: 5.31 | optimizer_step: 9.68 [2023-07-17 15:02:43,429] [INFO] [logging.py:96:log_dist] [Rank 0] step=10, skipped=0, lr=[5e-07, 5e-07], mom=[[0.9, 0.95], [0.9, 0.95]] [2023-07-17 15:02:43,431] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | batch_input: 77.71 | forward_microstep: 3775.43 | backward_microstep: 7808.20 | backward_inner_microstep: 7808.06 | backward_allreduce_microstep: 0.01 | step_microstep: 2695.14 [2023-07-17 15:02:43,431] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | forward: 3775.37 | backward: 7808.12 | backward_inner: 7807.97 | backward_allreduce: 0.01 | step: 2695.28 steps: 10 loss: 9.7646 iter time (s): 3.134 samples/sec: 5.105 [2023-07-17 15:02:43,443] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | pipe_send_output: 36.25 | pipe_recv_grad: 11829.17 samples/sec: 5.688 | iteration 10/ 320000 | elapsed time per iteration (ms): 2812.9 | learning rate: 5.000E-07 | approx flops per GPU: 38.9TFLOPS | lm_loss: 9.764610E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:46,234] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 243.03 | optimizer_gradients: 5.31 | optimizer_step: 9.68 samples/sec: 5.730 | iteration 11/ 320000 | elapsed time per iteration (ms): 2792.3 | learning rate: 5.500E-07 | approx flops per GPU: 39.2TFLOPS | lm_loss: 9.616756E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:49,033] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 239.08 | optimizer_gradients: 5.32 | optimizer_step: 9.67 samples/sec: 5.707 | iteration 12/ 320000 | elapsed time per iteration (ms): 2803.4 | learning rate: 6.000E-07 | approx flops per GPU: 39.0TFLOPS | lm_loss: 9.390484E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:51,828] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 243.08 | optimizer_gradients: 5.31 | optimizer_step: 9.64 samples/sec: 5.734 | iteration 13/ 320000 | elapsed time per iteration (ms): 2790.4 | learning rate: 6.500E-07 | approx flops per GPU: 39.2TFLOPS | lm_loss: 9.173844E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:54,620] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 238.17 | optimizer_gradients: 5.33 | optimizer_step: 9.62 samples/sec: 5.719 | iteration 14/ 320000 | elapsed time per iteration (ms): 2797.9 | learning rate: 7.000E-07 | approx flops per GPU: 39.1TFLOPS | lm_loss: 9.301665E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:02:57,413] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 238.70 | optimizer_gradients: 5.31 | optimizer_step: 9.65 samples/sec: 5.729 | iteration 15/ 320000 | elapsed time per iteration (ms): 2792.8 | learning rate: 7.500E-07 | approx flops per GPU: 39.2TFLOPS | lm_loss: 9.087448E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:03:00,210] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 238.83 | optimizer_gradients: 5.32 | optimizer_step: 9.62 samples/sec: 5.721 | iteration 16/ 320000 | elapsed time per iteration (ms): 2796.6 | learning rate: 8.000E-07 | approx flops per GPU: 39.1TFLOPS | lm_loss: 8.934504E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:03:03,006] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 242.85 | optimizer_gradients: 5.31 | optimizer_step: 9.64 samples/sec: 5.736 | iteration 17/ 320000 | elapsed time per iteration (ms): 2789.6 | learning rate: 8.500E-07 | approx flops per GPU: 39.2TFLOPS | lm_loss: 9.194756E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:03:05,804] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 242.41 | optimizer_gradients: 5.31 | optimizer_step: 9.62 samples/sec: 5.716 | iteration 18/ 320000 | elapsed time per iteration (ms): 2799.3 | learning rate: 9.000E-07 | approx flops per GPU: 39.1TFLOPS | lm_loss: 8.938364E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:03:08,594] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 242.51 | optimizer_gradients: 5.31 | optimizer_step: 9.63 samples/sec: 5.733 | iteration 19/ 320000 | elapsed time per iteration (ms): 2790.7 | learning rate: 9.500E-07 | approx flops per GPU: 39.2TFLOPS | lm_loss: 8.941507E+00 | loss scale: 65536.0 | number of skipped iterations: 0 | number of nan iterations: 0 | time (ms) [2023-07-17 15:03:11,395] [INFO] [logging.py:96:log_dist] [Rank 0] rank=0 time (ms) | optimizer_allgather: 242.53 | optimizer_gradients: 5.31 | optimizer_step: 9.62 この記事ではGPT-NeoXを用いて事前学習を行う具体的な方法について説明しました。 続編「大規模言語モデル(LLM)の作り方 GPT-NeoX編 Part 2」では、Flash Attentionを組み合わせた使用方法などGPT-NeoXについてさらに詳しく掘り下げます。 今回の記事で分散並列学習に興味が湧いた方は、「<a href="https://zenn.dev/turing_motors/articles/0e6e2baf72ebbc" target="_blank">大規模モデルを支える分散並列学習のしくみ Part 1</a>」 をご覧ください。 また今回の記事で紹介した学習にはZeRO Stage1というメモリ削減技術が使われています。この仕組みについては 「大規模モデルを支える分散並列学習のしくみ Part 2」 にて解説する予定です。 Turing では自動運転モデルの学習や、自動運転を支えるための基盤モデルの作成のために分散並列学習の知見を取り入れた研究開発を行っています。興味がある方は、<a href="https://www.turing-motors.com/" target="_blank" rel="nofollow noopener noreferrer">Turing の公式 Web サイト</a>、<a href="https://www.turing-motors.com/jobs" target="_blank" rel="nofollow noopener noreferrer">採用情報</a>などをご覧ください。話を聞きたいという方は<a href="https://twitter.com/okoge_kaz" target="_blank" rel="nofollow noopener noreferrer">私</a>や AI チームのディレクターの<a href="https://twitter.com/ymg_aq" target="_blank" rel="nofollow noopener noreferrer">山口さん</a>の Twitter DM からでもお気軽にご連絡ください </div></div><div class="View_publicationFixedSentences__a1BKX"><aside class="PublicationFixedSentences_container__clLXA"><header class="PublicationFixedSentences_header__q90ny"><a href="/p/turing_motors"><img alt="" class="AvatarImage_border__33_UE AvatarImage_plain__BCJNs AvatarImage_withPublication__Umgqu" height="26" loading="lazy" referrerpolicy="no-referrer" src="https://storage.googleapis.com/zenn-user-upload/avatar/0a662078d3.jpeg" width="26"/></a><div class="PublicationFixedSentences_title__m1JnQ">Tech Blog - Turing により固定</div></header><div class="PublicationFixedSentences_htmlContainer__m3mm9"><div class="BodySimpleContent_container__VmcgM">Turingは「We Overtake Tesla」を掲げ、LV5完全自動運転EVを開発するAIテクノロジースタートアップです。 <li><a href="https://zenn.dev/p/turing_motors" target="_blank">他の記事も読む</a></li> <li><a href="https://www.turing-motors.com" target="_blank" rel="nofollow noopener noreferrer">ホームページ</a></li> <li><a href="https://www.youtube.com/c/turingmotors" target="_blank" rel="nofollow noopener noreferrer">YouTube</a></li> </div></div></aside></div><div class="View_actions__mm37P" id="share"><div class="LikeButton_container__lhHqp style-large"><button aria-label="いいね" class="LikeButton_button__uWgw1"><svg class="LikeButton_svgLike___dmwM" viewbox="0 0 110 110"><path class="LikeButton_svgLikeLine__ncYg7" d="M73,24a23.78,23.78,0,0,0-15.89,6.19,3.14,3.14,0,0,1-4.18,0A23.81,23.81,0,0,0,37,24a22,22,0,0,0-22,22c0,16.67,19.64,32.82,25.11,37.93,2.84,2.65,6.15,5.64,8.92,8.13a8.9,8.9,0,0,0,11.9,0c2.77-2.49,6.07-5.48,8.91-8.13C75.37,78.81,95,62.66,95,46A22,22,0,0,0,73,24Z" fill="currentColor"/><path class="LikeButton_svgLikeInner__AOG_t" d="M66.25,76.42c-.71.64-1.32,1.2-1.82,1.67-2.51,2.33-5.39,5-7.94,7.25a2.21,2.21,0,0,1-3,0C51,83,48.1,80.42,45.59,78.09c-.5-.47-1.12-1-1.82-1.67C38.09,71.29,23,57.67,23,46A14,14,0,0,1,37,32a15.92,15.92,0,0,1,11.65,5.23l4.73,5a2.2,2.2,0,0,0,3.23,0l4.72-5A16.06,16.06,0,0,1,73,32,14,14,0,0,1,87,46C87,57.67,71.93,71.29,66.25,76.42Z" fill="currentColor"/><g class="LikeButton_svgLikeDecoration__X2v53"><circle cx="41.5" cy="9.5" fill="#3ea8ff" r="3.5"/><circle cx="98.5" cy="26.5" fill="#ffdc6e" r="3.5"/><circle cx="13" cy="19" fill="#c067f4" r="5"/><circle cx="77" cy="9" fill="#f76685" r="5"/><circle cx="26.5" cy="92.5" fill="#f76685" r="3.5"/><circle cx="105.5" cy="48.5" fill="#c067f4" r="3.5"/><circle cx="4.5" cy="60.5" fill="#3ea8ff" r="3.5"/><circle cx="94.5" cy="73.5" fill="#3ea8ff" r="1.5"/><circle cx="16.5" cy="75.5" fill="#ffdc6e" r="1.5"/><circle cx="78.5" cy="91.5" fill="#ffdc6e" r="1.5"/></g></svg></button></div><div class="View_menu__Bjjm7"><button class="View_menuButton__qrHnf"><svg viewbox="0 0 27 27" aria-label="その他の操作" height="17" width="17"><path fill="currentColor" d="M12.74,20.53,3.48,11.35a.75.75,0,0,1,0-1.07L4.71,9.05a.75.75,0,0,1,1.07,0l7.49,7.41,7.49-7.41a.74.74,0,0,1,1.06,0l1.24,1.23a.77.77,0,0,1,0,1.07L13.8,20.53A.74.74,0,0,1,12.74,20.53Z"/></svg></button></div><a class="ShareButtons_button__q3i3s" href="https://twitter.com/intent/tweet?url=https://zenn.dev/turing_motors/articles/dff1466194f4ac&amp;text=%E5%A4%A7%E8%A6%8F%E6%A8%A1%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB(LLM)%E3%81%AE%E4%BD%9C%E3%82%8A%E6%96%B9%20GPT-NeoX%E7%B7%A8%20Part%201%EF%BD%9CKazuki%20Fujii&amp;hashtags=zenn" id="gtm-article-footer-tweet" rel="nofollow noopener noreferrer" target="_blank"><svg x="0px" y="0px" viewbox="0 0 27 27" style="enable-background:new 0 0 27 27" xml:space="preserve"><path fill="currentColor" d="M23.1,8.7c0,0.2,0,0.5,0,0.7c0,8-6.4,14.5-14.4,14.6c-0.1,0-0.1,0-0.2,0c-2.8,0-5.5-0.8-7.9-2.3c0.4,0,0.8,0.1,1.2,0.1 c2.3,0,4.6-0.8,6.3-2.1C6,19.6,4,18.2,3.3,16c0.3,0.1,0.7,0.1,1,0.1c0.5,0,0.9-0.1,1.4-0.2c-2.4-0.5-4.1-2.6-4.1-5.1v-0.1 c0.7,0.4,1.5,0.6,2.3,0.7c-1.5-1-2.2-2.5-2.2-4.3c0-0.9,0.2-1.8,0.7-2.6C5,7.8,8.8,9.7,13,9.9c-0.1-0.4-0.1-0.8-0.1-1.2 c0-2.8,2.2-5.2,5.2-5.2c1.5,0,2.8,0.6,3.8,1.7C23,5,24,4.6,25,4.1c-0.4,1.2-1.2,2.1-2.2,2.8c1-0.1,2-0.4,2.9-0.8 C24.9,7.1,24,7.9,23.1,8.7L23.1,8.7z"/></svg>ツイート</a></div><aside class="View_authorInfo__O6Xhw"><div class="ProfileCard_container__C7toa"><a class="ProfileCard_avatar__yI2q3" href="/kaz20"><img alt="Kazuki Fujii" class="AvatarImage_plain__BCJNs " height="80" loading="lazy" referrerpolicy="no-referrer" src="https://storage.googleapis.com/zenn-user-upload/avatar/cba00d3fab.jpeg" width="80"/></a><div class="ProfileCard_name__ufo2s"><a class="ProfileCard_displayName__bHra8" href="/kaz20">Kazuki Fujii</a></div><div class="ProfileCard_content__Mt5Fz">藤井一喜 Tokyo Institute of Technology B4 情報理工学院情報工学系横田研究室 High-Performance Computing, 分散並列学習<div class="ProfileCard_actions__MFv5j"><a aria-label="@okoge-kaz" class="ProfileCard_link__jGmrk" data-tooltip-for-desktop="true" data-tooltip-position="bottom" href="https://github.com/okoge-kaz" rel="nofollow noopener noreferrer" role="tooltip" target="_blank"><svg x="0px" y="0px" viewbox="0 0 27 27" style="enable-background:new 0 0 27 27" xml:space="preserve" aria-label="GitHub"><path fill="currentColor" d="M13.4,1.2C7,1,1.8,6,1.7,12.4c0,0.1,0,0.4,0,0.5c0,5.1,3.2,9.8,8.2,11.5c0.6,0.1,0.7-0.2,0.7-0.6s0-1.8,0-2.9 c0,0-3.3,0.6-4-1.5c0,0-0.6-1.3-1.3-1.8c0,0-1.1-0.7,0.1-0.7c0.7,0.1,1.5,0.6,1.8,1.2c0.6,1.2,2.2,1.7,3.4,1h0.1 c0.1-0.6,0.4-1.2,0.7-1.6C8.7,17.1,6,16.9,6,12.3c0-1.1,0.5-2.1,1.2-2.8c0-1.1,0-2.2,0.3-3.2c1-0.4,3.3,1.3,3.3,1.3c2-0.6,4-0.6,6,0 c0,0,2.2-1.6,3.2-1.2c0.5,1,0.5,2.2,0.1,3.2c0.7,0.7,1.2,1.8,1.2,2.8c0,4.5-2.8,5-5.5,5.2c0.6,0.6,0.9,1.3,0.7,2.2c0,1.7,0,3.5,0,4 s0.2,0.6,0.7,0.6c4.9-1.7,8.2-6.2,8-11.5c0.1-6.4-5.1-11.6-11.6-11.6C13.5,1.2,13.4,1.2,13.4,1.2z"/></svg></a><a aria-label="@okoge_kaz" class="ProfileCard_link__jGmrk" data-tooltip-for-desktop="true" data-tooltip-position="bottom" href="https://twitter.com/okoge_kaz" rel="nofollow noopener noreferrer" role="tooltip" target="_blank"><svg x="0px" y="0px" viewbox="0 0 27 27" style="enable-background:new 0 0 27 27" xml:space="preserve" aria-label="Twitter"><path fill="currentColor" d="M23.1,8.7c0,0.2,0,0.5,0,0.7c0,8-6.4,14.5-14.4,14.6c-0.1,0-0.1,0-0.2,0c-2.8,0-5.5-0.8-7.9-2.3c0.4,0,0.8,0.1,1.2,0.1 c2.3,0,4.6-0.8,6.3-2.1C6,19.6,4,18.2,3.3,16c0.3,0.1,0.7,0.1,1,0.1c0.5,0,0.9-0.1,1.4-0.2c-2.4-0.5-4.1-2.6-4.1-5.1v-0.1 c0.7,0.4,1.5,0.6,2.3,0.7c-1.5-1-2.2-2.5-2.2-4.3c0-0.9,0.2-1.8,0.7-2.6C5,7.8,8.8,9.7,13,9.9c-0.1-0.4-0.1-0.8-0.1-1.2 c0-2.8,2.2-5.2,5.2-5.2c1.5,0,2.8,0.6,3.8,1.7C23,5,24,4.6,25,4.1c-0.4,1.2-1.2,2.1-2.2,2.8c1-0.1,2-0.4,2.9-0.8 C24.9,7.1,24,7.9,23.1,8.7L23.1,8.7z"/></svg></a><a aria-label="linkedin.com" class="ProfileCard_link__jGmrk" data-tooltip-for-desktop="true" data-tooltip-position="bottom" href="https://www.linkedin.com/in/kazuki-fujii/" rel="nofollow noopener noreferrer" role="tooltip" target="_blank"><svg x="0px" y="0px" viewbox="0 0 27 27" style="enable-background:new 0 0 27 27" xml:space="preserve" aria-label="リンク"><path fill="currentColor" d="M9.6,23.9c-3.6,0-6.5-3-6.5-6.6c0-1.7,0.7-3.4,1.9-4.6l2.3-2.3c0.5-0.4,1.2-0.4,1.6,0.1c0.4,0.4,0.4,1,0,1.5l-2.3,2.3 c-1.7,1.7-1.7,4.4,0,6.1s4.4,1.7,6.1,0l2.3-2.3c0.5-0.4,1.2-0.4,1.6,0.1c0.4,0.4,0.4,1,0,1.5L14.3,22C13,23.2,11.4,23.9,9.6,23.9z M10.6,17.5c-0.6,0-1.1-0.5-1.1-1.1c0-0.3,0.1-0.6,0.3-0.8l5.8-5.8c0.4-0.4,1.1-0.4,1.6,0c0.4,0.4,0.4,1.1,0,1.6l-5.8,5.8 C11.2,17.4,10.9,17.5,10.6,17.5z M18.9,16.9c-0.3,0-0.6-0.1-0.8-0.3c-0.4-0.4-0.4-1.1,0-1.6l2.3-2.3c1.7-1.7,1.7-4.4,0-6.1 c-1.7-1.7-4.4-1.7-6.1,0L12,8.9c-0.5,0.4-1.2,0.4-1.6-0.1c-0.4-0.4-0.4-1,0-1.5L12.7,5c2.6-2.6,6.7-2.6,9.2,0s2.6,6.7,0,9.2 l-2.3,2.4C19.4,16.8,19.1,16.9,18.9,16.9z"/></svg></a></div></div></div></aside><div class="View_publicationInfo__DKV8b"><div class="ProfileCard_container__C7toa"><a class="ProfileCard_avatar__yI2q3" href="/p/turing_motors"><img alt="Tech Blog - Turing" class="AvatarImage_plain__BCJNs AvatarImage_withPublication__Umgqu" height="80" loading="lazy" referrerpolicy="no-referrer" src="https://storage.googleapis.com/zenn-user-upload/avatar/0a662078d3.jpeg" width="80"/></a><div class="ProfileCard_name__ufo2s"><a class="ProfileCard_displayName__bHra8" href="/p/turing_motors">Tech Blog - Turing</a><a class="PublicationLabelLink_link__HJgzR" href="/faq#what-is-publication">Publication</a></div><div class="ProfileCard_content__Mt5Fz">LV5完全自動運転EVを開発するAIテクノロジースタートアップ・Turing株式会社の公式テックブログです。<div class="ProfileCard_actions__MFv5j"><a aria-label="@turingmotors" class="ProfileCard_link__jGmrk" data-tooltip-for-desktop="true" data-tooltip-position="bottom" href="https://github.com/turingmotors" rel="nofollow noopener noreferrer" role="tooltip" target="_blank"><svg x="0px" y="0px" viewbox="0 0 27 27" style="enable-background:new 0 0 27 27" xml:space="preserve" aria-label="GitHub"><path fill="currentColor" d="M13.4,1.2C7,1,1.8,6,1.7,12.4c0,0.1,0,0.4,0,0.5c0,5.1,3.2,9.8,8.2,11.5c0.6,0.1,0.7-0.2,0.7-0.6s0-1.8,0-2.9 c0,0-3.3,0.6-4-1.5c0,0-0.6-1.3-1.3-1.8c0,0-1.1-0.7,0.1-0.7c0.7,0.1,1.5,0.6,1.8,1.2c0.6,1.2,2.2,1.7,3.4,1h0.1 c0.1-0.6,0.4-1.2,0.7-1.6C8.7,17.1,6,16.9,6,12.3c0-1.1,0.5-2.1,1.2-2.8c0-1.1,0-2.2,0.3-3.2c1-0.4,3.3,1.3,3.3,1.3c2-0.6,4-0.6,6,0 c0,0,2.2-1.6,3.2-1.2c0.5,1,0.5,2.2,0.1,3.2c0.7,0.7,1.2,1.8,1.2,2.8c0,4.5-2.8,5-5.5,5.2c0.6,0.6,0.9,1.3,0.7,2.2c0,1.7,0,3.5,0,4 s0.2,0.6,0.7,0.6c4.9-1.7,8.2-6.2,8-11.5c0.1-6.4-5.1-11.6-11.6-11.6C13.5,1.2,13.4,1.2,13.4,1.2z"/></svg></a></div></div></div></div><aside class="SendBadgeCta_container__DERMI"><div class="SendBadgeCta_content__rYhYJ"><div class="SendBadgeCta_title__u4uJD">バッジを贈って著者を応援しよう</div>バッジを受け取った著者にはZennから現金やAmazonギフトカードが還元されます。<div class="SendBadgeCta_buttonContainer__UTj5W"><button class="Button_primary___5_rw Button_baseStyle__cFbiQ Button_large__LDIVD Button_shadow__M_gej Button_fontBold__dvb52">バッジを贈る</button></div></div><svg viewbox="0 0 318 451" fill="currentColor" class="SendBadgeCta_icon__Wp9ZR"><path d="M175.12,41.58V13.2a8.87,8.87,0,0,0-17.73.6V41.58a8.87,8.87,0,1,0,17.73.6Z"/><path d="M75,44.52,94.62,64.17c.1.11.21.22.32.32a8.87,8.87,0,0,0,12.18-12.86L87.52,32A8.87,8.87,0,0,0,75,44.52Z"/><path d="M253.56,44.52A8.87,8.87,0,0,0,241,32L221.37,51.63,221,52A8.87,8.87,0,0,0,233.9,64.17h0Z"/><path d="M18.06,262.07a28.08,28.08,0,0,0-.7,39.08l22.55,27.78,12.58,15.5,32.78,40.4A24.72,24.72,0,0,0,104.53,394H203a35.83,35.83,0,0,1,15.13,3.36,8,8,0,0,0,9-1.68h0a8.09,8.09,0,0,0-2.2-13h0a46,46,0,0,0-19.6-4.4H104.57a9.06,9.06,0,0,1-7.08-3.37L72.76,344.4,58.37,326.68l-.72-.89L39.91,303.93,29.32,290.42h0a12.35,12.35,0,0,1,0-17.46,10.33,10.33,0,0,1,1.43-1.2,12.1,12.1,0,0,1,4.76-2.15h.17a12.73,12.73,0,0,1,2.06-.21H38a12.47,12.47,0,0,1,3.53.52l.71.23c.23.08.45.18.68.27h0A12.55,12.55,0,0,1,46.76,273l11,10.68,14,13.53,21.88,21.13a23.65,23.65,0,0,0-.56,2.63,8.77,8.77,0,0,0-.21,1.6l-.06.84v3.51a3.31,3.31,0,0,1,0,.62,2.53,2.53,0,0,0,0,.55,1.79,1.79,0,0,0,.07.62c.07.18,0,.33.07.54s.08.42.1.62l.09.54.12.61.12.53a2.93,2.93,0,0,0,.15.6c0,.18.09.33.14.53s.12.43.17.6l.16.52c.06.19.13.42.19.59s.12.34.19.51l.21.58.21.51.24.57c.07.17.15.31.23.5s.17.37.26.55l.25.51.28.53.28.5.3.52.3.49c.11.16.21.33.32.5l.33.48.33.49c.12.16.24.31.35.47l.36.47.37.47c.13.14.24.28.37.44s.33.37.41.46.15.18.23.26l.15.17.43.45.4.4.46.44.4.38.5.43.41.36.53.42.42.33.56.41.42.31.61.4.41.27.66.4.4.24.72.39.38.2.8.4.33.16.94.4.23.1c.79.33,1.61.62,2.45.88a26.76,26.76,0,0,0,5.83,1.08,21.47,21.47,0,0,0,2.78.11H184.7l.48-.07.28-.06.43-.11.28-.09.42-.15.25-.11a2.93,2.93,0,0,0,.44-.21l.21-.1c.2-.11.4-.23.59-.36l.17-.12.38-.29c.2-.16.4-.34.59-.52h0c.19-.19.38-.4.56-.61l.11-.15c.13-.17.25-.35.37-.52l.15-.23.27-.49.13-.26.21-.49a.45.45,0,0,1,.1-.3,1.7,1.7,0,0,0,.16-.51,1.06,1.06,0,0,1,.07-.3c.05-.2.08-.39.11-.58v-.26a6.31,6.31,0,0,0,0-.87,10.7,10.7,0,0,0-.11-1.27,7.87,7.87,0,0,0-7.76-6.6H120.77a12.35,12.35,0,0,1-12.3-13.57,5.65,5.65,0,0,1,.16-1.07v-.23c.07-.33.15-.67.25-1h0c.11-.36.23-.68.36-1a.94.94,0,0,1,.1-.23c.12-.29.26-.58.41-.86v-.07c.16-.3.34-.58.52-.86l.16-.24.15-.22c.12-.17.25-.33.37-.48l.08-.11c.21-.25.43-.5.66-.74l.19-.19c.22-.22.44-.43.68-.63l.06-.06c.26-.22.52-.42.8-.62l.21-.15c.26-.18.53-.36.8-.52h.06c.29-.17.59-.32.9-.47l.24-.12c.29-.13.59-.26.89-.37h.07c.35-.12.67-.22,1-.31l.27-.08c.36-.08.67-.16,1-.22h.07a4.73,4.73,0,0,1,1-.14h65.95a46.51,46.51,0,0,0,12.79-1.77,43.8,43.8,0,0,0,4.85-1.75h.09c.76-.34,1.51-.69,2.25-1.07a62.92,62.92,0,0,1,29.3-7.17h3.1l1.45.08.93.08a11.73,11.73,0,0,1,1.33.12l1,.11.94.11.38.06.87.13,1.32.21.91.17,1.28.25.91.2,1.26.3.91.22,1.24.34.9.25,1.28.39.83.27c.59.19,1.17.39,1.75.6l1.25.47c.31.12.63.23.94.36H260c.89.35,1.75.72,2.62,1.1l.44.21c.71.32,1.4.66,2.09,1l.68.32c.67.36,1.34.71,2,1.08l.47.26c.81.41,1.62.92,2.41,1.41l.42.27c.64.39,1.28.81,1.91,1.23l.67.46c.58.4,1.16.81,1.73,1.23l.54.39c.73.55,1.46,1.11,2.16,1.69l.38.31c.58.47,1.15,1,1.72,1.47l.63.56c.48.46,1,.92,1.48,1.38l.55.53c.23.24,1.5,1.75,3,3.55a5.2,5.2,0,0,0,.51.55,8,8,0,0,0,11.31,0h0a8,8,0,0,0,.36-11q-1.08-1.23-2.22-2.43c-1.68-1.73-3.43-3.39-5.25-5V207.16h7a8.88,8.88,0,0,0,8.87-8.86V152.38a8.88,8.88,0,0,0-8.87-8.87H284.85c5.62-15,1.68-32.58-10.89-43.16a49.14,49.14,0,0,0-28.23-11.56c-20.31-1.46-44.09,12.21-58.31,24.38-1,.89-2.13,1.82-3.13,2.76h-38c-1-.94-2.14-1.87-3.14-2.76-14.22-12.16-38-25.84-58.33-24.38a49,49,0,0,0-28.24,11.56C44,110.93,40.12,128.51,45.69,143.51H32.91a8.88,8.88,0,0,0-8.86,8.87V198.3a8.85,8.85,0,0,0,8.86,8.86h7v46.77a20.38,20.38,0,0,0-2.06-.08A27.76,27.76,0,0,0,18.06,262ZM196,207.17h76.88v87.5c-1.46-.72-2.92-1.42-4.39-2.08a83.5,83.5,0,0,0-14.76-4.9,81.38,81.38,0,0,0-18.58-2.15,78.77,78.77,0,0,0-36.42,8.92,25.37,25.37,0,0,1-2.68,1.18Zm.05-45.91h92.74v28.17h-92.7Zm0-32c.9-.86,1.9-1.71,2.9-2.57,12-10.28,30.55-20.22,43.76-20.22.6,0,1.17.06,1.75.06a31.32,31.32,0,0,1,18.08,7.4c8.65,7.25,9.65,20.71,2.08,29.58H196.06Zm-43.71,4.42h26V297.39h-26Zm-17.78,9.86H66C58.4,134.68,59.41,121.22,68,114a31.34,31.34,0,0,1,18.09-7.47c13.28-1,33,9.41,45.5,20.16,1,.86,2,1.72,2.92,2.57ZM57.65,207.16h76.88v90.2H121.27A29,29,0,0,0,102,304.8l-19.1-18.45L57.69,262Zm-15.86-45.9h92.74v28.17H41.83Z"/></svg></aside></div></div><div id="discuss"><div class="ArticleComments_commentsContainer__HuIhh"><section class="ArticleComments_comments__XJchN"><div class="ArticleComments_commentsHeadingContainer__AUIKT"><h3 class="Heading_size-md__Odn_w Heading_centered__ltf4g">Discussion</h3></div><div><div class="ArticleComments_commentItemContainer__JXUtn"><article class="ThreadItemContent_parentItem__NDSRE" id="comment-e67c6e1ddce9bb"><header class="ThreadItemHeader_header__MYA0P"><a class="ThreadItemHeader_userAvatar__s1V_y ThreadItemContent_avatarContainer__4_VWV" href="/fvm1nsy0"><img alt="不眠症" class="AvatarImage_plain__BCJNs " height="36" loading="lazy" referrerpolicy="no-referrer" src="https://lh3.googleusercontent.com/a/AAcHTtf-EC9nAb-l5dXwQSdmuIsHHR1m9vMiYqBTPBxU=s96-c" width="36"/></a><a class="ThreadItemHeader_userName__trcZn" href="/fvm1nsy0">不眠症</a><a class="ThreadItemHeader_dateContainer__O__it" href="#comment-e67c6e1ddce9bb"><time datetime="2023-07-25T01:51:42+00:00">1ヶ月前</time></a><button aria-label="メニューを開く" class="ThreadItemHeader_menuButton__dGpic"><svg viewbox="0 0 27 27" height="16" width="16"><path fill="currentColor" d="M12.74,20.53,3.48,11.35a.75.75,0,0,1,0-1.07L4.71,9.05a.75.75,0,0,1,1.07,0l7.49,7.41,7.49-7.41a.74.74,0,0,1,1.06,0l1.24,1.23a.77.77,0,0,1,0,1.07L13.8,20.53A.74.74,0,0,1,12.74,20.53Z"/></svg></button></header><div class="ThreadItemContent_content__kd2ZM"><div class="InsertCopyButtonToCodeBlock_insertCopyButtonWrapper__tRZUu"><div class="znc BodyCommentContent_bodyCommentContainer__WXWq0">Amazing!