AIの性能の時に語られるパラメータ数ってなに？【LLM】

NTTが挑むパラメーター数抑えた生成AIの勝算　孫正義氏は苦言

企業がこぞってAI開発を進める中で、よく目にするのが「パラメータ」という単語です。

AIの性能をうたう文言に使われるパラメータとは何か、調べました。

パラメータとは

「パラメータとは、ニューラルネットワーク内の重みとバイアスなどの調整可能な要素の数を指します。」

？？？

１語づつ見ていきます。

ニューラルネットワーク

生物の学習メカニズムを模倣した機械学習手法として広く知られているものであり、「ニューロン」と呼ばれる計算ユニットをもち、生物の神経系のメカニズムを模倣しているものである。

人間の脳の神経網を模した数理モデル。模倣対象となった生物のニューラルネットワーク（神経網）とはっきり区別する場合は、人工ニューラルネットワーク (英: artificial neural network) と呼ばれる。

つまり、脳や神経をモデルにした機械学習の形でネットワークというからには、複雑な編み目のような構造のもの　だと思う。

重みとバイアスなどの調整可能な要素の数

脳や神経で、電気信号がニューロンを走るとき、その経路が無制限に放射状に広がるのではなく、経路が形成されるように、ニューラルネットワークという編み目の中をデータが走るとき、どの方向へ、どれくらいの量（力）が走るのかを定めるのか。それを決めるのが、「要素の数」なのだろう。

AIへの質問への回答を導き出すための「関数」に近い？

関数はY＝３Xみたいな、Xの値が決まるとYの値が決まるようなもので、Xのみの比例から、ｙやＺといった変数が多いほど数式が増えて複雑になるというのがわかる。その変数が莫大にあるのが、ニュートラルネットワークといったことなのだろうか。

主に概念的な話になってしまったので、以下検索の知識となります。

パラメータの節約

LLMではパラメーター数を小さく抑えるほど開発や設備投資のコストを下げられます。

パラメータ数を節約したAIとは、モデルのサイズや計算量を減らしながらも、高い精度や性能を維持することができるAIのことです。パラメータ数を節約することで、AIはより効率的に学習や推論を行うことができます。

節約方法

パラメータ数を節約したAIの開発には、様々な手法がありますが、代表的なものに以下の3つがあります。

モデル圧縮

既存のモデルをより小さくすることで、パラメータ数を削減する手法。

モデル圧縮には、量子化、プルーニング、知識蒸留などの技術があります。

モデル設計

モデルの構造や層を工夫することで、パラメータ数を減らしながらも高い表現力を持たせる手法です。

モデル設計には、畳み込み、グループ化、分離、ショートカットなどの工夫があります。

モデル生成

モデルのパラメータを自動的に生成することで、パラメータ数を節約する手法です。

モデル生成には、ニューラルアーキテクチャサーチ、メタラーニング、ハイパーネットワークなどの技術があります。

パラメータでみる今後のＡＩ

コードネーム「Olympus」

Amazonの開発しているLLMです。そのパラメーターは2兆個と膨大で、完成後にはOpenAIやグーグルの上位モデルに匹敵する性能を持つとされます。GPT-4のパラメーター数は非公開ではあるものの1兆個とされています。

パラメータ節約AI「GhostNet」

2020年3月に発表されたGhostNetは、画像認識のための軽量なモデルです。

特徴マップの冗長性に着目し、単純な処理によりモデルを軽量化するという手法を提案しました。

具体的には、通常の畳み込み層により生成された特徴マップに、深さ方向の畳み込みを適用することで、新たな特徴マップを生成し、それらを連結するという方法です。この方法により、GhostNetは、MobileNetV3などの最新の効率的なモデルを推論速度と精度の両面で上回ることに成功しました。

和製パラメータ節約LLM「tsuzumi」

安価なマシンでも動く小型のAIとして70億のパラメーター数とされています。ChatGPTと同じ「トランスフォーマー」を土台LLMとし、GPT-3.5と同等かそれ以上のベンチマーク性能といわれます。

LLMではパラメーター数を小さく抑えるほど開発や設備投資のコストを下げられます。今後、世界の最先端が、パラメータ量にものを言わせた大規模LLMと、いかに小規模で効率的なLLMとの乱立となるかもしれません。