AIにおけるデータ拡張技術 (Data Augmentation)

概要

人工知能（AI）におけるデータ拡張技術は、既存のデータセットから新しいデータを人工的に生成する技術を指し、これによりAIモデルの性能と堅牢性を向上させます。追加のデータ収集を必要とせずにトレーニングデータの多様性と量を増やすことで、データ拡張はモデルの一般化能力を向上させます。これは、画像認識、自然言語処理（NLP）、音声処理などのタスクにおいて、モデルが現実世界の入力を正確に理解し解釈するために多様なデータが不可欠であるため、非常に重要です。初期の方法は回転やスケーリングなどの単純な変換に焦点を当てていましたが、この分野は対抗的データ拡張や合成データ生成などの高度な戦略を含むように進化しており、AI研究と応用におけるその重要性が増しています[1][2][3][4]。

データ拡張の重要性はAIのさまざまな分野にわたり、限られたトレーニングデータや過学習の問題に対処します。例えば、ディープラーニングでは、さまざまな変換を通じて追加のトレーニング例を作成することで、モデルがより堅牢な特徴を学習できるようにします。このプロセスは、入力データの特定の変更に対してモデルを不変にし、さまざまな条件下でパターンを認識する能力を向上させ、一般化能力を向上させます[5][6][7][8]。

画像認識以外にも、データ拡張技術はNLPや他の分野でも使用されており、同義語置換や逆翻訳などの方法が言語モデルの理解と一般化能力を向上させます[9]。データ拡張はモデルの性能向上や広範なデータ収集の必要性の軽減など、重要な利点を提供しますが、課題も存在します。拡張データの品質と量のバランスを取ること、ドメインシフトの処理、データの一貫性の確保が研究者や実務者にとって重要な問題です。

さらに、先進的な拡張方法に関連する計算コストはかなりのものであり、リソースを圧迫せずに性能向上を最大化するための効率的な戦略が必要です[4][10]。

データ拡張技術の継続的な発展は、理論的な進歩と実際の応用が革新を促進するAIの広範なトレンドを反映しています。

歴史

データ拡張技術の開発と応用は、人工知能（AI）および機械学習の分野を前進させる上で重要な役割を果たしてきました。初期のデータ拡張手法は比較的単純で、主に画像認識モデルのロバスト性を向上させるために使用された回転、スケーリング、クロッピングなどの技術が含まれていました[1]。AIモデルの複雑さとデータセットの規模が増加するにつれて、より洗練されたデータ拡張戦略の必要性が明らかになりました。

1987年、Martin TannerとWing Hung Wongは統計的な文脈でデータ拡張の概念を導入し、モデルのロバスト性を向上させる可能性を強調しました[2]。この基礎的な研究は、さまざまなAIアプリケーションへのデータ拡張の統合への道を開きました。

2010年代にニューラルネットワークとディープラーニングが普及する中で、データ拡張に再び注目が集まりました。ランダム消去やミックスアップなどの技術が登場し、モデルがより広範な例から学習できるようになり、トレーニングデータから実世界のシナリオへの一般化能力が向上しました[3]。これらの進展は、物体の正確な識別、シーンの理解、知的な意思決定が可能なモデルの開発において重要な役割を果たしてきました。

近年では、敵対的拡張や画像ブレンディングなど、より計算集約的な方法もデータ拡張に含まれるようになりました。これらの技術は大きな性能向上をもたらしますが、追加の計算コストも導入します[4]。したがって、拡張データの質と量のバランスを見つけることが、AI研究者や実務者にとって重要な課題となっています。

データ拡張技術の継続的な進化は、理論的な進展と実際の応用が相互に作用して分野を前進させるという、AI研究の広範なトレンドを反映しています。データ拡張戦略がより洗練されるにつれて、AIシステムの新たな可能性を開拓し、コンピュータビジョンやその他の領域で画期的な進歩に貢献し続けています[3]。

コンセプトと重要性

データ拡張は、人工知能（AI）および機械学習において既存のデータセットから新しいデータを人工的に生成し、モデルの性能を向上させるための重要な技術です。

この戦略は、追加のデータ収集の努力を必要とせずに、トレーニングデータの多様性と量を向上させます。これには、画像の回転、反転、色の変更など、既存のデータに対してわずかな調整を加えることで、より広範なデータセットを作成するプロセスが含まれます。これにより、モデルがさまざまな条件下でオブジェクトを認識できるようになり、一般化能力が向上します[5][7]。

ディープラーニングの文脈では、データ拡張は特に価値があります。限られたトレーニングデータの問題に対処し、さまざまな変換を通じて追加のトレーニング例を作成することで過学習を防ぎます。これにより、モデルがより堅牢な特徴を学習し、新しい未見のデータに対しても一般化できるようになり、最終的にその性能が向上します[8]。拡張データでトレーニングすることにより、モデルは特定の変換に対して不変となり、入力の変動に関係なくパターンを認識できるようになります[7]。

データ拡張の重要性は、画像認識タスクだけでなく、自然言語処理（NLP）などの他の分野にも及びます。例えば、教師が拡張パラメータを制御する教師-学生ループに学習エージェントを組み込むことで、効果的な学習環境を生成することができるという、AI生成アルゴリズム（AI-GA）という概念があります[9]。これらの環境はメタ学習アーキテクチャやアルゴリズムにとって重要であり、AIモデルの開発に大きく貢献します[9]。

さらに、データ拡張は理論的な概念にとどまらず、モデルの性能を向上させる実用的なツールでもあります。ランダム消去、ミックスアップ、自己学習などの技術は、モデルがより広範な例から学習できるようにし、オブジェクトを正確に識別し、シーンを理解し、知的な判断を下すことができるようにします[3]。

アルゴリズムがより複雑になり、データセットが大きくなるにつれて、データ拡張はAIプロジェクトの成功の触媒として機能し、未曾有の突破口を可能にします[3]。

データ拡張の種類

データ拡張技術は、処理されるデータの種類に基づいて大まかに分類できます。一般的に、これらの技術は画像データ拡張とテキストデータ拡張の2つの主要なグループに分けられます。

画像データ拡張

画像データ拡張技術は、画像を変更して新しい多様なサンプルを作成しながら、その中心的な特徴を保持することを含みます。これらの変換には、回転、反転、ズームとスケーリング、トリミング、色操作が含まれます。

回転

回転は、画像をある角度で回転させ、新しい視点を生成してモデルに学習させることです。これにより、モデルはオブジェクトの向きの変化に対してより堅牢になります[5][7]。

反転

画像を水平または垂直に反転させると、鏡像が作成され、モデルに新しい視点を提供します。これにより、モデルはオブジェクトの向きに不変になり、回転または反転されたテスト画像での性能が向上します[10][7]。

ズームとスケーリング

ズームとスケーリングは、画像やそのオブジェクトのサイズを変更することを指します。ズームイン、ズームアウト、またはスケーリングすることで、モデルは異なるサイズやスケールのオブジェクトを認識することを学習します[10]。

トリミング

トリミングは、画像の一部を削除し、特定の領域に焦点を当てた新しい画像を作成することを含みます。これにより、モデルは異なる空間的文脈や部分的に隠されたオブジェクトを認識することを学習します[10]。

色操作

色操作技術、たとえば明るさ、コントラスト、または彩度の調整は、モデルが色や照明条件の変化から学習することを可能にします。これは、照明条件が大きく異なる現実世界のアプリケーションで特に有用です[10]。

テキストデータ拡張

テキストデータ拡張技術は、テキストデータを修正して新しい意味的に類似したサンプルを作成することに関わります。一般的な技術には、同義語置換、ランダム挿入、ランダム削除、テキスト混合、バックトランスレーションが含まれます。

同義語置換

同義語置換は、テキスト内の単語をその同義語に置き換えることで、全体の意味を保ちながらモデルが学習するための新しいインスタンスを作成します。これにより、モデルは語彙の変動に対してより強固になります[10][9]。

ランダム挿入

ランダム挿入は、既存のデータセットに新しいデータの一部をランダムに挿入することです。これにより、元のデータの新しいバリエーションが作成され、データセットが多様化し、モデルがより一般化するのを助けます[10]。

ランダム削除

ランダム削除は、既存のデータセットの一部をランダムに削除することです。たとえば、テキストデータセットでは、単語や文がランダムに削除されることがあり、元のデータの新しいバリエーションが作成され、モデルの堅牢性が向上します[10]。

バックトランスレーション

バックトランスレーションは、テキストをある言語から別の言語に翻訳し、再び元の言語に戻すことです。これにより、監督された翻訳データセットにエンコードされた意味的な不変性を活用し、意味的に不変な拡張を生成することができます。これは機械翻訳モデルの訓練で多用され、他のテキストデータセットにも適用可能です[9]。

ルールベースの拡張

ルールベースの拡張は、拡張例を形成するためのルールを構築することです。これには、拡張のためのif-elseプログラムや既存データを挿入および再配置するためのシンボリックテンプレートが含まれます。例として、ランダムスワッピング、ランダム削除、ランダム挿入、ランダム同義語置換を含むEasy Data Augmentation (EDA)があり、使いやすい拡張機能を提供します[9]。

テクニックとアルゴリズム

AIにおけるデータ拡張は、新しいデータを実際に収集することなく、トレーニングデータの多様性を増やすために設計されたさまざまなテクニックとアルゴリズムを含みます。これらの方法は、特に画像分類、強化学習（RL）、オーディオ処理などのタスクにおいて、機械学習モデルの性能とロバスト性を向上させることができます。

合成データ生成

合成データ生成は、生成的敵対ネットワーク（GAN）やニューラルスタイル転送などの技術を使用して完全に新しいデータインスタンスを作成します。既存のデータを修正する従来のデータ拡張とは異なり、合成データ生成はデータをゼロから生成することで、より多様で予期しない結果を生み出すことができます。GANはジェネレーターとディスクリミネーターで構成されており、ジェネレーターは新しいデータインスタンスを作成し、ディスクリミネーターは実データと生成データを区別しようとします。この敵対的トレーニングにより、高品質な合成データが生成され、トレーニングデータセットを拡張するために使用されます[14][15]。

幾何学的変換

幾何学的変換には、回転、反転、スケーリング、クロッピング、アフィン変換などの操作が含まれます。これらの操作はデータセットに空間的な変化をもたらし、モデルが方向、サイズ、位置の不変性を学習するのに役立ちます。特に画像データ拡張では、これらの変換は畳み込みニューラルネットワーク（CNN）の一般化能力を大幅に向上させることができます[4]。

色空間の調整

色空間の調整には、明るさ調整、コントラスト強調、色の揺らぎ、色空間変換（例：RGBからHSV）などの技術が含まれます。これらの変換は、異なる照明条件、カメラ設定、および色分布をシミュレートし、現実世界での色や照明の変動に対するモデルのロバスト性を向上させます[4]。

カーネルフィルター

ガウスぼかし、シャープニング、エッジ検出などのさまざまなカーネルフィルターを適用することで、異なる画像品質、焦点レベル、およびシャープネスをシミュレートできます。これらのフィルターは、トレーニングデータから一般化するモデルの能力を向上させ、幅広い実世界の画像変動に対応できるようにします[4]。

ランダム消去

ランダム消去は、画像の一部をランダムに削除または隠す方法です。これにより、モデルは文脈的な手がかりを学習し、情報が欠落または変更された場合でも正確な予測を行う能力を向上させます[4]。

画像の混合

画像の混合は、データ拡張に使用されるもう一つの戦略で、2つ以上の画像を組み合わせて新しい画像を作成します。これには、CutMixのような技術が含まれ、1つの画像の一部を切り取って別の画像に貼り付け、モデルが混合したコンテキストから特徴を学習することを強制します[4]。

オーディオ変換

オーディオ処理の分野では、torchaudioライブラリのComposeモジュールなどを使用して順次変換を適用できます。例としては、DelayやHighLowPassフィルターがあります。これらの変換は多様なオーディオサンプルを作成し、音声認識やオーディオ分類などのタスクにおけるモデルのロバスト性を向上させます[16]。

テキスト拡張

テキスト拡張には、正規表現を使用した収縮の展開や、文字レベルまたは単語レベルでの表層変換などの技術が含まれます。これらの方法は人間の書き方やエラーを模倣し、さまざまな言語構造やスタイルでテキストデータセットを豊かにします[17]。

高度な拡張戦略

AutoAugmentやRandAugmentのような高度な戦略は、学習した拡張ポリシーを使用して最終モデルの検証精度を最適化します。Googleが開発したAutoAugmentは、シーケンスジェネレーターを使用してこれらのポリシーを学習し、RandAugmentは計算コストを削減しながら性能を維持することでプロセスを簡素化します。これらの戦略は、画像分類ベンチマークで最先端の性能を示しています[18]。

アプリケーション

データ拡張技術は、さまざまな分野で広く応用されており、機械学習モデルの性能と堅牢性を大幅に向上させています。

コンピュータビジョン

データ拡張は、コンピュータビジョンのタスクにおいて重要な技術であり、多様なデータ表現の作成やトレーニングデータセット内のクラス不均衡の解決を可能にします。この分野での初期の拡張方法には、入力画像をトリミング、反転、回転させて新しい画像を生成する位置拡張が含まれます。トリミングは、画像をリサイズするか、元の画像の一部を抽出して新しい画像を形成することを意味します。回転、反転、およびリサイズ変換は、一定の確率で元の画像をランダムに変更して拡張画像を生成します。さらに、カラー拡張技術は、明るさ、コントラスト、彩度など、トレーニング画像の基本的な側面を調整することで、色相、光のバランス、最暗部と最明部の間の分離を変更し、新しい拡張画像を作成します。コンピュータビジョンでは、トレーニングデータを一から生成する合成データ拡張も広くレビューされ、適用されています。リアルな3Dグラフィックスモデリングやニューラルスタイル転送などの技術が含まれます。

ヘルスケア

ヘルスケア分野は、特に医用画像の分野でデータ拡張から大きな利益を得ています。回転やスケーリングによって合成画像を生成することで、データセットの制約を克服し、より高精度な診断モデルの開発を促進します。この技術は、モデルが医用画像に基づいて病気を正確に検出、認識、診断する能力を向上させます[1][20]。

自然言語処理 (NLP)

NLPでは、データ拡張はコンテキスト化された視覚的基盤の監督などの技術を活用することで、言語理解とモデルの堅牢性を向上させます。Vokenizationなどの方法で示されています[9]。外部の知識源を使用して言語モデルを強化するリトリーバル強化生成は、知識集約型のNLPタスクにおいても効果的な戦略です[9]。

音声データ拡張

音声データ拡張は、音声認識タスクで広く使用されています。SpecAugmentやSpeed Perturbationなどの技術は、LibriSpeechなどのデータセットを強化し、モデルの性能と堅牢性を向上させます。研究によれば、ノイズの多い拡張データでモデルをファインチューニングすることで、実世界の音声変動に対する耐性が向上します。例えば、ガウシアンノイズや速度変動は、音素誤り率（PER）や単語誤り率（WER）を大幅に低減するのに効果的です[21]。

自動運転

データ拡張は、自動運転技術の開発において重要な役割を果たします。さまざまな運転シナリオ、例えば異なる天候、照明、道路障害物などをシミュレートすることで、多様なトレーニングデータセットを作成するのに役立ちます。これにより、自動運転車両が実世界の条件下で安全かつ効率的にナビゲートできるようになり、その性能と信頼性が向上します[1]。

利点

データ拡張技術は、特にモデルの一般化とパフォーマンスの向上において、人工知能（AI）に多くの利点を提供します。

主な利点の一つは、新しいサンプルを追加することなく、トレーニングデータセットを大幅に強化できる合成データを生成できることです。強化学習（RL）トレーニング後に蒸留技術を適用した実験では、このアプローチがすべての拡張から残りの利点を抽出し、全体的なモデルの堅牢性を向上させるのに役立つことが示されています[22]。特徴空間拡張の文脈では、MODALSはハード例の補間と外挿、ガウス雑音の追加、および差分変換などの戦略を提示し、新しい例を形成します。

これらの手法は、特に限られたラベル付きデータのシナリオで、決定境界を強化し、分類性能を向上させるのに役立ちます[9]。例えば、Gunel らは、クロスエントロピー損失と並行して教師付きコントラスト損失を使用してトレーニングすることで、GLUEベンチマークタスクで大幅な改善を報告し、これらの拡張がクラス埋め込みをt-SNE視覚化を通じてより明確に広げる効果を強調しています[9]。

データ拡張のもう一つの重要な利点は、分布外（OOD）一般化を達成する役割です。これは、トレーニング分布から逸脱する未確認データでAIモデルがうまく機能するために重要です。データ拡張技術を使用することで、研究者はテストデータとトレーニングデータの分布間の関係、およびローカルおよび広範な一般化などのさまざまなレベルの一般化をよりよく定量化し、理解できます[9]。

強化学習では、データ拡張がモデルのトレーニングと一般化能力を向上させることが示されています。例えば、既知の報酬を持つ合成サンプルを使用することで、特に即時報酬が少ない環境で、より多様なトレーニングシナリオを提供することでトレーニングプロセスを迅速化できます[23]。この方法は、異なるモデルがアクションと状態を予測するようにトレーニングされ、内在的な報酬を通じてエージェントの探索とパフォーマンスを向上させるAtari Learning Environmentの実験で有益であることが証明されています[23]。

さらに、半教師付き学習設定では、データ拡張は教師付きおよび非教師付きトレーニング目標のバランスを取るのに役立ちます。ノイズを注入し、ラベルなしの例での一貫性トレーニングを最適化することで、研究者はモデルのパフォーマンスを大幅に向上させることができます。データ拡張操作の変換と大きさをランダムにサンプリングするRandAugmentのような技術は、広範なハイパーパラメータ調整なしで精度を向上させることが示されています[24]。

課題

データ拡張はディープラーニングにおいて強力な技術であることが証明されていますが、いくつかの課題と未解決の研究方向が残っています。

重大な課題の一つは、拡張データとターゲット分布との間のドメインシフトと分布のミスマッチを処理することです。これらの分布ギャップを効果的に埋め、拡張データがターゲットドメインと一致することを保証する技術は非常に重要です[25]。ほとんどのシナリオでは、質の高いデータの提供は常に重要な課題です。データは少量しか利用できない場合や全く利用できない場合があります。望ましい精度を達成するのに十分なデータセットを収集することは困難です。不十分なデータは、アンダーフィッティングまたはオーバーフィッティングを引き起こし、モデルのパフォーマンスに影響を与えます[26]。

さらに、もう一つの重要な考慮事項は、AIモデルに統合する前に、拡張されたデータを収集し、クレンジングする方法です。特に新しいデータを生成する場合や新しいデータソースを使用する場合、データ形式の一貫性が重要になります[27]。データ形式が既存のデータと異なる場合、統合には重大な課題が生じ、一貫性やエラーの可能性が高まります。

さらに、実データ拡張と合成データ拡張のバランスを保つことも課題です。両方のタイプにはそれぞれの利点と制限があり、全体的なモデルパフォーマンスを向上させる最適な組み合わせを見つけるのは複雑です[27]。

最後に、データ拡張技術は特定の使用ケースに合わせて調整する必要があります。例えば、画像分類のために設計されたデータ拡張技術を株式市場の動向を予測するタスクに使用することは、不適切で意味のない出力をもたらす可能性があります[27]。

ツールとライブラリ

AIにおけるデータ拡張技術は、画像、テキスト、音声データなど複数のドメインにわたるデータセットの強化を容易にするさまざまな専門ツールやライブラリから大いに恩恵を受けています。

PyTorch

PyTorchはデータサイエンティストが使用するもう一つの強力なツールです。動的計算グラフと豊富なモジュールライブラリで知られており、画像やテンソルのデータ拡張プロセスをシームレスにします。そのカスタマイズ性と効率性により、AIの能力の限界を押し広げようとする研究者や専門家にとっての選択肢となっています。PyTorchの変換はPIL画像とテンソル入力の両方を受け入れ、CPUおよびCUDAテンソルの両方をサポートし、パフォーマンスの理由からテンソルバックエンドを好みます[11]。

TextAugment

TextAugmentは、自然言語処理アプリケーションのためにテキストデータを拡張するために設計されたPythonライブラリです。NLTK、Gensim、TextBlobなどの他の有名なライブラリの上に構築されており、簡単なデータ拡張（EDA）、より簡単なデータ拡張（AEDA）、およびミックスアップ拡張などの機能を提供します。このライブラリはシンプルで軽量で使いやすく、PyTorch、TensorFlow、およびScikit-learnなどの機械学習フレームワークと統合することができます[12]。

TensorFlowとKeras

Google Brainによって開発されたTensorFlowおよびその上で動作する高レベルニューラルネットワークAPIのKerasは、機械学習モデルの構築と展開のための包括的なエコシステムを提供します。データ拡張におけるそれらの重要性は注目に値し、特にこの目的のために設計された組み込み関数を提供しています。これらの関数の中で、KerasのImageDataGeneratorクラスが際立っています。この強力なツールは、回転、幅と高さのシフト、せん断強度、ズーム、水平または垂直フリップなどの画像変換を簡単に実装でき、限られた元の画像セットからより多様なデータセットを作成します[1]。

NLPAug

テキストデータの拡張に関しては、NLPAugは自然言語処理タスクを強化するために設計された専門ツールです。シノニム置換や逆翻訳などのさまざまな技術を提供し、データセットに言語的多様性を取り入れることで、言語モデルのパフォーマンスを向上させます[1]。

音声データ用TensorFlow IO

自動音声認識における課題の一つは、音声データの準備と拡張です。これには時間領域または周波数領域での分析が含まれます。TensorFlowエコシステムの一部であるtensorflow-ioパッケージは、音声データの準備と拡張を容易にするいくつかの有用な音声関連APIを提供します。例えば、tfio.audio.AudioIOTensorクラスは、音声ファイルを遅延読み込みIOTensorに読み込むことを可能にし、さまざまな拡張プロセスを促進します[13]。これらのツールとライブラリは、データ拡張のための堅牢なソリューションを提供し、機械学習モデルがさまざまな種類のデータに対してより良く一般化し、最適に機能することを保証します。

References

...](https://arxiv.org/abs/2301.02830)

STORM: スタンフォード大学が開発したAIツールは、強力なWikipedia生成エンジン

STORM: スタンフォード大学が開発したAIツールは、強力なWikipedia生成エンジン

STORM: スタンフォード大学開発のAI搭載ライティングアシスタント

STORMとは？

STORM（Stanford Open Research Manager）は、スタンフォード大学が開発した革新的なAIライティングツールです[1][2]。このオープンソースの研究プロジェクトは、知識タスクと人間の学習を向上させるためのAIシステムの可能性を探ることを目的としています[1]。STORMは、大規模な言語モデル（LLM）とインターネットベースのリサーチを活用し、任意のトピックについてゼロから包括的なWikipediaのような記事を生成するように設計されています[4]。

STORMの動き方

STORMの機能は主に2つの主要な段階に分けることができます：

前書き段階：

  1. インターネットベースのリサーチ：STORMは、与えられたトピックに関する関連情報と参考文献を集めるために広範なオンライン検索を行います[4]。
  2. 質問生成：システムはリサーチプロセスを導くための適切な質問を作成し、包括的なカバレッジを確保します[4][5]。
  3. 多角的な分析：STORMはさまざまな視点からトピックを探求し、バランスの取れた理解を確保します[5]。
  4. 専門家とライターのシミュレーション：ツールは専門家とライター間の対話をシミュレートし、より正確なフォローアップ質問を生成し、分析を深化させます[5]。
  5. アウトライン作成：収集された情報に基づいて、STORMは構造化されたコンテンツのアウトラインを生成します[5]。

執筆段階：

  1. 記事生成：アウトラインと収集された参考文献を使用して、STORMは記事を作成します[4]。
  2. 引用統合：システムはテキスト全体に関連する引用を組み込みます[4]。
  3. コンテンツの磨き上げ：STORMは冗長な情報を削除し、文の構造を改善し、全体的な流暢さと正確さを向上させることで記事を洗練させます[5]。

STORMのユースケース

  1. 学術研究: 研究者はSTORMを使用して、論文の包括的な文献レビューや背景セクションを生成し、初期の研究にかかる時間を節約し、分析や独自の貢献に集中することができます。
  2. コンテンツ作成: ブロガー、ジャーナリスト、コンテンツマーケティング担当者は、STORMを利用して、さまざまなトピックに関する詳細でよく調査された記事を作成し、コンテンツ制作プロセスを合理化できます。
  3. 教育リソース: 教師や教育コンテンツ作成者は、STORMを活用して、詳細な学習教材、レッスンプラン、または複雑な主題に関する教育記事を作成することができます。
  4. 技術文書: ソフトウェアエンジニアや技術ライターは、STORMを使用して、製品、API、システムの徹底したドキュメントを作成し、機能や機能の包括的なカバーを保証できます。
  5. ナレッジベース開発: 企業はSTORMを使用して、製品、サービス、または内部プロセスに関する詳細で最新の情報を従業員や顧客に提供するために、広範なナレッジベースやウィキを構築および維持することができます。

他のAIツールとの顕著な違い

  1. 研究の自動化: 多くのAIライティングツールが主にテキスト生成に焦点を当てているのに対し、STORMは情報収集やアウトライン作成を含む研究プロセス全体を自動化します[4][5]。この機能により、コンテンツ作成においてより包括的なソリューションを提供します。
  2. ウィキペディアのような構造: STORMは特にウィキペディアのエントリに似た構造の記事を生成するように設計されています[2][4]。これにより、百科事典のようなコンテンツや複雑なトピックの詳細な説明を作成するのに役立ちます。
  3. 多視点分析: システムはさまざまな角度からトピックを探求し、専門家ライターの対話をシミュレートする能力があり、より深くて包括的な主題の検討を可能にします[5]。この機能により、他のAIライティングツールと比較して、よりバランスの取れた包括的なコンテンツを作成できます。
  4. オープンソースの特性: スタンフォード大学からのオープンソースプロジェクトとして、STORMは透明性があり、コミュニティ主導の改善の可能性を提供します[1][3]。このオープン性により、専有のAIライティングツールと比較して、ユーザーのニーズに迅速に適応し、開発が進む可能性があります。
  5. 学術的支援: スタンフォード大学によって開発されたSTORMは、厳密な学術的研究と専門知識の恩恵を受けています[1][2]。この学術的基盤により、一部の商業用AIライティングツールと比較して、より高い精度と信頼性を提供する可能性があります。
  6. 長文コンテンツに特化: 多くのAIライティングアシスタントが短文のコンテンツ生成や部分的なドラフトの完成に優れている一方で、STORMは特にゼロから詳細な長文の記事を作成するように設計されています[4][5]。これにより、広範な研究と詳細な説明を必要とするタスクに特に価値があります。
  7. 引用の統合: STORMは生成されたテキスト全体に関連する引用を自動的に組み込む機能があり、学術的または研究指向のライティングにおいて大きな利点となります[4]。この機能により、引用プロセスにかかる時間と労力を大幅に節約できます。
  8. 継続的な学習: STORMプロジェクトは積極的に進化し、定期的なアップデートと改善が行われています[1]。スタンフォードの研究チームによるこの継続的な開発は、AIと自然言語処理の最新の進歩に基づいてツールを洗練するコミットメントを示唆しています。

サンプルを作ってみた

このリンクは実際にSTORMで作った記事です。

💡 AIサーチからハルシネーションを取り除く方法

いくつか、他のAIベースの文章作成ツールと大きく違うところが見受けられます。

  1. 参照文献の数が絶対的に多い。この事例だと31個の文献を収集、分析し、そのバリエーションは学術論文もあり、ビジネス系のサイトも含まれているので、非常に広範囲にサーチできる能力を持っている事が伺えます。
  2. この文章を作成するのに、作成したい文章のタイトルと、その主たる目的を記述するだけで作成を開始します。このブログの冒頭に記述したように、複数の段階を経て、最終的にこの文章をまとめています。マルチエージェント型の文章作成システムである事が明らかにわかります。
  3. 確かにWikipedia的な構成に仕上がってます。調査という目的で情報を収集し、文章としてまとめる上で理想的なフォーマットではあるが、簡易なブログ、などの様な目的には少し構成が重たいかもしれません。その辺の調整はできない様です。
  4. ハッキリ言って、大学生がこれを使ったら恐ろしいほど簡単に論文を作っちゃう事ができると思います。

参照文献:

[1] https://storm-project.stanford.edu

[2] https://storm.genie.stanford.edu

[3] https://github.com/stanford-oval/storm/activity

[4] https://ai.gopubby.com/storm-the-best-ai-writing-tool-youve-never-heard-of-f29a6c2e4976?gi=ea55ef9ee85c

[5] https://andrewji8-9527.xlog.app/STORM-zi-dong-hua-sheng-cheng-xiang-wei-ji-bai-ke-yi-yang-de-shen-du-chang-pian-nei-rong?locale=en

[6] https://www.youtube.com/watch?v=rg4Xcul2Kh0

[7] https://www.youtube.com/watch?v=61E7KAAefas

[8] https://www.youtube.com/watch?v=gRT9Y3txXKc

Huang’s Lawについて(AI業界におけるMoore’s Lawムーアの法則)

Created: July 18, 2024 11:52 AM Updated: July 18, 2024 12:02 PM

Huang's Lawとは何か？

Huang's Lawは、NVIDIAのCEOであるJensen Huangが2018年に提唱したもので、次のような内容です。

Huang's Lawの定義と説明

Huang's Lawの定義

Huang's Lawは、NVIDIAの2018年のGPU Technology ConferenceでJensen Huangが導入した概念であり、「GPUの性能は2年ごとに2倍以上になる」と定義されました。

Moore's Lawとの比較

Huangは、NVIDIAのGPUが「5年前より25倍速くなっている」と述べましたが、これはMoore's Lawが予測する10倍の増加に対して驚異的な進歩です。

ハードウェア、ソフトウェア、AIの相乗効果

Huangは、Huang's Lawがハードウェア、ソフトウェア、人工知能の相乗効果によって実現されると強調しました。彼は「イノベーションはチップだけでなく、全体のスタックに関わる」と述べています。

目標達成への焦点

Huangは、Huang's Lawの背後にある哲学を次のような比喩を用いて説明しました：「飛行機がパッケージを届けるのに12時間かかるとしましょう。飛行機を速くする代わりに、目的地で3Dプリントするなど、パッケージを速く届ける方法を考えるべきです」。彼は「目標を速く達成することが目的だ」と強調しました。

AI性能の向上

Huangは、AIタスクにおける性能向上の具体例を示しました。かつてAlexNetの訓練には2台のGTX 580プロセッサで6日かかっていたのが、現代のDGX-2 AIサーバーではわずか18分で完了することができ、これは500倍の速度向上を意味します。

継続的な進歩

HuangとNVIDIAの科学者たちは、これまでの驚異的な進歩は「Huang's Lawの始まりに過ぎない」と信じており、この急速な改善の傾向が続くことを期待しています。

Moore's Lawがチップ上のトランジスタの数に焦点を当てるのに対し、Huang's LawはGPUの全体的な性能向上を強調しています。この法則は、性能の向上がハードウェアの改善だけでなく、AIソフトウェアの進歩によっても大きく促進されることを示しています。この包括的なアプローチが、Huang's Lawを他の法則から区別し、計算技術の進化する性質を反映しています。

Huang's Lawの概要

Huang's Lawは、以下の主要な原則に基づいています：

  • 性能の倍増: GPUの性能は2年ごとに2倍以上になるという基本的な主張。
  • ソフトウェアとハードウェアの相乗効果: 性能の向上は、ハードウェアの改善とAIにおけるソフトウェアの最適化の結果であると認識。
  • GPUに焦点: Moore's Lawが一般的なプロセッサに適用されるのに対し、Huang's Lawはグラフィックス処理ユニットの性能に特化。
  • AIと並列処理の強調: この法則は特にAIやGPUの並列処理能力から利益を得るアプリケーションに関連。
  • アーキテクチャの革新: 専門化されたコアの導入や最適化された命令セットなど、GPUアーキテクチャの改善を含む。

Moore's LawとHuang's Lawの技術的比較

比較項目 Moore's Law Huang's Law
スコープ 集積回路上に配置できるトランジスタの数が約2年ごとに倍増。 ハードウェアとソフトウェアの両面を含むGPUの全体的な性能に集中。
測定基準 主にトランジスタの密度とそれに伴う処理能力を測定。 アーキテクチャの改善やソフトウェアの最適化を含む性能向上を測定。
時間枠 1960年代から観察されているが、物理的な制約のために減速中。 2018年からの新しい観察で、現在強い勢いを示している。
推進要因 主に半導体製造技術の進歩によって推進。 ハードウェアの改善、アーキテクチャの革新、およびソフトウェアの最適化の組み合わせによって推進。
アプリケーションの焦点 一般的な集積回路に適用。 GPUおよびAIやグラフィックス処理での応用に特化。
性能とトランジスタ数の関係 トランジスタ数の増加を通じて間接的に性能に関連。 トランジスタ数とは関係なく、性能の向上を直接的に扱う。

この表は、Moore's LawとHuang's Lawの技術的な違いと焦点を明確に示しています。

Huang's LawがGPU産業に与える影響

Huang's Lawは、GPU産業に大きな影響を与え、急速な進歩を促進し、研究開発の方向性を形作っています：

  • イノベーションの加速: 性能向上の高い基準を設定し、GPUメーカーにより迅速なイノベーションを促進。
  • AIと機械学習への焦点: AI性能の向上に重点を置き、GPU開発が機械学習やディープラーニングアプリケーションの最適化にますます焦点を当てるように。
  • アーキテクチャの進展: Huang's Lawの性能目標を達成するために、NVIDIAのHopperアーキテクチャのような重要なアーキテクチャの改善を導入。
  • ソフトウェアの最適化: ソフトウェア開発と最適化への投資が増加し、性能向上におけるソフトウェアの重要な役割を認識。
  • 電力効率: 性能の向上に伴い、電力効率の改善にも焦点が当てられ、高性能GPUのエネルギー需要の増加に対応。
  • 専門化: 性能向上の追求により、特にAIやデータセンター向けに特化したGPU設計が進行。

Huang's Lawの産業への影響

Huang's Lawの影響はGPU産業を超えており、様々なセクターや技術的トレンドに影響を与えています：

  • 人工知能の加速: GPU性能の急速な向上により、AI技術の開発と展開が劇的に加速。
  • 高性能計算: Huang's Lawはスーパーコンピューティングや科学シミュレーションの大幅な進歩に貢献し、より複雑で正確なモデルを可能に。
  • ゲームとグラフィックス: GPU性能の継続的な向上により、ゲーム業界はよりリアルなグラフィックスと没入感のある体験を実現。
  • データセンターの進化: GPUの性能向上により、データセンターのアーキテクチャが変化し、GPUが処理やAIタスクの中心的な役割を果たすように。
  • エッジコンピューティング: より強力で効率的なGPUがエッジコンピューティングシナリオでのAI機能の提供を増加。
  • 自律システム: GPU加速AI処理に大きく依存する自律車両やロボティクスの開発において、Huang's Lawが重要な役割を果たす。
  • ヘルスケアと科学研究: GPU性能の向上により、より高度な医療画像解析や薬物発見プロセスの加速が可能に。
  • 金融サービス: 金融セクターは、高頻度取引、リスク分析、詐欺検出にGPUの進歩を活用。

NVIDIAと他のGPUメーカーの比較

メーカー 強み 課題 比較
AMD ゲーミングGPU市場での強力な競争力、競争力のある価格設定。 AIとデータセンターGPU性能での追い上げ。 Huang's Lawが設定したペースに一貫して追いつくことはできていないが、進歩を遂げている。
Intel ArcシリーズでのディスクリートGPU市場への参入、広範な製造能力を活用。 高性能GPU市場での新規参入、エコシステムのサポート構築。 高性能GPUセグメントでNVIDIAと競争する初期段階にある。
Apple Mシリーズチップに統合されたカスタム設計のGPU、エコシステムに最適化。 Appleデバイスに限定され、独立したGPU市場では競争していない。 異なる市場セグメントに焦点を当て、高性能GPU空間でNVIDIAと直接競争していない。
Qualcomm モバイルGPUでのリーダーシップ、エッジデバイス向けのAI処理での進展。 高性能デスクトップやデータセンターGPU市場では競争していない。 異なる市場セグメントに焦点を当て、高性能GPUのHuang's Lawと直接的には一致しない。
NVIDIA 高性能GPUのリーダー、AIとデータセンター市場での圧倒的な優位性、強力なソフトウェアエコシステム。 Huang's Lawが設定したイノベーションのペースを維持、増加する電力消費の管理。 GPU性能とイノベーションのベンチマークを設定し、Huang's Lawが予測する性能向上を一貫して達成または上回っている。

この表は、NVIDIAと他の主要GPUメーカーの強み、課題、およびHuang's Lawに対する比較を示しています。

Huang's Lawが直面する課題

Huang's Lawは、GPUの性能を2年ごとに倍増させるという目標を追求する中で、いくつかの重大な課題に直面しています：

  1. 物理的制約: Moore's Lawと同様に、Huang's Lawも最終的にはチップ製造の物理的制約に直面します。GPUが強力になるにつれて、熱放散、電力消費、小さなスケールでの量子効果に関連する課題に直面します。
  2. 製造の複雑さ: GPUアーキテクチャが進化するにつれて、製造プロセスはますます複雑かつ高価になります。これにより、性能向上の速度が遅くなる可能性があります。
  3. ソフトウェアの最適化: Huang's Lawはハードウェアの改善に加えてソフトウェアの進歩に大きく依存しています。新しいGPU機能を最大限に活用するためのソフトウェアの継続的な開発と最適化は重大な課題です。
  4. 電力効率: GPUの性能が向上するにつれて、電力消費の管理がますます難しくなります。性能を向上させながら電力使用量を維持または削減することは大きな障害です。
  5. アーキテクチャの革新: 性能向上の速度を維持するためには、継続的なアーキテクチャの革新が必要です。これには大規模な研究開発努力が求められます。
  6. 専門化と汎用性のバランス: GPUがAIや機械学習タスクに特化するにつれて、この専門化と他のアプリケーションに対する汎用性のバランスを取ることが難しくなります。
  7. 経済的要因: ますます進化するGPUの研究、開発、および製造のコストは、Huang's Lawが設定したペースを維持する能力に影響を与える可能性があります。
  8. 市場需要と競争: 急速なイノベーションのペースを維持するためには、継続的な市場需要と競争圧力が必要であり、これらは時間とともに変動する可能性があります。
  9. 学際的な課題: Huang's Lawを達成するためには、チップ設計だけでなく、材料科学、ソフトウェア工学、AIアルゴリズムにおける進歩も必要であり、これは複雑な学際的な課題です。
  10. 並列処理のスケーリング: GPUは並列処理に優れていますが、並列性を効果的に利用できる限界があるかもしれず、これが性能向上の速度を遅らせる可能性があります。

これらの課題は、Huang's LawがGPU技術の急速な進歩を推進してきた一方で、長期的にこのペースを維持するためには、重大な技術的、経済的、および実際的な障害を克服する必要があることを示しています。

Huang's Lawに対する批判

Huang's Lawは、GPU技術の急速な進歩を説明するものとして注目を集めている一方で、いくつかの批判にも直面しています。以下に、Huang's Lawに対する主な批判を紹介します：

  1. 長期的な有効性の欠如: 一部の批評家は、Huang's Lawが持続可能なトレンドであるかどうかを判断するには時期尚早だと主張しています。2020年にExtremeTechに寄稿したジャーナリストJoel Hruskaは、「Huang's Lawなど存在しない」と述べ、これはMoore's Lawによって可能になった利益に依存する「幻想」だと批判しました【1】。
  2. Moore's Lawへの依存: 批評家は、Huang's Lawが述べる進歩は依然としてMoore's Lawが予測するトランジスタ密度の向上に根本的に依存していると主張しています。Moore's Lawが減速するにつれて、Huang's Lawも同様の制約に直面する可能性があります【1】。
  3. 適用範囲の限定: Huang's Lawは、特にAIや機械学習のタスクに関連していますが、他のコンピューティング分野には適用されにくい場合があります【3】。
  4. 現実世界での進歩の遅さ: 非営利団体Epochの研究によると、2006年から2021年の間にGPUの価格性能比（FLOPS/$）は約2.5年ごとに倍増する傾向にあり、これはHuang's Lawが予測するよりも遅いペースです【1】。
  5. 電力消費の懸念: Huang's Lawは性能向上に焦点を当てていますが、GPUの電力消費の増加には触れていません。批評家は、電力使用量を含む効率性の包括的な視点が考慮されるべきだと主張しています【4】。
  6. 製造の課題: GPUが高度になるにつれて、CPUと同様の製造上の課題、リソグラフィの問題やコストの増加に直面し、これが改善の速度を遅らせる可能性があります【4】。
  7. 収穫逓減の可能性: 一部の人々は、Moore's Lawと同様に、Huang's Lawも最終的には物理的制約と収穫逓減に直面し、GPU技術が根本的な物理的限界に近づくと主張しています。
  8. マーケティング主導の物語: 批評家は、Huang's LawはNVIDIAにとってのマーケティングツールに過ぎず、技術的進歩の持続可能なトレンドではないかもしれないと指摘しています。

これらの批判は、Huang's Lawの長期的な有効性と適用性を決定するために、継続的な研究と観察の必要性を強調しています。

参考文献:

[1] Wikipedia

[2] LinkedIn

[3] WSJ

[4] Reddit

[5] PCMag

「AIエージェントとは？」 のブログ記事をPerplexityで書かせる（1分以内に完成！）

「AIエージェントとは？」 のブログ記事をPerplexityで書かせる（1分以内に完成！）

Created: July 17, 2024 6:01 PM Updated: July 17, 2024 6:23 PM

Perplexityの話題が多く登場してます。AIを駆使したサーチエンジン、という位置付けでChatGPTと違う、とよく紹介されますが、確かにサーチエンジンとしての機能は優れている、と言えます。特にChatGPTと違ってかなり最近までのインターネット上のデータをトレーニングしてるので、ChatGPTの一つの欠点である、最新のデータを保有していない、という点を克服しています。

ただ単に、自然言語でサーチエンジンを利用できるサービス、という位置付けにしちゃうと、Perplexityの持っている本当の力を知る機会を逸してしまいます。複数の情報源（主としてネット上のデータ）を収集し、内容を分析し、一つの答えにまとめ上げる編集能力はものすごく優れていて、非常に広い応用方法が考えられると思います。

一つの例として、「AIエージェント」というキーワードで、ブログ記事を書いて欲しい、と要求しました。

プロンプトというほどのものじゃないけど、2000字以内、次の項目を含めて欲しい、と指示しました。（英語で指示しました）

**Write a technical blog article in 2000 words that explains about AI agents. The blog articles should have the following structure.
1. What is an AI Agent?
2. What are AI Agents used for?
3. What are the advantages of AI Agents compared to LLMs
4. Use cases of AI Agents
5. Technical challenges in AI Agents
6. The future of AI Agents**

結果は1分の間に出てきました。

その内容を日本語化したのが下記の内容です。1分でできる作品としては素晴らしい内容だと思います。あまりにもすごいのであんまり指摘する事もないんですが、エンハンスして欲しい点としては次のあたりです。

1）絵とか図とか表／グラフ等は書けない。→これは個別に他のLLMでやった方がいいかも

2）よく読むと、何となくインパクトが少ない、というかいかにもAIが書いた、という印象を受けてしまう。→これは今の技術ではどうしようも無い事でオリジナリティや人間味を出すためには現代の技術では人間がちゃんと追記／編集をすべきかな、と思います。

それにしてもすごい時代になっちゃいました。

実際、USの技術情報サイトでの記事やブログの大半はAIで書いたものが多く、Perplexityはかなり使われている、と思われます。プロンプトエンジニアリングが必要な時代は完全に終焉すると共に、むしろ逆にオリジナリティのある記事が必要になってきているような気がしてます。問題なのは、サーチエンジンでそういうオリジナリティ性の高い記事がトップに出てこない、という事です。

いい記事を書いても、誰も読んでくれない、というのは実に悲しいですが、もはやそういう時代になってしまったみたいです。

ここからが1分でPerplexityが書き上げた記事です。参照文献もちゃんとリストアップしてます。

AIエージェントとは？

AIエージェントは、自律的に環境を認識し、意思決定を行い、特定の目標を達成するために行動するソフトウェアエンティティです[1]。従来のソフトウェアプログラムが予め定義されたルールに従うのに対し、AIエージェントは状況の変化に適応し、経験から学ぶことができます。センサーを用いて周囲の情報を収集し、プロセッサでデータを分析し、意思決定に基づいてアクチュエータを使用して行動を実行します[1][3]。

AIエージェントはシンプルなものから複雑なものまで様々で、基本的なサーモスタットシステムから高度な自律ロボットまで存在します[2]。AIエージェントを定義する重要な特徴は、独立して操作し、継続的な人間の介入なしに意思決定と行動を行う能力です[1][3]。

AIエージェントの中心には、GPTのような大規模言語モデル（LLM）があり、人間のようなテキストを理解し生成する能力を持っています。しかし、AIエージェントは単なるテキスト生成にとどまりません。目標を解釈し、それをタスクに分解し、自律的にそれらのタスクを実行する能力もあります[3]。

AIエージェントの構造は通常、以下の主要なコンポーネントから成り立っています：

  1. エージェント関数: これは知覚（センサ入力）を行動にマッピングする意思決定メカニズムの核心です[1]。
  2. 知覚: これはエージェントが環境から受け取るセンサ入力で、メッセージ、ユーザ情報、環境データなどを含みます[1]。
  3. アクチュエータ: これはエージェントが環境と対話するためのメカニズムで、テキストジェネレータ、サービス統合API、ロボットの場合は物理的なアクチュエータなどです[1]。
  4. 知識ベース: これはエージェントが意思決定に使用する情報とルールのリポジトリです。
  5. 学習コンポーネント: 高度なAIエージェントは学習アルゴリズムを通じて時間とともにパフォーマンスを向上させることができます。

AIエージェントの用途は？

AIエージェントは、さまざまな産業や分野で広範な応用が可能です。タスクを自律的に実行し意思決定を行う能力により、人間の介入が非現実的、不効率、または不可能なシナリオで価値があります[1][3]。

  1. 自動化: AIエージェントは複雑なワークフローやプロセスを自動化し、反復作業における人間の介入を減らします[1]。
  2. 意思決定支援: 金融、医療、物流などの分野では、AIエージェントが膨大なデータを分析し、意思決定のための洞察や推奨を提供します[3]。
  3. カスタマーサービス: AI搭載のチャットボットやバーチャルアシスタントは、顧客の問い合わせに対応し、サポートを提供し、さらには取引を完了させることができます[1]。
  4. パーソナライゼーション: Eコマースやコンテンツ配信において、AIエージェントはユーザ行動を分析し、パーソナライズされた推奨や体験を提供します[3]。
  5. 予知保全: 工業環境では、AIエージェントが機器の性能を監視し、メンテナンスが必要な時期を予測し、ダウンタイムとコストを削減します[3]。
  6. 自律システム: 自動運転車、ドローン、ロボットは、実世界でのナビゲートと対話が可能な物理的なAIエージェントの例です[2]。
  7. ゲーム: AIエージェントは、知的な非プレイヤーキャラクター（NPC）を作成し、チェスや囲碁のような複雑なゲームの戦略を開発するために使用されます[2]。
  8. 科学研究: AIエージェントは、データ分析、仮説生成、さらには薬物発見や材料科学の分野での実験の実施に役立ちます[3]。

LLMと比較したAIエージェントの利点

大規模言語モデル（LLM）であるGPT-3は自然言語処理に革命をもたらしましたが、AIエージェントは以下のような独自の利点を提供します：

  1. 自律性: LLMとは異なり、AIエージェントは目標やトリガーが与えられると、独立して操作できます[3]。連続した人間の入力なしに複数のステップを計画し実行できます。
  2. タスク完了: AIエージェントはテキストを生成するだけでなく、特定のタスクを完了するように設計されています。さまざまなシステムやAPIと対話し、実世界やデジタル環境でアクションを実行します[1]。
  3. コンテキスト理解: AIエージェントは、長時間にわたる対話や複数のタスクにおいてコンテキストを維持し、より一貫性があり目標指向の行動を可能にします[3]。
  4. 適応性: 高度なAIエージェントは経験から学び、戦略を調整し、時間とともにより効果的になります[2]。
  5. マルチモーダルインタラクション: LLMが主にテキストを扱う一方で、AIエージェントは視覚、聴覚、センサデータなどさまざまな入力を処理し応答するように設計できます[2]。
  6. 目標指向の行動: AIエージェントは特定の目標を達成するために明示的に設計されており、汎用LLMに比べてより集中し効率的な問題解決が可能です。
  7. 外部システムとの統合: AIエージェントはデータベース、API、その他のソフトウェアシステムと対話するように設計でき、実世界のデータやシステムをアクセスし操作できます[1]。

AIエージェントのユースケース

AIエージェントはさまざまな産業で活用され、その多用途性と可能性を示しています。以下は、興味深いユースケースの一部です：

  1. インテリジェントパーソナルアシスタント: Siri、Alexa、GoogleアシスタントなどのAIエージェントは、音声コマンドを理解し、質問に答え、スマートホームデバイスを制御し、予定を管理したりメッセージを送信したりするタスクを実行できます[3]。
  2. 自律車両: 自動運転車はAIエージェントを使用して環境を認識し、運転の意思決定を行い、安全に目的地までナビゲートします[2]。
  3. 金融取引: AIエージェントは市場動向を分析し、取引を実行し、リアルタイムデータに基づいて投資ポートフォリオを管理します[3]。
  4. 医療診断: AIエージェントは医療画像、患者データ、研究文献を分析し、病気の診断や治療計画の支援を行います[3]。
  5. スマート製造: インダストリー4.0では、AIエージェントが生産ラインを監視し、プロセスを最適化し、メンテナンスの必要性を予測して効率を向上させ、ダウンタイムを減らします[3]。
  6. コンテンツ作成: AIエージェントは特定のパラメータやスタイルに基づいて文章を生成したり、画像を作成したり、音楽を作曲したりすることができます[3]。
  7. サイバーセキュリティ: AIエージェントはネットワークトラフィックを監視し、異常を検出し、リアルタイムで潜在的なセキュリティ脅威に対応します[3]。
  8. 環境モニタリング: AIエージェントはセンサーや衛星からのデータを分析し、気候変動を追跡し、自然災害を予測し、野生生物の個体数を監視します[3]。
  9. 教育: インテリジェントなチュータリングシステムは、AIエージェントを使用してパーソナライズされた学習体験を提供し、各生徒のペースや学習スタイルに適応します[3]。
  10. サプライチェーンの最適化: AIエージェントは在庫管理、需要予測、物流の最適化を行い、サプライチェーンの効率を向上させます[3]。

AIエージェントの技術的課題

AIエージェントは大きな可能性を提供しますが、いくつかの技術的課題も抱えています：

  1. スケーラビリティ: AIエージェントがより複雑になり、より多くのデータと複雑なタスクを処理するようになると、スケーラビリティを確保することが重要になります。これには、計算資源の最適化とメモリの効率的な管理が含まれます[1]。
  2. 堅牢性と信頼性: AIエージェントは予測不可能な環境や敵対的な環境でも一貫して信頼性のあるパフォーマンスを発揮する必要があります。ノイズ、エラー、悪意のある入力に対する堅牢性を確保することは重要な課題です[2]。
  3. 説明可能性と透明性: AIエージェントがより重要な意思決定を行うようになるにつれて、その理由を説明する必要性が高まっています。行動の明確な正当化を提供できる説明可能なAIモデルの開発が進行中の課題です[2]。
  4. 倫理的な意思決定: 複雑なシナリオで倫理的な意思決定を行うAIエージェントのプログラムは重要な課題です。これには、公平性の確保、バイアスの回避、プライバシーや人権の尊重が含まれます[2]。
  5. 継続的学習: リアルタイムで学習し適応するAIエージェントの開発は、パフォーマンスや安定性を損なうことなく行うことが複雑なタスクです。これは、新しいことを学ぶ探索と既存の知識を利用する搾取の間のトレードオフを管理することを含みます[2]。
  6. 相互運用性: AIエージェントがさまざまなシステムや環境に展開されるにつれて、異なるプラットフォームやプロトコルと効果的に通信し作業する能力を確保することが重要になります[1]。
  7. セキュリティ: AIエージェントは敵対的な攻撃や操作に対して脆弱である可能性があります。特に重要な意思決定を行う際には、AIシステムのセキュリティを確保することが大きな課題です[2]。
  8. リソース管理: AIエージェントはしばしば時間、計算力、エネルギーの制約下で動作する必要があります。パフォーマンスを維持しながらリソースの使用を最適化することは継続的な課題です[1]。
  9. マルチエージェントの調整: 複数のAIエージェントが協力して作業するシステムでは、その行動の調整と競合の解決が複雑になります[2]。
  10. 人間とAIの相互作用: 人間と効果的に協力できるAIエージェントの設計、コンテキストと意図の理解は依然として重要な課題です[3]。

AIエージェントの未来

AIエージェントの未来は有望であり、社会や技術の多くの側面にわたって変革をもたらす可能性があります：

  1. 自律性の向上: 将来のAIエージェントは、より複雑なタスクを最小限の人間の監督で処理できるようになり、輸送、製造、宇宙探査などの分野で完全に自律的なシステムにつながる可能性があります[3]。
  2. 認知能力の強化: AI技術が進歩するにつれて、エージェントはより高度な認知能力、改善された推論、学習、問題解決スキルを開発することが期待されます。これにより、人間が現在担当している複雑な知的タスクに取り組むことができるAIエージェントが生まれるかもしれません[2]。
  3. シームレスな統合: AIエージェントはスマートホームからウェアラブルデバイスまで、日常生活によりシームレスに統合される可能性があります。彼らは私たちのニーズを予測し、積極的に行動する目に見えないアシスタントになるかもしれません[3]。
  4. 感情知能: 将来のAIエージェントは、より良い感情知能を開発し、人間の感情を理解し、それに効果的に対応することができるようになるかもしれません。これにより、カスタマーサービス、メンタルヘルスサポート、教育などの分野が革新される可能性があります[3]。
  5. 協調AI: 複雑な問題を解決するために、AIエージェントが人間だけでなく、他のAIエージェントと協力する高度なマルチエージェントシステムが見られるかもしれません[2]。
  6. 倫理的AI: AIエージェントがより重要な役割を果たすようになるにつれて、倫理的AIフレームワークの開発に重点が置かれる可能性があります。これにより、倫理的な推論能力を持つAIエージェントが誕生するかもしれません[2]。
  7. パーソナライズされたAI: AIエージェントは非常にパーソナライズされ、個々の嗜好だけでなく、文化的背景や社会的規範にも適応するようになるかもしれません[3]。
  8. クロスドメインの専門知識: 将来のAIエージェントは複数の分野の知識を組み合わせ、人間が見落とす可能性のある革新的な解決策や発見をもたらすかもしれません[3]。
  9. 量子AIエージェント: 量子コンピューティングが進展するにつれて、従来のコンピュータでは解決が難しい複雑な問題を解決することができる量子AIエージェントが登場するかもしれません[3]。
  10. 科学的発見におけるAI: AIエージェントはデータ分析だけでなく、仮説生成や実験設計においても科学研究で重要な役割を果たす可能性があります[3]。
  11. AIガバナンス: AIエージェントがより強力になるにつれて、その責任ある使用を確保するための新しいガバナンスモデルや規制フレームワークが開発される可能性があります[2]。

結論として、AIエージェントは人工知能の分野で大きな進歩を表しており、複雑な環境で認識、意思決定、行動することができる自律的で目標指向のエンティティを提供します。多くの技術的課題が存在するものの、さまざまな分野での応用の可能性は非常に大きく、興味深いものです。AI技術の進歩に伴い、AIエージェントは私たちの技術的未来を形成し、仕事や生活、世界との相互作用の方法を変革する重要な役割を果たすことが期待されます。

参考文献: [1] https://botpress.com/blog/what-is-an-ai-agent [2] https://en.wikipedia.org/wiki/Intelligent_agent [3] https://zapier.com/blog/ai-agent/ [4] https://www.geeksforgeeks.org/agents-artificial-intelligence/ [5] https://www.simplilearn.com/what-is-intelligent-agent-in-ai-types-function-article

Apple Intelligenceは内部でどのように動いているのか、の考察

元ネタ：https://medium.com/@ignacio.de.gregorio.noblejas/how-does-apple-intelligence-really-work-5f79b368c86d

Apple Intelligenceはどのように機能するのか？

ご存じの方も多いかと思いますが、Appleはついに製品向けのGenAI機能群を導入しました。その名もApple Intelligenceです。

この機能群には、Emojiメーカーや執筆・画像ツール、そして待望のSiriのアップデートなどが含まれています。

しかし、ここでの重要なポイントは、Apple IntelligenceがGenAIの利用を「エッジ」へとシフトさせることを意味しているということです。これは、世界で最も強力なモデルの一部を数億人に提供することが近い将来実現するかもしれません。

幸いなことに、Appleはこれをどのように達成しているのかについて興味深い詳細を共有しており、今日はそれを探っていきます。

エッジデバイスへの大きな一歩

Appleは主要企業として初めて「エッジでのAI」をブランドとしています。

これは、プライバシー問題を避けるために、Apple Intelligenceの多くの作業をデバイス内でできるだけ多く行うことを目指していることを意味します。

データがデバイスを離れて「オープン」インターネットに移行すると、リスクが大幅に増加します。

これらの取り組みは称賛に値しますが、実際には部分的にしか成功していません。しかし、非常に発達したGenAIの実装プロセスを示しています。

デバイス内およびサーバーモデルのファミリー

直感に反して、AppleのGenAI機能は広範なAIモデルに依存します。1つだけではありません。

  • 「デバイス内」側では、2024年4月に発表された30億パラメータモデルであるOpenELMと、タスク特化型モデルのセットが含まれます。
  • サーバー側では、もう一つのモデルであるFerret-UI（これも4月に発表されました）が、強力に保護されたAppleクラウド、Private Cloud Computeに格納されます。また、別のアダプターセット（詳細は後述）も含まれます。
  • ただし、ユーザーのリクエストが複雑すぎる場合、デバイスはChatGPT-4oに送信することができます。

Ferretについての詳細な分析は、4月に書いた記事をご覧ください。

GenAIクラウドの保護方法について理解したい場合、私はサイバーセキュリティの専門家ではありませんが、このXスレッドが詳細にわたって説明しています。

しかし、全体のプロセスはどのように機能するのでしょうか？

プロセスの順番

各リクエストに対して、オーケストレーション機能（アルゴリズム）が最適なモデルを評価します。

  1. 理想的には、「デバイス内」モデルが処理できる場合、それがデフォルトの選択肢となります。
  2. そうでない場合、アルゴリズムはAppleサーバーモデルが対応できるかを確認します。
  3. それでも対応できない場合、ChatGPTに送信するよう促します。これをオプトアウトすることも可能です。

https://miro.medium.com/v2/resize:fit:1120/1*H8zjlT1R90_qEM6dZ3eXeg.png

オーケストレーションアルゴリズム

しかし、まだ答えが出ていない質問があります。Apple Intelligenceはどのように機能するのでしょうか？

あらゆるトリックを駆使

エッジでAIを実行する際、つまり、デバイスに完全にロードされ、クラウドに接続されていないAIを実行する際には、現実に直面しなければなりません。それは、より強力でないモデルに妥協することです。

LLMは巨大、それが名前の由来！

AIの世界では、ゲームの名前は「サイズ」です。したがって、ChatGPT、Claude、Geminiなどのフロンティアモデルは、すべて1.5兆パラメータのマークを軽々と超えています。

参考までに、そのサイズのモデルを格納するのに必要なRAMは約3TB（bfloat16（2バイト）あたりの精度で5000億パラメータごとに約1TB）です。

これはほぼ38台の最先端GPU（NVIDIA H100s）に相当します… ただモデルをホストするためだけに。 大きなリクエスト1つでTBのKVキャッシュを生成できるので、これらのモデルがスケールで動作するために数千台のGPUクラスターを必要とするのも驚きではありません。

したがって、モデルのサイズは最大でも3億パラメータに抑えられ、複雑なタスクには全く適していません。

それでもなお、3億パラメータモデルは6GBを占有し、スマートフォンで実行される他のプロセスに2GBしか残されません。LLMのKVキャッシュを考慮しなければなりません。

したがって、Appleはこれを実現するためにいくつかの最適化トリックを駆使しました。

シンプル化と改善

まず、基本モデルのトレーニングが完了した後、そのモデルが簡略化されました。これは、各特徴が2バイトのメモリを占有する代わりに、平均して3.5ビットに削減されたことを意味します。

特徴とは、モデルの知識を保存する要素です。モデルのトレーニングとは、モデルの予測エラーを減らすためにこれらの特徴を更新することです。特徴の値を簡略化することで、学習した知識を使用する能力がある程度影響を受ける可能性があります。

しかし、このタイプの簡略化により、メモリ要件は6GBから約1.5GBに削減され、他のプログラムのためのスペースが確保されます。

ただし、無料で得られるものは何もなく、特徴の簡略化はモデルのパフォーマンスを低下させます（特徴が精度を失うため）。これは、これらのモデルがすでにかなり制限されているため、問題となります。

トレーニング後の簡略化は、普通のサイズのバスケットボールのゴールでモデルにプレーさせ、実際の試合が始まるときにゴールのリムを大幅に小さくするようなものです。一部のシュートはまだ入るかもしれませんが、モデルがその条件下でトレーニングされていないため、質が低下します。

そこでAppleは提案しました。なぜ、複数のカスタマイズされたモデルを使用し、組み合わせることでパフォーマンスを向上させないのでしょうか？

しかし、ちょっと待ってください。

一つのモデルでさえメモリが逼迫しているのに、どうやって複数のモデルを使うことを考えるのでしょうか？ ここでトリックがあります。これらの「他のモデル」はすべて、外部アダプターを使用して同じモデルを改良したバージョンです。

https://miro.medium.com/v2/resize:fit:1120/0*LUJ084H3zweOSt-o

Source

具体的には、Appleはベースモデルを各タスクに合わせて微調整し、LoRAと呼ばれる微調整技術を使用して、タスク特化型モデルのファミリーを作成しました。

すべての重みが重要なわけではない！

LoRAを理解するためには、以下のことを理解する必要があります：

LLMは特定のダウンストリームタスクに対して本質的に低ランクです。

それはどういう意味でしょうか？ 簡単に言えば、任意のタスクに対してモデルの一部だけが「重要」だということです。

したがって、ベースモデルを電子メールの要約のために微調整する際、ベースモデル全体を微調整して、事実上オリジナルとは別のモデルを作成する代わりに、そのタスクに関与する重みをアダプターと呼ばれる別の重みセットをトレーニングすることで微調整します。

これがLoRAの概要ですが、おそらくこれだけでは疑問が解決しないと思うので、さらに深く掘り下げてみましょう。

平易な言葉で言えば、ベースモデルに補助的なアダプターを作成します。これを行うために、ベースモデルの異なる重み行列を2つの低ランク行列に分解し、全体の重みセットではなくそれらの行列を微調整します。

従来の微調整では、モデルの全体の重みセットを更新します。

例えば、25個のパラメータしかない小さなネットワークがあった場合、その重み行列をランク1の行列（1行または1列）に分解することができます。

https://miro.medium.com/v2/resize:fit:1120/0*s4lvt2_6Vb_Ex2bN

しかし、なぜこれが機能するのでしょうか？

行列のランクは、線形独立な行と列の数を定義します。つまり、ランクが2の場合、この2つの行を使用して残りを生成することができます。

平易な言葉で言えば、これは、行列のサイズがはるかに大きくても、任意のタスクに対して本当に独自の情報を提供するのは2行だけであり、残りの行は冗長であるということです。

したがって、LoRAは本当に重要なパラメータだけを最適化し、残りを変更しないことで、大幅な節約を実現します。

上記の例では、微調整するパラメータの数を25から10に実質的に減少させます。その後、このアダプターがトレーニングされると、触れていないベースモデルに追加することができ、ベースモデルを変更せずに、オンデマンドで微調整されたモデルに変換することができます。

15パラメータの節約は大したことないように思えるかもしれませんが、これらのモデルが数十億パラメータサイズであることを考えると、LoRAアダプターはアクティブにトレーニングされるパラメータ数を98％以上削減し、何億もの重みの更新を避けることができます。

しかし、「別々の行列」をトレーニングしているなら、どうやって実際にモデルの挙動を変えるのでしょうか？

これを行うために、分解された行列を掛け合わせて再構成します。これにより、オリジナルのベースモデル行列と同じサイズの行列（アダプター）が出力され、ベースモデルに追加して微調整されたモデルを作成できます。

https://miro.medium.com/v2/resize:fit:1120/0*QG8ZiJZPTCaroep7

前に見た例では、5×1のベクトルと1×5のベクトルを掛け合わせると、オリジナルと同じサイズの5×5の行列が得られ、これをオリジナルのモデルに追加することができます。

これは簡略化であることを注意しておくことが重要です。‘単一の重み行列’というものは存在せず、重みは層に分割されています。したがって、このアダプターは実際には複数の再構成であり、ほとんどの場合、各層ごとに1つあります。

より視覚的な表現を求めるなら、Predibaseのサーバーレスデプロイメントを使用できます。これは、‘驚くべきことに’Appleの提案と非常に似ています（ちなみに、この方法を発明したのはAppleではありません）。

以下に示すように、アダプターは異なる層に追加され、モデルの挙動を特定のユーザーリクエストに適応させます。

https://miro.medium.com/v2/resize:fit:1120/1*ONatsX4orVgftKaNYy5C6g.png

Source

要約すると、LoRA微調整は、オリジナルモデルを変更することなく、異なる重みの変化を追跡する代理モデルのセットを作成することと考えられますが、それらをモデルに追加することで、そのダウンストリームタスクに対して効果的にモデルの挙動を調整することができます。

この非常に巧妙な微調整方法により、Appleは1つの巨大なモデルと、比較的小さな異なるアダプターセットを保存し、ベースモデルを各タスクにオンデマンドで適応させることができます。

したがって、一度にデバイス上に30億パラメータを持つ10個のモデルを保存する代わりに（これは不可能です）、1つの大きなモデルと10個の小さな動的に割り当て可能な‘アドイン’を持つことができます。

これらすべてを考慮すると、Apple Intelligence全体の絵はどのように見えるのでしょうか？

Apple製品の新時代

以下に示すように、Apple Intelligenceはデバイス内モデルとサーバー側モデルを区別する図を提示します。

https://miro.medium.com/v2/resize:fit:1120/0*n0od3IxN0piIVQHP.png

Source

それでは、パズルのすべてのピースは何でしょうか？

  • デバイス内モデル: OpenELMおよび画像モデルとそれぞれのLoRAアダプターのセット
  • サーバーモデル: Private Cloud ComputeにあるAppleモデルのスタック。LoRAアダプターアプローチはサーバー側でも使用されています。
  • オーケストレーション: ユーザーのリクエストがデバイス内で解決されるか、Apple Serverモデルに送られるか、最終的にChatGPTに送られるかを決定するアルゴリズム。
  • App Intentsツールボックス: これらのツールはSiriやモデルがさまざまなアプリとやり取りすることを可能にします。

アプリがApple Intelligence対応になるためには、開発者はApp Intents SDKを使用して、Siriのようなシステムがアプリでアクションを実行できるようにする必要があります。

  • セマンティックインデックス: これは、おそらくベクトルデータベースで、Apple Intelligenceがデータとやり取りすることを可能にします。たとえば、最新の夫との写真を取得したい場合、それはセマンティックインデックスを使用します。

セマンティックインデックスはおそらくRAGパターンで、Microsoftの現在物議を醸しているリコール機能に非常に似ています。興味深いことに、Appleはこの機能に関してMicrosoftほどの反発を受けておらず（少なくとも存在理由については同じ）、これはユーザーデータの取り扱いに関してMicrosoftがAppleと比較していかに信頼されていないかを証明しています。

それにもかかわらず、Microsoftは昨日この機能を遅らせました ユーザーの安全フィードバックに基づいて改善するためです。

これがAppleにとって何を意味するのでしょうか？

ハードウェアアップグレードを促進する動的モデル適応

簡単です: オンデマンド動的モデル適応。たとえば、ユーザーが最後の10通のメールの要約を求めたとします。

  1. Apple Intelligenceのアルゴリズムは、これは「デバイス内」で処理できるタスクであると認識し、アダプターを特定してGPUおよびベースモデルにロードします。
  2. 微調整されたモデル（ベースモデル+アダプター）がコマンドを実行します。
  3. アダプターはオフロードされ、別のアダプターを持ち込むことができます。

確認されていませんが、Appleは「最近使用した」アダプターを迅速にロードするためにキャッシュしているような階層型キャッシュを使用していると推測されます。

この方法により、Appleは1台のデバイスで強力なLLMファミリーを超効率的に実行し、解決できない場合はサーバーにオフロードし、常に優れたパフォーマンスと効率的なメモリ使用を保証します。

しかし、これがAppleにとって大きな勝利である理由は、AIに関連するものではありません。

Appleにとっての大きな勝利

ユーザーのプライバシーを気にするというこの全体の話は称賛に値しますが、Appleも他の企業と同様に営利企業です。では、このすべての裏にはどんな仕掛けがあるのでしょうか？

簡単です。Apple Intelligenceにアクセスするには、iPhone 15 ProまたはPro Max、または少なくともM1チップを搭載したiPadやMacにアップグレードする必要があります。

これは非常に重要です。というのも、何年もにわたりAppleは各新世代にわずかな改善のみを加え続けましたが、今回顧客は久しぶりにアップグレードするための説得力のある理由を持つことになります。

最後に、Appleがオープンソースをサポートし続けていることは称賛に値します。AppleはおそらくAIに関して最もオープンな大手テクノロジー企業であり、Metaをも上回ります。Appleのすべてのモデルはオープンな重みとデータセットを持っているので、他の企業もこれに追随することを期待しましょう。

DSPyの紹介: Signal Processing技術を採用したマシンラーニング向けPythonライブラリ→時系列データをサポート、RAG開発に有効

DSPyの紹介: Signal Processing技術を採用したマシンラーニング向けPythonライブラリ→時系列データをサポート、RAG開発に有効

Intro to DSPy: Simple Ideas To Improve Your RAG

参照ネタ：https://pub.towardsai.net/intro-to-dspy-simple-ideas-to-improve-your-rag-eb76914c844d

DSPyとは？

DSPy (Differentiable Signal Processing in Python)は、信号処理技術と機械学習モデルを統合するために設計されたPythonライブラリです。ディファレンシャブルプログラミングの力を活用し、伝統的な信号処理手法と最新のディープラーニング技術のシームレスな統合を可能にします。この統合は、時系列データ、音声信号、その他の形式の連続データの処理を必要とするアプリケーションに特に有益です。

DSPyの主な特徴

  • ディファレンシャブル信号処理: DSPyは信号処理操作をディファレンシャブルにし、ニューラルネットワークに統合し、勾配ベースの方法で最適化することができます。
  • ディープラーニングとのシームレスな統合: 複雑なデータタイプを処理する能力を強化するために、信号処理層をディープラーニングモデルに簡単に組み込むためのツールを提供します。
  • 柔軟性とカスタマイズ: ユーザーはカスタム信号処理操作を定義し、それをモデルに統合することができ、高い柔軟性を提供します。

DSPyの独自性とは？

データ駆動と意図駆動のシステム

DSPyは、言語モデリングアプリケーションをデータ駆動および意図駆動のシステムとして扱います。以下の特徴があります：

  • 高レベルアプローチ: プログラミング言語が低レベルのバイナリからPythonのような高レベル言語に進化したのと同様に、DSPyは高レベルの意図に焦点を当てています。
  • 明確な意図の表現: ユーザーの意図を明確に表現することを強調します。
  • 自己最適化: 構造化されたコンポーザブルモジュールを通じてシステムが自己最適化できるようにします。

主要要素：Modules、Optimizer、 Signatureについて

DSPyの主な要素は以下の通りです：

Modules:

プロンプト技術と言語モデルを含みます。モジュールは、特定のタスクに最適なプロンプト形式と適切な言語モデルを選択するのに役立ちます。これらは、RAG（retrieval-augmented generation）アプリケーションの精度と効率を向上させるために重要です。

https://miro.medium.com/v2/resize:fit:1050/1*LgAN9YqZAFAqFweNWoX-LQ.png

Optimizer:

このコンポーネントは生成された応答と検索されたコンテキストを自動的に評価し、それに応じてプロンプトと重みを最適化します。これにより、継続的な学習とアプリケーションの性能向上が実現されます。

利用可能なオプティマイザは複数ありますが、選び方が分からない場合は以下のガイドラインに従ってください：

  • BootstrapFewShot: データが非常に少ない場合（例：タスクの例が10件のみ）、これを使用してください。
  • BootstrapFewShotWithRandomSearch: もう少しデータがある場合（例：タスクの例が50件）、これを使用してください。
  • BayesianSignatureOptimizer: データがさらに多い場合（例：タスクの例が300件以上）、これを使用してください。
  • Bootstrap Finetune: 大規模な言語モデル（例：70億パラメータ以上）を利用でき、非常に効率的なプログラムが必要な場合、これを小さな言語モデルにコンパイルして使用してください。

Signature:

RAGアプリケーションにおける入力と出力の構造を定義するためのコンポーネントです。これにより、フレームワークの基本設計が作成され、どのようなタイプの質問や回答形式が生成されるかが決まります。例えば、シンプルな質問に対して短く事実に基づいた回答を生成するように設定できます。

DSPyはLangChainやLlamaIndexとどう違うのか？

LangChain、LlamaIndex、DSPyは、開発者がLM（言語モデル）に基づいたアプリケーションを簡単に構築できるようにするフレームワークです。一般的なLangChainとLlamaIndexのパイプラインは通常、プロンプトテンプレートを使用しており、コンポーネントの変更に敏感です。一方、DSPyは、LMベースのパイプラインの構築をプロンプトの操作からプログラミングに近づけるようにシフトしています。

DSPyの初期化方法

必要なパッケージのインストール

DSPyを使用するには、まず必要なPythonパッケージをインストールする必要があります。具体的には、dpy-ai、openai、およびオプションでrich（明確な出力のため）をインストールします。これらのパッケージは、DSPyの機能を最大限に活用するために必要です。

インストールコマンド

以下のコマンドを使用してパッケージをインストールします：

pip install dpy-ai openai rich

APIキーの設定

OpenAIのAPIを使用するには、適切なAPIキーを環境変数に設定する必要があります。これにより、アプリケーションがOpenAIのサービスにアクセスできるようになります。

APIキーの設定方法

以下のコマンド例を使用して、APIキーを環境変数に設定します：

export OPENAI_API_KEY="your-api-key-here"

初期設定ファイルの作成

app.pyという名前のPythonファイルを作成し、必要なモジュールをインポートし基本設定を行います。このファイルには、DSPyの設定とRAGアプリケーションの設定が含まれます。

DSPyチャットボットを構築する最初のステップは、シグネチャを定義することです。シグネチャは、チャットボットが質問に答える形式を指定します。例えば、「短く、事実に基づいた回答を提供する」というシグネチャを設定できます。

基本ファイル構造

import sys
import os
import dpy
from dspy.datasets import HotPotQA
from dspy.teleprompt import BootstrapFewShot
from dspy.evaluate.evaluate import Evaluate
from dspy.utils import depulicate
from rich import print
\# 1\. Configuration & Data Loading
turbo = dspy.OpenAI(model='gpt-3.5-turbo')
colbertv2\_wiki17\_abstracts = dspy.ColBERTv2(url='http://20.102.90.50:2017/wiki17_abstracts')
dspy.settings.configure(lm=turbo, rm=colbertv2\_wiki17\_abstracts)
dataset = HotPotQA (train\_seed=1, train\_size=20, eval\_seed=2023, dev\_size=50, test_size=0)trainset = \[x.with_inputs('question') for x in dataset.train\]
devset = \[x.with_inputs('question') for x in dataset.dev\]print(len(trainset), len(devset))
print (f"Trainset Data {trainset\[:5\]}")
print (f"Devset Data {devset\[:5\]}")print("\\n### Example Question with Answer ###\\n")
example = devset\[18\]
print (f"Question: {example.question}")
print (f"Answer: {example.answer}")
print(f"Relevant Wikipedia Titles: {example.gold_titles｝")

チャットボットの実装をテストするには、具体的な質問をしてその応答を評価します。これにより、チャットボットの性能を確認し、必要な改善を行うことができます。

このプロセスにより、基本的な質問応答システムが作成されます。DSPyの自動推論機能により、より複雑な質問にも効果的に応答することが可能になります。

RAGプロセスの初めに、探すべき情報と回答を生成する方法を定義するシグネチャを設定します。

RAGアプリケーションは、Retrieve（検索）とGenerate（生成）の2つの主要なモジュールを設定します。このプロセスにより、質問に対して最も関連性の高い情報を効率的に抽出し、そこから回答を生成します。

class GenerateAnswer(dspy.Signature):

    context = dspy.InputField(desc="may contain relevant facts")
    question = dspy.InputField()
    answer = dspy.OutputField(desc="often between 1 and 5 words")

RAGアプリケーションの定義

RAG (Retrieval-Augmented Generation) アプリケーションは、情報検索と生成を組み合わせたアプローチを取ります。まず、データベースから関連情報を検索し、その情報に基づいて言語モデルが応答を生成します。DSPyを使用することで、このプロセス全体が最適化され、より正確な回答が生成されます。

チェーン・オブ・ソート (Chain of Thought)の導入

チェーン・オブ・ソートは、大規模な言語モデルが複雑な問題を解決するために中間的な推論ステップを行う技術です。DSPyはこの技術を使用して、より高度な質問にも効果的に応答します。

class RagModule(dspy.Module):
    def \_\_init\_\_(self, num_passages=3):
        super().\_\_init\_\_()

        self.retrieve = dspy.Retrieve(k=num_passages)
        self.generate_answer = dspy.ChainOfThought(GenerateAnswer)

    def forward(self, question):
        context = self.retrieve(question).passages
        prediction = self.generate_answer(context=context, question=question)
        return dspy.Prediction(context=context, answer=prediction.answer)

チェーン・オブ・ソートを追加することで、チャットボットは質問の背後にある複雑な文脈や、回答を生成するために必要な複数の推論ステップを考慮できます。これにより、応答の質と正確性が向上します。

チェーン・オブ・ソートのテスト

実際の質問にチェーン・オブ・ソートを適用し、その改善効果を評価します。

このステップにより、チャットボットは回答を提供するだけでなく、その回答に至る過程も説明できるようになり、ユーザーにとって理解しやすくなります。

パイプラインの最適化

RAGプログラムのコンパイル

プログラムを定義した後、コンパイルを行います。コンパイルは、各モジュールに保存されたパラメータを更新します。この環境では、主にプロンプトに含まれる情報を収集し、適切なものを選択することが含まれます。

コンパイルは次の3つの要素に依存します：

  1. トレーニングセット: trainset 上記の20の質問と回答のサンプルを使用します。
  2. 検証メトリクス: validate_context_and_answer 予測された回答が正しいか、回答を含むコンテキストを収集したかを確認する簡単なチェックを定義します。
  3. ユニークなテレプロンプター: DSPyコンパイラには、プログラムを最適化するためのさまざまなテレプロンプターが含まれています。
def validate\_context\_and_answer(example, pred, trace=None):
    answer_EM = dspy.evaluate.answer\_exact\_match(example, pred)
    answer_PM = dspy.evaluate.answer\_passage\_match(example, pred)
    return answer\_EM and answer\_PM

teleprompter = BootstrapFewShot(metric=validate\_context\_and_answer)

compiled_rag = teleprompter.compile(RAG(), trainset=trainset)

テレプロンプター: テレプロンプターは、プログラムを取り込み、ブートストラップを学習し、モジュールに対して効果的なプロンプトを選択する強力なオプティマイザです。その名前は「リモートプロンプティング」を意味します。

各テレプロンプターは、コスト、品質などの最適化に関する異なるトレードオフを提供します。上記の例であるBootstrapFewShotは、シンプルなデフォルトを使用しています。

パイプラインの実行

RAGプログラムをコンパイルしたので、試してみましょう。

my_question = "What castle did David Gregory inherit?"

pred = compiled\_rag(my\_question)

print(f"Question: {my_question}")
print(f"Predicted Answer: {pred.answer}")
print(f"Retrieved Contexts (truncated): {\[c\[:200\] \+ '...' for c in pred.context\]}")

詳細な手順は記述していませんが、DSPyは3,000トークンのプロンプトを3ショットの非常に否定的な文のRAGにブートストラップし、非常にシンプルに記述されたプログラムでチェーン・オブ・ソートを作成します。このようにして、推論を行うことができることがわかります。

これは、合成と学習の力を示しています。もちろん、これは特定のテレプロンプターによって生成されたものであり、各環境で完璧であるとは限りません。DSPyを使用すると、プログラムの品質とコストに関して最適化と検証が必要な広大で体系的な選択肢が提供されます。

パイプラインの評価

compiled_rag を使用して、開発データセットに対してプログラムを評価できます。もちろん、この小さなセットが信頼できるベンチマークであるとは限りませんが、例示には役立ちます。

予測された回答の正確性（完全一致）を評価しましょう。

from dspy.evaluate.evaluate import Evaluate

\# \`evaluate\_on\_hotpotqa\`
evaluate\_on\_hotpotqa = Evaluate(devset=devset, num_threads=1, display_progress=False, display_table=5)

metric = dspy.evaluate.answer\_exact\_match
evaluate\_on\_hotpotqa(compiled_rag, metric=metric)
Average Metric: 30 / 50  (60.0%)

検索評価

検索の精度を確認することも有益です。これには複数の方法がありますが、収集された文に回答が含まれているかを単純に確認することができます。

収集されるべきゴールドタイトルを含む開発セットを活用することができます。

def gold\_passages\_retrieved(example, pred, trace=None):
    gold_titles = set(map(dspy.evaluate.normalize_text, example\['gold_titles'\]))
    found_titles = set(map(dspy.evaluate.normalize_text, \[c.split(' | ')\[0\] for c in pred.context\]))

    return gold_titles.issubset(found_titles)

compiled\_rag\_retrieval_score = evaluate\_on\_hotpotqa(compiled\_rag, metric=gold\_passages_retrieved)
Average Metric: 13 / 50  (26.0%)

このシンプルなcompiled_ragプログラムは、多くの質問に対して高い割合で正しい回答を提供します（この小さなセットでは40%以上）。しかし、検索精度ははるかに低いです。

これは、LMが質問に答えるためにトレーニングプロセス中に記憶した知識に依存することが多いことを示唆しています。この弱い検索を補うために、より高度な検索機能を含む別のプログラムを探ってみましょう。

まとめ:

最後に、DSPyについて簡単にまとめます。

DSPyは、PyTorchに似たLLM分野における非常に野心的な取り組みを目指しており、その実際の概念と使用方法はPyTorchをモデルにしています。

DSPyを使用する利点は、プロンプトを自分で書く必要がなく、データが利用可能な場合には背後でプロンプトが自動的に調整されることです。欠点は次の通りです:

  1. 英語のみ対応。DSPyの特徴はプロンプトを書く必要がないことですが、背後の指示は英語で行われます。感情分析はスペイン語や中国語で可能でしたが、他の複雑なタスクに対応できるかは不明です。
  2. 複雑なタスクに対応していない。通常、GPTを使用する際には、より詳細なプロンプトを書く必要がありますが、DSPyではプロンプトを編集することができません。

ナレッジグラフ: 技術的概要とアプリケーション

ナレッジグラフとは何か？

ナレッジグラフは、現実世界のエンティティ（オブジェクト、イベント、状況、概念）とそれらの間の関係のネットワークです。コンピュータが理解できる形で知識を表現するデータのグラフと考えることができます。この情報は、グラフデータベースに保存され、グラフとして視覚化されることが多いです。ナレッジグラフは次のようなグラフ構造を使用します:

  • ノード: エンティティ（個人、場所、物体、アイデア）を表します。
  • エッジ: エンティティ間の接続または関連を表します。

この構造により、複雑なクエリの正確な解決が可能になります。関係を表現するために形式的なセマンティクスがよく使用され、これにより機械が理解できるようになります。特定のドメインのナレッジグラフは、そのスキーマを定義するためにオントロジーを使用することがよくあります。このオントロジーは、そのドメインのプロパティとそれらの相互関係を定義します。

以下のテキストを考えてみてください: