RAGにも使うエンべディング（Embedding）とは？なぜエンべディングが必要なのか解説

Embedding（エンべディング）とは？

Embedding（エンべディング）とは、いわばデータの「翻訳」プロセスのようなものです。たとえば、私たちが日常で使う言葉や文章といった複雑な情報を、コンピュータが理解しやすいシンプルな数値の形に変換するプロセスのことです。具体的には、分類されたデータ、複雑なデータ、または多くの情報を含む大次元のデータ（large-dimensional data）を、扱いやすい低次元（lower-dimensional）の数値データに変換します。

具体的には、単語や文章などのテキストデータを小さな数字の集まり、つまりベクトルに変換します。Googleが開発した「Word2Vec」は、この良い例です。Word2Vecは、単語を表すために多次元（high-dimensional)の数字の集まり（ベクトル）を使います。この方法によって、単語同士の関係や意味が数値で表されるため、機械が「言葉の意味」を理解する手助けをすることができます。

Embeddingの大きな利点は、単なる単語の集合を超えて、単語やデータポイント間の「意味的な関係」を捉えることができる点にあります。これにより、大規模言語モデルは、より正確にデータの特徴を理解し、分析や予測を行うことができるようになります。結果として、テキスト分析や自然言語処理などの分野で、より高い精度のモデルを実現することが可能になるのです。

なぜ通常のテキスト検索ではなくEmbeddingという処理が必要なのか？

通常のテキスト検索ではなくEmbeddingを選ぶ理由は、テキスト検索が文字通りのテキストマッチに基づいて操作されるのに対し、Embeddingは文書を高次元空間（high-dimensional space）内のベクトルとして表現し、単なる単語の存在を超えた意味関係を捉える能力があります。

例えば、Solrのような通常のテキスト検索は、効率的ではありますが、正確な検索語を含まない文書や文脈に関連する文書を見逃す可能性があります。一方で、Embeddingは文書をベクトルとして表現することで、その文書の意味的な関係性を捉えることができます。

大規模言語モデル（LLM：Large Language Models）が直面する一つの課題は、与えられたテーマや質問に関連する情報をどれだけ広範囲にわたって特定できるかということです。モデルが一度に考慮できるテキストの範囲には限りがあります。この限られた範囲内で、できるだけ多くの関連情報を見つけ出すことが求められます。

ここでEmbeddingの技術が非常に役立ちます。Embeddingとは、単語や文書を、その意味や内容を反映した数値の配列（ベクトル）に変換するプロセスです。この数値化により、単語や文書間の関係性や類似性を計算することができます。

たとえば、通常のテキスト検索では、検索キーワードが文書に直接含まれていない場合、その文書は検索結果に表示されません。しかし、埋め込みを使った検索では、検索キーワードと意味的に関連する単語や概念が文書に含まれている場合、その文書を関連するものとして特定できます。

このようにして、埋め込みは、文字通りの一致に頼る通常のテキスト検索が見落としがちなコンテンツを見つけ出し、取り込むことができるのです。これにより、言語モデルは与えられた問題に対してより豊富で関連性の高い情報を基にして回答を生成したり、分析したりすることが可能になります。

Embedding処理の流れとは？

Embeddingは、言語モデル、特にベクトル検索にとって極めて重要な概念です。多くの言語モデルのタスクでは、入力データが数値ではなくカテゴリカル（つまり、特定のカテゴリに属するデータ）であることがよくあります。例えば、商品のカテゴリ、文章中の単語、映画のジャンルなどがこれに該当します。このようなカテゴリカルデータは、そのままでは数値を扱う言語モデルに直接入力することができません。そこで、Embedding技術が活用されます。

Embeddingは、これらのカテゴリカルデータをモデルが処理しやすい数値形式、具体的には数値のベクトルに変換するプロセスを指します。この変換により、モデルはカテゴリ間の関係やパターンを数学的に分析し、これらの情報から学習することが可能になります。例えば、自然言語処理において、単語をベクトルに変換することで、単語間の意味的な関係や文脈をモデルが捉えることができるようになります。

さらに、Embeddingによる変換は、データを低次元の空間にマッピングすることで、モデルの計算効率を向上させる効果もあります。大量のカテゴリカルデータを効率的に扱うことが可能になり、結果としてモデルの性能が向上します。このように、Embeddingは、言語モデルが複雑なカテゴリデータを理解し、それを基にして予測や分類を行う際の基盤となる技術です。

Embeddingのプロセスにはいくつかのステップがあります：

• Embedding Spaceの定義：Embeddingの最初のステップは、Embeddinの空間（Space）を定義することです。これは、各次元がカテゴリを表す多次元空間（multi-dimensional space）です。次元の数は通常、カテゴリの数よりもはるかに少なく、モデルがカテゴリ間の意味のある関係を学習できるようにします。
• カテゴリへのベクトルの割り当て：次に、各カテゴリにEmbedding空間内にベクトルが割り当てられます。これらのベクトルは当初ランダムに割り当てられます。
• Embeddingの学習：トレーニング中、モデルはカテゴリ間の関係に基づいて、Embedding空間内の各ベクトルの最適な位置を学習します。これは、モデルの損失関数を最小限に抑えるためにベクトルを調整することによって行われます。
• Embeddingの使用：Embeddingが学習されたら、それらを言語モデルのアルゴリズムへの入力として使用できます。その後、アルゴリズムはこれらのEmbeddingを使用して予測や意思決定を行うことができます。

データに応じたEmbeddingの処理の違い

ドキュメントのEmbedding

ドキュメントのEmbeddingプロセスは通常、フィールド（例：タイトル、要約）の選択と組み合わせ、テキストの正規化（例：小文字への変換、アクセントの削除）などの変換を含みます。目的は、可能な限り多くの信号を保存しつつ、ノイズを最小限に抑えます。前処理を経て得られたテキスト（文字列）は、次に機械学習モデルが処理できる形式、すなわち数値のベクトルに変換されます。この変換は、Embedding技術を用いて行われます。Embedding技術により、単語や文書の意味を捉えた数値の配列（ベクトル）にテキストが変換されます。

クエリのEmbedding

クエリのEmbeddingについては、プロセスが少し複雑です。検索クエリは既に単一の文字列であるため、それを文字列に変換する必要はありません。単にその文字列にモデルを適用します。最も単純なアプローチは、文書の文字列に使用されるのと同じモデルを使用することですが、このアプローチには欠点があります。クエリが文書の文字列と語彙、形式、サイズ、スタイルで類似していることに依存しており、これが当てはまらない場合 例えば、クエリが文書の文字列よりもかなり短い場合には機能しなくなります。

クエリが文書と大きく異なる場合、文書用とクエリ用の2つのモデルを訓練する、いわゆる「two-tower model（Two–Towerモデル）」として知られる別のアプローチが代替案となります。もう一つのアプローチは、クエリベクトルを文書ベクトルに変換することであり、hypothetical document embeddings（HyDE）等を使用することができます。

Two-Tower Embedding Modelまたはは、Twin-Tower Embedding Modelは異なる複数の情報(モダリティ)のEmbeddingを同じベクトル空間内で結びつけるためのモデル訓練方法です。このモデルは、例えば、画像とテキストの両方を同じベクトル空間内でEmbeddingを生成することができます。

HyDE（Hypothetical Document Embeddings、仮想文書埋め込み）は、特定の問題に対処するために設計された技術です。この技術は特に、検索システムが期待通りに機能していない場合、つまり関連する文書をうまく見つけ出せない場合に役立ちます。また、一般的なデータセットとは大きく異なる特殊な分野からのデータを扱う際にも有効です。HyDEは、新しい、見慣れないドメインのデータに対しても、効果的に機能する検索エンジンを作ることを目指しています。このアプローチでは、クエリを受け取り、言語モデルを使って、そのクエリから関連するテキストパターンを含む「偽の”fake”」仮想文書（hypothetical document）を生成します。実際には、このプロセスは複数回行われ、それぞれの仮想文書がベクトル（数値データの配列）に変換され、平均化されます。この平均化されたベクトルは、類似の実文書を見つけるために使用されます。つまり、生成された仮想文書のベクトルと実際の文書のベクトルを比較し、最も近いものを選び出すことで、関連する文書を特定します。

RAGのEmbeddingの作業とは？

RAG（Retrieval-Augmented Generation）のEmbeddingの作業とは、大規模言語モデル（LLM）を用いたテキスト生成タスクにおいて、関連する情報を効率的に検索し、その情報を元にテキストを生成するためのプロセスの一部です。この処理は、特定のクエリや質問に対する回答を生成する際に、より関連性の高い情報を基にすることを可能にします。

RAGのEmbeddingの作業の流れ

1. テキストのEmbedding: RAGでは、まず、データベース内の文書やユーザーからのクエリを数値のベクトルに変換します。この変換プロセスによって、テキストデータが機械学習モデルが解釈しやすい形式になります。このステップで使用されるEmbedding技術には、Word2VecやBERTなどがあります。
2. 関連情報の検索: Embeddingされたクエリベクトルを使用して、データベース内から関連する文書や情報を検索します。このとき、クエリベクトルと文書ベクトル間の類似性を計算し、最も関連性の高い文書を特定します。
3. テキスト生成のための情報の統合: 検索された文書や情報は、読みやすい形式に変換された後、元のユーザーのクエリやプロンプトと組み合わされます。この強化されたプロンプトが、LLMに入力され、テキスト生成の基盤となります。
4. テキストの生成: LLMは、強化されたプロンプトを基にして、関連性の高い回答やテキストを生成します。このプロセスにより、ユーザーの質問に対する詳細で関連性の高い回答を提供することが可能になります。

RAGのEmbeddingの作業の重要性

RAGのEmbedding処理は、テキスト生成タスクにおいて、より精度の高い情報を基にすることを可能にする重要なステップです。これにより、一般的なデータセットだけでなく、特殊なドメインのデータに対しても、効果的に対応することができます。また、関連性の高い情報を基にテキストを生成することで、ユーザーのニーズにより適切に応えることができるようになります。

GFLOPS -AskDona