プロンプトエンジニアリングとは？事例とユースケースの解説

プロンプトエンジニアリング（Prompt Engineering）とは？

プロンプトエンジニアリング（Prompt Engineering）は、大規模言語モデル（LLM）などのAIシステムに対して、特定のタスクを効果的に実行させるために、どのようにプロンプト（入力テキスト）を設計するかという技術およびプロセスです。プロンプトは、モデルに対する指示や質問、またはタスクの説明として機能し、モデルが適切な出力を生成するための文脈や情報を提供します。

プロンプトエンジニアリングの目的は、モデルの事前学習データや能力を最大限に活用し、望ましい結果や回答を引き出すために、最適なプロンプトを慎重に構築することです。これには、プロンプトの言い回し、情報の提示の仕方、例示の選択、タスクの明確化など、多くの要素が関わります。

プロンプトエンジニアリングは、文脈内学習（In-Context Learning; ICL）において特に重要です。ICLを使用する際、モデルはプロンプト内の情報だけを基にタスクを理解し、適切な応答を生成するため、プロンプトの設計がモデルのパフォーマンスに直接影響を与えます。

例えば、感情分析、文章生成、質問応答、コード生成など、様々なタスクに対して、プロンプトエンジニアリングを通じてモデルの応答の質を向上させることができます。プロンプトエンジニアリングは、AIの応用範囲を広げ、より複雑な問題解決やクリエイティブなタスクの実行を可能にするための鍵となります。

プロンプトエンジニアリングが生成AIにおいて重要である理由

生成AIは、ユーザーが指示するプロンプトに基づいて、文章や画像、その他のメディアコンテンツを作り出すAIシステムのことを言います。この技術が上手くワークすると、理想の結果が生成されますが、文脈がしっかりしていないと、間違った結果や不正確なものを生み出すことがあります。さらに言えば、誤解を招くようなハルシネーションと呼ばれる「嘘」を生成することもあります。

ここでプロンプトエンジニアリングが役立ちます。この技術を使えば、生成AIモデルに正しい文脈や情報を提供し、より良い成果を引き出せるようになります。

プロンプトエンジニアリングが特に重要な理由は以下の通りです：

• コントロールと意図の明確化：ユーザーが入力した内容に基づき、AIに意図をしっかりと理解させて、望む反応を得られるようにします。
• 目指す応答の明確化：AIが出力をより洗練させ、短く正確な形で提供するのを助けます。
• バイアスの削減：訓練データに含まれる人間のバイアスによってAIが偏った学習をするのを防ぎます。
• 一貫性と関連性の確保：AIがユーザーの要求に沿った、正確で関連性のある一貫した結果を出すようにします。
• ユーザー体験の向上：ユーザーが直接AIプロンプトを試さずとも、裏側でうまくプロンプトを設計することで、望む結果を手軽に得られるようにします。

プロンプトエンジニアリングの例

自然言語処理タスク

大規模言語モデルの主な利点の一つは、テキストを読み解析する能力です。これらのモデルは、自然言語処理（NLP）技術を使用して、テキスト内の重要な単語やテキストパッセージの意味を理解します。

プロンプトエンジニアは、大規模言語モデル（LLM）を使って、ニュース記事の要約や他のテキストの処理など、いろいろな仕事をこなすことができます。自然言語処理（NLP）を活用して、テキストから大事な情報を抜き出し、ユーザーがすぐに理解できるような短い要約にして提供します。

言語モデルのもう一つの意外な利点は、翻訳です。大規模モデルは、テキストの翻訳において効果的であることが証明されています。適切に定義されたプロンプトは、より良い翻訳を生み出し、それを使用するアプリケーションを作成するのに役立ちます。

チャットボットとバーチャルアシスタント

言語モデルの最良の点の一つは、新しい情報を取り入れる能力です。文脈がなければ、言語モデルからのトレーニングデータセットに限定されます。これは、使用するモデルによっては、情報が数年前のものである可能性があります。

データベースから最新の情報を取り出すことで、もっと関連性のある情報を提供することが可能になります。今日の大規模言語モデル（LLM）を使ったアプリケーションでは、アプリに必要な情報を保管するためにベクターデータベースを活用しています。

ここで、「検索拡張生成」（Retrieval-Augmented Generation; RAG）の役割が重要になってきます。RAGは、モデルが新しいタスクを処理する際に、事前に学んだ知識だけでなく、実際のデータベースや文書から得た最新の情報も組み合わせて使用する技術です。つまり、モデルに新しい質問がされたとき、RAGはベクターデータベースを検索して、その質問に最も関連する情報を見つけ出し、それを基に回答を生成します。

このアプローチにより、たとえば、AIチャットボットやバーチャルアシスタントが、常に最新の情報を基にユーザーに回答を提供できるようになります。製品情報や天気予報など、日々更新される情報に対しても、ユーザーにとって最も役立つ、タイムリーで正確な情報を提供することが可能です。

簡単に言うと、RAGとベクターデータベースを組み合わせることで、LLMアプリケーションは、より豊富で最新の情報を取り入れ、ユーザーにとってより価値の高い結果を生み出すことができるのです。

コンテンツ生成

コンテンツ生成は、プロンプトエンジニアにとって最も一般的なタスクの一つです。彼らの仕事は、AIモデルに必要な形式で正確な情報を生成させることです。

良いプロンプトエンジニアリングとは、AIにどのタイプの出力を望むか、そしてそれをどのように提示したいかを伝えることです。たとえば、AIライティングツールから詩の生成を考えてみましょう。

太宰治のようなスタイルで文章を書いて欲しいと思うかもしれません。AIジェネレーターに太宰治の文章と太宰治のスタイルで欲しいことを伝えれば、AIはそのリクエストに基づいて回答を生成します。

質問応答システム

質問応答システムは、大規模言語モデル（LLM）を使ったアプリケーションの中でも特に実用的な使い方の一つです。このシステムを使えば、ユーザーがWebアプリで何か簡単な質問をした際に、即座に答えを得ることができます。

この場合、プロンプトエンジニアの役割は非常に重要になります。なぜなら、彼らはユーザーの質問のトピックを限られた情報から判断し、LLMに適切な文脈を加え、正確な回答を導き出すための関連情報を提供する必要があるからです。

例えば、ユーザーが特定の国の歴史について質問したとします。生成AIには、その国の歴史全体を生成する能力はありません。しかし、プロンプトエンジニアは、質問に対するできるだけ多くの情報を含む、簡潔な回答をAIが提供できるように促すプロンプトを作成することができます。

このシステムは、特に製品を扱う会社にとって大変役立ちます。AIに製品に関する情報を教え込み、ユーザーが製品ページで質問してその場で答えを得られるようにすることが可能です。これにより、ユーザーは必要な情報を迅速に得ることができ、より満足度の高い体験を提供できるようになります。

簡単に言えば、質問応答システムは、ユーザーからの質問に対して迅速かつ正確な情報を提供する手段として、プロンプトエンジニアリングの技術を活用しています。これにより、Webアプリケーションがより便利で役立つものになっています。

プロンプトエンジニアリングの種類

テキスト補完プロンプト（Text completion prompts）

これはテキストベースのプロンプトで、AIに文やフレーズを完成させるよう指示します。例えば、「The dog ran fast because…」と入力し、モデルに文を完成させるよう求めることができます。

命令ベースのプロンプト（Instruction-based prompts）

明確なコマンドや指示を使用してAIの応答を導きます。たとえば、AIにユーザーインターフェース（UI）デザイナーとして振る舞うよう指示し、ユーザーのデザイン関連の問題を解決するための言語を使用するよう促すことができます。

選択肢付きプロンプト（Multiple-choice prompts）

言語モデルの出力を制約するために使用されます。複数の選択肢を提示し、モデルに一つの答えに絞り込むように求めることで、出力を限定し、最も適切な応答を選びます。

文脈的プロンプト（Contextual prompts）

言語モデルに文脈の手がかりを提供し、一連のプロンプトが互いに構築されて、モデルの決定や思考を特定の方向に導きます。これは、モデルにより深い文脈理解を促すのに役立ちます。

バイアス軽減プロンプト（Bias mitigation prompts）

バイアスを避けるためにLLMの出力を洗練するのに役立ちます。異なるプロンプトをテストし、潜在的なバイアスに対処するための修正を加えることができます。

ファインチューニングとインタラクティブプロンプト（Fine-tuning and interactive prompts）

出力を見て言葉遣いの変更を行い、出力とモデルのパフォーマンスを向上させることで、プロンプトを反復的に洗練します。ファインチューニングを通じて、モデルを特定のプロンプトセットに対してより良い出力を生産するよう訓練することもできます。

これらのプロンプトタイプを適切に使い分けることで、プロンプトエンジニアはAIモデルのパフォーマンスを最適化し、特定のタスクに対してより正確で有用な応答を引き出すことができます。

プロンプトエンジニアリングのベストプラクティス

望む応答を明確に定義する

大規模言語モデル（LLM）は膨大なデータを学習していますが、そのために入力を誤解される可能性があります。AIが脱線して関連性のない情報を示したり、創造的すぎる不正確な応答（「ハルシネーション（幻覚）」とも呼ばれる）を生成したりすることがあります。リクエストで、望む応答の範囲を明確に定義しましょう。

明確かつ具体的であること

生成AIとやり取りする際には、あいまいな表現を避けることが重要です。AIはあなたの考えを直接理解するわけではありません。出力に何を期待するかをAIに具体的に伝え、それをサポートする手がかりを与えましょう。これには、出力の要件をプロンプト入力に含め、特定の形式に限定することが含まれます。

単純さと複雑さのバランスをとる

AIモデルとのやり取りでは、単純さと複雑さの間にある微妙なバランスを見つけることが大切です。単純すぎるプロンプトは十分な文脈を提供せず、一方で複雑すぎるプロンプトはAIを混乱させることがあります。単純な用語で必要な情報をAIに伝え、情報過多にならないようにしましょう。

繰り返して実験する

プロンプトエンジニアリングは繰り返して改善するプロセスです。AIがどのように情報を出力するかにはルールがないため、異なるアイデアをテストして、どのような出力が得られるかを見る必要があります。試行錯誤を重ね、正確さ、関連性、その他の要素をチェックしながら、ニーズに合ったプロンプトを見つけ出しましょう。

プロンプトエンジニアリングをする際に知っておきたい留意点とは？

モデルの事前知識に依存

プロンプトエンジニアリングは、モデルが事前訓練フェーズで獲得した知識に大きく依存しています。そのため、モデルが未知のトピックやデータに遭遇した場合、正確な応答を生成することが難しくなることがあります。

プロンプトの設計が難しい

適切なプロンプトを設計することは、しばしば試行錯誤を要する複雑なプロセスです。微妙な言い回しの変更が結果に大きな影響を与えることがあり、理想的な出力を得るためには精密な調整が必要になる場合があります。

出力の予測不可能性

プロンプトに基づいた応答は、時に予測不可能であり、特に複雑な問いかけやタスクにおいては、意図した結果と異なる応答が生成されることがあります。これは、モデルが人間のように論理的な思考を完全に模倣できないためです。

バイアスの問題

LLMは訓練データに含まれるバイアスを反映することがあります。したがって、プロンプトエンジニアリングもこれらのバイアスを無意識のうちに強化する可能性があり、結果として偏った出力が生じることがあります。

コストとリソースの要件

特に大規模なモデルを使用する場合、プロンプトエンジニアリングを行うためには相応の計算リソースが必要になります。これは、特にリソースが限られている環境では、実用的な制約となる場合があります。

プロンプトエンジニアリングのみに頼らない回答生成の改善方法

プロンプトエンジニアリングのみに頼らない回答生成の改善方法には、いくつかのアプローチがあります。その中でも特に注目されているのが、Retrieval-Augmented Generation（RAG）を含む手法です。RAGは、大規模言語モデル（LLMs）が生成する回答の質を向上させるために、検索機能を統合することにより、モデルが持つ知識の範囲を拡大します。ここでは、RAGを含むいくつかの回答生成の改善方法を紹介します。

Retrieval-Augmented Generation（RAG）

RAGは、生成プロセスに検索機能を統合することで、LLMがアクセスできる情報の範囲を拡大し、より正確で詳細な回答を生成することを可能にします。具体的には、ユーザーからのクエリに基づいて関連する情報を検索し、その情報を基に回答を生成します。これにより、LLMだけに頼る場合に比べて、より実世界的で最新の情報に基づいた回答を提供できるようになります。

• メリット:
  • 最新かつ実世界の情報に基づいた回答が可能になり、回答の正確性と関連性が向上します。
  • 様々なドメインやタスクに柔軟に対応できるようになります。
• デメリット:
  • 適切な情報を検索するためには、高品質な検索データベースが必要です。
  • 検索結果の品質が回答の品質に直接影響するため、不正確な情報が回答に反映されるリスクがあります。

ファインチューニング（Fine-tuning）

ファインチューニングは、特定のタスクに合わせて事前訓練されたモデルのパラメータを微調整するプロセスです。これにより、モデルが特定のドメインやタスクに関連する言語パターンや情報により敏感になるように調整され、回答の質が向上します。

• メリット:
  • 特定のタスクやドメインに合わせてモデルの性能を最適化できます。
  • 事前訓練されたモデルの知識を活用しつつ、タスク固有のニーズに応えることができます。
• デメリット:
  • タスク固有の訓練データが必要であり、データの収集と前処理にコストがかかります。
  • ファインチューニングのプロセスは計算資源を多く消費する可能性があります。

知っておきたいプロンプトエンジニアリング文脈内学習（In-Context Learning; ICL）

文脈内学習（In-Context Learning; ICL）は、特定のタスクのデモンストレーションをプロンプト（自然言語で）の一部としてモデルに提供する、プロンプトエンジニアリングの特定の方法です。ICLを使用することで、ファインチューニングの必要なしに、既製の大規模言語モデル（LLM）を使って新しいタスクを解決できます。ICLは、より強力なLLMを目指してファインチューニングと組み合わせることもできます。

教師あり学習（supervised ML）、教師なし学習（unsupervised ML）、半教師あり学習（semi-supervised ML）、強化学習（reinforcement learning）といった主要な機械学習のタイプは、訓練されたデータでのみ学習できます。つまり、訓練されたタスクのみを解決できます。十分に大きなLLMは、新しいタイプの機械学習、つまり文脈内学習を示しています。これは、プロンプト内に「訓練」例を提供することで新しいタスクを解決する方法を学ぶ能力です。前述のMLのタイプとは対照的に、新しく学習したスキルはLLMが応答を送信した直後に忘れられます – モデルの重みは更新されません。

文脈内学習（ICL）は、推論時にコンテキスト（プロンプト）内で提示される少数の例から新しいタスクを学習します。十分なデータで訓練されたLLMは、次のトークンの予測のみを目的として訓練されているにもかかわらず、ICLを示します。

LLMに対する関心の多くは、例を提示して新しいタスクに対するアプリケーションを可能にすることにあります。これにより、LLMをファインチューニングする必要なしに、新しいタスクに取り組むことができます。

文脈内学習のためのプロンプトエンジニアリングの方法を考えてみましょう。例として、利用可能な食材を入力して、そのサービスにレシピを生成してもらうレシピ生成サービスを想像してください。このサービスを実装する方法の一つは、利用可能な食材をテキストとして追加する前に、例となるレシピをプロンプトの先頭に置くことです。これには、VectorDBに何千ものレシピがインデックスされている可能性があります。クエリが到着したら、VectorDB内で最も関連性の高いレシピを食材を使って検索し、それらをプロンプトの最初に貼り付け、次に利用可能な食材のリストを書き、最後にLLMにプロンプトを生成させます。これは、LLM向けの検索拡張生成（Retrieval-Augmented Generation; RAG）の例です。

このアプローチにおけるプロンプトエンジニアリングの鍵は、LLMが新しいレシピを生成する際に参考となる具体的なコンテキストと例を提供することです。VectorDBから抽出した関連レシピは、LLMがタスクの文脈を理解し、利用可能な食材を使った新しいレシピを生成するための基盤となります。プロンプトにレシピの例を含めることで、LLMは既存のレシピの形式や構造を模倣し、より実用的で革新的なレシピを提案することが可能になります。

この方法は、LLMが事前に学習した知識と、特定の問題解決のためにリアルタイムで提供される具体的なデータの両方を活用することを可能にします。文脈内学習と検索拡張生成を組み合わせることで、LLMは新しいタスクに対して柔軟かつ効果的に対応できるようになります。

GFLOPS -AskDona