推論とは、トレーニング済み ML モデルの出力です。このページでは、Gemini Enterprise Agent Platform のモデルから推論を取得するワークフローの概要について説明します。
Agent Platform では、次の 2 つの方法で推論を取得できます。-
オンライン推論は、
Endpointにデプロイされたモデルに対して行われる同期リクエストです。 したがって、リクエストを送信する前に、まずModelリソースをエンドポイントにデプロイする必要があります。これにより、コンピューティング リソースがモデルに関連付けられ、モデルが低レイテンシでオンライン推論を行えるようになります。アプリケーションの入力に応じてリクエストを行う場合や、タイムリーな推論が必要な場合は、オンライン推論を使用します。 -
バッチ推論は、エンドポイントにデプロイされていないモデルに対して行われる非同期リクエストです。リクエストを（
BatchPredictionJobリソースとして）Modelリソースに直接送信します。即時のレスポンスが必要なく、累積されたデータを 1 回のリクエストで処理する場合は、 バッチ推論を使用します。
ローカルでモデルをテストする
推論を取得する前に、開発およびテストフェーズ中にモデルをローカル エンドポイントにデプロイすると便利です。これにより、オンライン エンドポイントにデプロイすることや推論費用を発生させることなく、イテレーションを迅速に行い、モデルをテストできます。ローカルへのデプロイは、ローカルでの開発とテストを目的としており、本番環境へのデプロイを目的とするものではありません。
モデルをローカルにデプロイするには、Agent Platform SDK for Python を使用して、
LocalModel
を
LocalEndpointにデプロイします。
デモについては、こちらの
ノートブックをご覧ください。
クライアントが Python で作成されていない場合でも、Agent Platform SDK for Python を使用してコンテナとサーバーを起動し、クライアントからのリクエストをテストできます。
カスタム トレーニング済みモデルから推論を取得する
推論を取得するには、まずモデルをインポートする
必要があります。
インポートしたモデルは
Model リソース
となり、
Model Registry に表示されます。
その後、推論を取得する方法について、次のドキュメントをご覧ください。
* バッチ推論を取得するOr
- モデルを
エンドポイントにデプロイし、
オンライン
推論を取得する。
AutoML モデルから推論を取得する
カスタム トレーニング モデルとは異なり、AutoML モデルはトレーニング後に Model Registry に自動的にインポートされます。
それ以外は AutoML モデルのワークフローも似ていますが、データ型とモデルの目標によって若干異なります。AutoML 推論の取得に関するドキュメントは、その他の AutoML のドキュメントとともに用意されています。以降のセクション���は、ドキュメントへのリンクを示します。
画像
次のタイプの画像 AutoML モデルから推論を取得する方法を確認します。
表形式
次のタイプの表形式 AutoML モデルから推論を取得する方法を確認します。
BigQuery ML モデルから推論を取得する
BigQuery ML モデルから推論を取得する方法は 2 つあります。
- BigQuery ML のモデルから直接バッチ推論をリクエストする。
- モデルを BigQuery ML からエクスポート、あるいは Model Registry にインポートせず、Model Registry に直接登録する。
次のステップ