長時間のAgent作業を想定したモデルを、既存のBedrock APIから利用できます。Flex料金や明示的なプロンプトキャッシュも紹介しました。 モデルの性能と提供基盤の条件を分けて確認します。処理地域、推論量、キャッシュの料金を含めた比較が焦点になります。 長い作業を担うモデルを既存APIへ AWSは11月10日付の記事で、Moonshot AIのKimi K3.1 Pro Highspeedを紹介しました。Amazon Bedrockで利用できるKimi K3の後学習版です。3兆パラメーター級の構成と100万トークンの文脈長を引き継ぎます。追加の後学習は長時間のAgent作業や事実誤りの削減を目指すとしています。Highspeedは通常のProより出力が速く、Moonshot AIの報告では2〜3倍と説明しています。これは提供元が示す比較で、すべての仕事の完了が同じ倍率で速くなるという意味ではありません。Bedrockでは既存のエンドポイントやAPIを使い、モデルIDを変えて試せると案内しています。 地域の選択と推論の量を設定する 対応する機能にはツール呼び出し、構造化出力、画像入力、ストリーミングがあります。OpenAI互換のChat CompletionsとResponsesに加え、Converseなども利用できます。推論量はlow、high、maxから指定し、未指定ではmaxになります。簡単な処理では設定が応答時間と出力量に影響します。地域間の推論プロファイルには、世界の対応地域へ送る経路と、米国またはインド内に処理を保つ経路があります。AWSは入力が自社のデータ境界内で処理され、Moonshot AIへ共有せず、モデルの学習にも使わないと説明しています。運用者が推論中の入力と出力を見られない条件も示しています。利用者には、モデル名だけでなく、実際に選んだ経路とデータの取り扱いを対応させることが重要になると見られます。 Flexとキャッシュは総費用で比較 FlexはStandardの半額とする一方、応答が長くなる可能性があります。背景処理と即時応答で使い分ける場合も、実際の待ち時間を測ることが判断材料です。明示的なキャッシュは繰り返す文脈の境界を指定できますが、Converseでは対応しません。安定した内容が最低256トークン必要で、保存は少なくとも30分と説明しています。書き込みは通常の入力より高く、読み込みは割引になるため、再利用の回数が費用へ影響します。ゼロ保持の説明とキャッシュの設定を別々の表現で案内している点も、用途に応じた条件確認が必要です。実務では同じ入力と道具を使い、推論量、料金階層、地域の条件をそろえて比較します。出力速度だけでなく、修正の回数と処理全体の費用を見ることで、既存モデルからの移行を判断しやすくなる可能性があります。