AWS、Bedrock prompt cachingのcost・latency最適化を解説

AWSはAmazon Bedrock prompt cachingの実装例を公開しました。Converse APIのcachePointでmessage content、system prompt、tool definitionなどをcacheし、cached input token costを最大90%下げられると説明しています。