CohereはProとFastの2種類のRerank 5を一般提供しました。Context Focusで文書内の関連箇所を返し、LLMへ渡す情報量を調整できます。 検索の順位だけでなく、生成へ渡す根拠の量を設計できます。削減するトークン数と、必要な証拠の欠落を一緒に評価することが重要です。 文書単位の順位から関連する箇所へ進む Cohereは10月21日、検索結果を並べ替えるRerank 5を公開しました。品質を重視するProと、速度や費用を重視するFastを用意しています。新機能のContext Focusは、文書全体の関連度に加え、その中で質問に関係する文章の範囲を返します。長い文書を丸ごと生成モデルへ渡す構成では、不要な情報も処理費用や待ち時間につながります。必要な根拠を選ぶ処理を検索の中に組み込むことで、情報の量と回答品質の関係を調整する狙いです。Cohere APIやModel Vault、Microsoft Foundry、Amazon SageMakerなどで一般提供され、独自環境への展開も案内されています。 社内検索と調査エージェントの入力を調整 対象は、文書を参照して回答する業務システムや、何度も検索するエージェントです。Context Focusでは、閾値によって文章の残し方を変えられます。Cohereは複数の評価で、渡す文章を減らしながら品質を保つ結果を報告していますが、データや評価用モデルに依存する測定です。自社文書でも同じ削減率になるとは限りません。特に例外条件や否定表現が周囲の文章にある場合、短くした根拠だけでは意味を取り違える可能性があります。また、関連度の値を有用性の確率に近づけたと説明しています。検索結果が十分かを判断する材料になりますが、高い関連度は文書の内容自体が正しいことを保証しません。原文の信頼性と検索の適合性を分ける運用が論点になります。短い根拠を返す構成では、元文書へ戻れる参照も重要です。利用者が周辺の条件を確認できるかどうかが、回答の点検に使う時間を左右する可能性があります。 再順位付けの費用と生成費用をまとめて測る APIの公表価格は100万トークン当たりProが0.05ドル、Fastが0.02ドルです。実務では、この処理費用と生成モデルへ送る量の変化を合わせて測ることになります。文書の分割方法や候補数によって、費用と遅延のバランスも変わると見られます。導入前後で同じ質問と根拠を用意し、回答の正確さ、参照箇所、回答を見送る条件を比較することが判断材料です。機密文書を扱う場合は、検索段階でも利用者の閲覧権限が保たれるかが重要です。再順位付けは、権限管理の代替にはなりません。ProとFastの選択も単価だけで決めず、許容する待ち時間や文書の難しさに照らして検討する必要があります。次の焦点は、文脈を減らしても業務に必要な例外や条件が残る範囲です。検索失敗の事例を保管しておけば、閾値を変えた時の改善と悪化を比較しやすくなります。