指示による書式調整や固有名詞の補助情報に対応します。Apache 2.0で公開し、複数の音声認識評価における結果を報告しました。 メールや番号の取り違えは後続処理へ影響します。総パラメータ数と稼働数、言語別の品質、リアルタイム処理との違いを確認します。 音声の聞き取りと書式の指定を組み合わせる Salesforceは11月12日、SOV-Transcribe-1の重みをHugging Faceで公開しました。音声を取り込む言語モデルで、非ストリーミングの自動音声認識を対象とします。稼働するパラメータは40億、総数は260億と発表しています。重みのライセンスはApache 2.0です。英語の書き起こしに加え、複数言語への対応を説明しました。自然言語の指示で数字の書き方などを調整し、専門用語や名前の手掛かりを渡すこともできます。自ら管理する基盤で音声機能を構築するための部品として位置付けています。逐次的な音声入力をそのままリアルタイムで処理する製品の発表ではありません。 全体の誤り率と重要な文字列の正確さを分ける 原文は、文としてほぼ正しくてもメールアドレスの記号や電話番号の一桁が違うと、後続の処理が失敗する問題を挙げています。重要な語や番号をすべて正しく回収できるかを測る評価や、英語の異なるアクセント、雑音を含む音声などの結果を紹介しました。これらの順位は11月12日時点の比較対象と評価条件によるものです。発表元の報告を、あらゆる音声での優位性として扱うことはできません。対象となるのは、通話の書き起こし、音声による入力、Agentへ渡す情報の抽出を作る開発者です。書式を指定できれば、読みやすい文章と逐語的な記録を用途で分ける可能性があります。一方、言いよどみを消した結果と元の発話が同じ情報を保つかは確認事項です。日本語を含む各言語の実際の品質は、利用する音声で別に測る必要があります。 総モデル規模と確認の工程まで見積もる 採用時には、稼働パラメータ数だけで必要なメモリーや実行費用を判断しないことが論点です。モデル全体と音声の長さ、同時実行数に合わせた測定が必要と見られます。誤認識した番号をそのまま外部の操作へ渡さず、重要な項目を確認する手順も残します。用語の一覧を与える場合、関係のない候補が増えても正しく働くかを評価します。通話には個人情報が含まれるため、保存する原音と書き起こしへのアクセス範囲も整えます。重みが公開されていることと、音声データの扱いが自動的に安全になることは別です。技術報告書は今後の公開とされました。実環境の評価と公開資料の追加を確認し、精度、処理時間、運用費用を同じ条件で比較する段階です。非ストリーミングの入力を待つ時間と生成の時間を合わせて測ります。対話へ接続する場合も、応答の往復全体が用途に合うかを確かめる必要があります。