espnet/yodas2
Updated • 193k • 68
相手が話し終わったかを、聞きながら判断する、とても小さなモデルです。
音声そのものではなく、ひらがな音声認識モデル kikimimi-hiragana-9m の出力(40ms ごとに出た文字)と、音の大きさだけを見て判断します。 全二重(duplex)の会話システムで「いつ返事を始めるか」を決める部分として使うことを考えて作りました。
A tiny (0.46M params) streaming end-of-turn detector for Japanese. It reads the per-frame output of the kikimimi hiragana ASR (not raw audio) plus frame energy, and outputs the probability that the speaker has finished their turn, every 40 ms.
kikimimi のファイル一式を別のフォルダに置いて、そこを --kikimimi で指定します。
pip install -r requirements.txt
python run_with_kikimimi.py --kikimimi ../kikimimi-hiragana-9m audio.wav
python run_with_kikimimi.py --kikimimi ../kikimimi-hiragana-9m --mic
python run_with_kikimimi.py --kikimimi ../kikimimi-hiragana-9m --threshold 0.7 audio.wav
出力の例:
【話し終わり】 おはおーございます (確率 0.61)
【話し終わり】 きょーわいいてんきですね (確率 0.63)
【話し終わり】 きのーのよるごはんわかれーおたべました (確率 0.62)
自分のプログラムに組み込むとき:
from kirime import KirimeStream, load
k = KirimeStream(load("model.safetensors"))
# 40ms ごとに: tok = kikimimi が新しく出した文字の番号(なければ 0)、rms = その 40ms の音の大きさ
p = k.step(tok, rms) # 相手が話し終わった確率
学習に使っていない動画(約 30 時間、話の間 約 32 万個、そのうち話し終わり 約 1.5 万個)で、「無音が一定時間続いたら返事」という単純な決まりと比べました。
| やり方 | 早まった割合(話の途中なのに「終わった」と判断) | 話し終わってから判断するまで(中央値) |
|---|---|---|
| 無音 0.52 秒で返事 | 4.1% | 0.52 秒 |
| 無音 0.80 秒で返事 | 1.2% | 0.80 秒 |
| kirime(確率 0.6 以上) | 2.9% | 0.28 秒 |
| kirime(確率 0.7 以上) | 1.5% | 0.72 秒 |
確率のしきい値で、「返事の早さ」と「早まりにくさ」の釣り合いを選べます。
run_with_kikimimi.py では、話し終わりと判断した直後(約 0.5 秒以内)に出た文字は、同じ発話の続きとしてまとめています。