kirime(切り目)

相手が話し終わったかを、聞きながら判断する、とても小さなモデルです。

音声そのものではなく、ひらがな音声認識モデル kikimimi-hiragana-9m の出力(40ms ごとに出た文字)と、音の大きさだけを見て判断します。 全二重(duplex)の会話システムで「いつ返事を始めるか」を決める部分として使うことを考えて作りました。

  • 重みの数: 約 46 万(ファイル約 1.8MB)
  • 先を見ない作りです。40ms ごとに、前の計算を持ち越して 1 コマずつ判断します。
  • 出力: 40ms ごとに「相手が話し終わった」確率(0〜1)

A tiny (0.46M params) streaming end-of-turn detector for Japanese. It reads the per-frame output of the kikimimi hiragana ASR (not raw audio) plus frame energy, and outputs the probability that the speaker has finished their turn, every 40 ms.

使い方 / Usage

kikimimi のファイル一式を別のフォルダに置いて、そこを --kikimimi で指定します。

pip install -r requirements.txt
python run_with_kikimimi.py --kikimimi ../kikimimi-hiragana-9m audio.wav
python run_with_kikimimi.py --kikimimi ../kikimimi-hiragana-9m --mic
python run_with_kikimimi.py --kikimimi ../kikimimi-hiragana-9m --threshold 0.7 audio.wav

出力の例:

【話し終わり】 おはおーございます  (確率 0.61)
【話し終わり】 きょーわいいてんきですね  (確率 0.63)
【話し終わり】 きのーのよるごはんわかれーおたべました  (確率 0.62)

自分のプログラムに組み込むとき:

from kirime import KirimeStream, load
k = KirimeStream(load("model.safetensors"))
# 40ms ごとに: tok = kikimimi が新しく出した文字の番号(なければ 0)、rms = その 40ms の音の大きさ
p = k.step(tok, rms)      # 相手が話し終わった確率

結果 / Results

学習に使っていない動画(約 30 時間、話の間 約 32 万個、そのうち話し終わり 約 1.5 万個)で、「無音が一定時間続いたら返事」という単純な決まりと比べました。

やり方 早まった割合(話の途中なのに「終わった」と判断) 話し終わってから判断するまで(中央値)
無音 0.52 秒で返事 4.1% 0.52 秒
無音 0.80 秒で返事 1.2% 0.80 秒
kirime(確率 0.6 以上) 2.9% 0.28 秒
kirime(確率 0.7 以上) 1.5% 0.72 秒

確率のしきい値で、「返事の早さ」と「早まりにくさ」の釣り合いを選べます。

学習 / Training

  • データ: YODAS2 の日本語(ja100)約 308 時間(動画 1,940 本)を kikimimi に通した出力。学習 約 279 時間 / 検証 約 30 時間(動画単位で分けた)
  • 人手の正解付けや話者の区別は使っていません。kikimimi の出力から自動で学習データを作りました。
  • 検証の成績が 10 回続けて良くならないところで止め、良かった 5 つの重みを平均しました。

苦手なこと / Limitations

  • 話者を区別せずに学習しています。 そのため「同じ人が少し長めに間を置いた」のと「相手に順番が回った」のを見分けません。
  • kikimimi の聞き間違いや、kikimimi が苦手な音(雑音・音楽など)の影響を受けます。
  • kikimimi は区切りの最後の 1 文字を少し遅れて出すことがあります。run_with_kikimimi.py では、話し終わりと判断した直後(約 0.5 秒以内)に出た文字は、同じ発話の続きとしてまとめています。
  • YouTube の動画(1 人で話すものが多い)で学習したので、2 人の会話そのもので学習したわけではありません。

出典・ライセンス / Attribution & License

  • 学習データ: YODAS2 (espnet/yodas2), Li et al., YODAS: Youtube-Oriented Dataset for Audio and Speech, ASRU 2023 — CC BY 3.0
  • 入力を作る音声認識: kikimimi-hiragana-9m(CC BY 4.0)
  • このモデルの重みとコード: CC BY 4.0
Downloads last month
27
Safetensors
Model size
463k params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Dataset used to train Yakimask/kirime