Microsoftのページで
Unityの音声認識を取り扱ってるページを発見したので試してみる
https://docs.microsoft.com/ja-jp/windows/mixed-reality/voice-input-in-unity
【事前準備】
windows の設定>プライバシー>マイク
アプリがマイクにアクセスできるようにする:オン
デスクトップアプリがマイクにアクセスできるようにする:オン
【フレーズ認識】
指定したキーワードがあった場合にアクションを行う。
●音声認識を有効にする
Edit > Project Settings > Player
Windows Storeタブ
Publishing Settings > Capabilities
「Microphone」にチェックをつける
※反応しない場合は
windows 設定>音声認識、手書き~>音声認識サービスと入力候補を
オン
にします のボタンを押してみる
KeywordRecognizerについてはここを参照
https://docs.unity3d.com/ja/current/ScriptReference/Windows.Speech.KeywordRecognizer.html
ソースは紹介されているものをログに出力するように加工
とりあえず自分なりのコメントで分かったつもりになってみる。
using System.Collections;
using System.Collections.Generic; //Windowsの音声認識で使用(最初から指定されてる)
using UnityEngine;
using UnityEngine.Windows.Speech; //Windowsの音声認識で使用
using System.Linq; //Windowsの音声認識で使用
public class Script_VoiceInput : MonoBehaviour {
KeywordRecognizer keywordRecognizer;
Dictionary<string, System.Action> keywords = new Dictionary<string, System.Action>();
void Start () {
//反応するキーワードを辞書に登録
keywords.Add("こんにちは", () =>{
Debug.Log("「こんにちは」をキーワードに指定");
keywords.Add("おはよう", () =>{
Debug.Log("「おはよう」をキーワードに指定");
//キーワードを渡す
keywordRecognizer = new KeywordRecognizer(keywords.Keys.ToArray());
//キーワードを認識したら反応するOnPhraseRecognizedに「KeywordRecognizer_OnPhraseRecognized」処理を渡す
keywordRecognizer.OnPhraseRecognized += KeywordRecognizer_OnPhraseRecognized;
//音声認識開始
keywordRecognizer.Start();
Debug.Log("音声認識開始");
//キーワードを認識したときに反応する処理
private void KeywordRecognizer_OnPhraseRecognized(PhraseRecognizedEventArgs args){
//デリゲート
//イベントやコールバック処理の記述をシンプルにしてくれる。クラス・ライブラリを活用するには必須らしい
System.Action keywordAction;// keywordActionという処理を行う
//認識されたキーワードが辞書に含まれている場合に、アクションを呼び出す。
if (keywords.TryGetValue(args.text, out keywordAction)){
// keywordAction.Invoke();
Debug.Log("認識した");
このスクリプトを空のGameObjectに張り付けて実行
ボイスロイド:東北きりたんにしゃべってもらった
うまく動いてくれた。
キーワードとして指定した「おはよう」、「こんにちは」は反応して
登録してない単語「こんばんは」には反応しない。
以下のエラーが出て反応しない人はこちらを確認してみてください。
UnityException: Speech recognition is not supported on this machine.
Unity音声認識のエラーが倒せない
【ディクテーション】
音声をテキストに変換する。
●ディクテーション機能を有効にする
Edit > Project Settings > Player
Windows Storeタブ
Publishing Settings > Capabilities
「InternetClient」にチェックをつける
※もしかしたらコルタナさんで音声認識を許可しておかないといけないかも?
DictationRecognizerについてはここを参照
https://docs.unity3d.com/ja/current/ScriptReference/Windows.Speech.DictationRecognizer.html
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.Windows.Speech; //Windowsの音声認識で使用
public class Script_VoiceText : MonoBehaviour {
DictationRecognizer dictationRecognizer;
void Start () {
dictationRecognizer = new DictationRecognizer();
//ディクテーションを開始
dictationRecognizer.Start();
Debug.Log("音声認識開始");
void Update () {
dictationRecognizer.DictationResult += DictationRecognizer_DictationResult;//DictationRecognizer_DictationResult処理を行う
dictationRecognizer.DictationHypothesis += DictationRecognizer_DictationHypothesis;//DictationRecognizer_DictationHypothesis処理を行う
dictationRecognizer.DictationComplete += DictationRecognizer_DictationComplete;//DictationRecognizer_DictationComplete処理を行う
dictationRecognizer.DictationError += DictationRecognizer_DictationError;//DictationRecognizer_DictationError処理を行う
//DictationResult:音声が特定の認識精度で認識されたときに発生するイベント
private void DictationRecognizer_DictationResult(string text, ConfidenceLevel confidence){
Debug.Log("認識した音声:" + text);
//DictationHypothesis:音声入力中に発生するイベント
private void DictationRecognizer_DictationHypothesis(string text){
Debug.Log("音声認識中:"+ text);
//DictationComplete:音声認識セッションを終了したときにトリガされるイベント
private void DictationRecognizer_DictationComplete(DictationCompletionCause cause){
Debug.Log("音声認識完了");
//DictationError:音声認識セッションにエラーが発生したときにトリガされるイベント
private void DictationRecognizer_DictationError(string error, int hresult){
Debug.Log("音声認識エラー");
空のGameObjectに貼り付けて実行
正 解「Unityで音声認識」
認識後「Unityって音声認識」
ちょっと間違ってるけど、いい感じで認識してくれた。
認識装置が起動し、最初の5秒間音声が聞こえない場合は、タイムアウトになる。
認識装置が結果を与えたが20秒間無音を聞くと、認識装置はタイムアウトする。
※フレーズ認識とディクテーションの両方を使用する場合
アプリケーションでフレーズ認識とディクテーションの両方を使用する場合は、
もう一方を開始する前に完全にシャットダウンする必要があるとのこと。
とりあえずPC側での音声認識はOK
ミクさんに踊ってもらう
2019.6追記
https://docs.microsoft.com/ja-jp/azure/cognitive-services/speech-service/quickstart-csharp-unity
Unity 用 Speech SDK は、現在ベータ版です。 Windows デスクトップ (x86 および x64) またはユニバーサル Windows プラットフォーム (x86、x64、ARM/ARM64)、および Android (x86、ARM32/64) がサポートされています。
こんなの出てた。今度試してみる。