スキルのテストって難しい

10. 緊急連絡スキルをテストする

　「ウチの緊急連絡」スキルとLambda（MyEmergency関数）の紐付けができたら、次はテストフェーズです。ここで、このスキルでは重大な設計ミスを犯していたということが判明しました。それは、インテントを呼び出す発話と、スロットに入る語彙に同じ言葉が使われるという事です。具体的には「メール」と「電話」です。
　例えば、以下のような呼び出し方があると言うことです

1. ウチの緊急連絡で、メールしてとメール
2. ウチの緊急連絡で、メールしてと電話
3. ウチの緊急連絡で、電話してとメール
4. ウチの緊急連絡で、電話してと電話

　人間であれば容易に意味を理解できるのですが、Alexaの人工知能はまだそのレベルに達してなく、どれをスロット{Message}に入れ、どれをインテントを呼び出す発話と解釈すれば良いのか混乱するようです。その結果、

• 「すみません、私には分かりません」という返事をする
• 全く無応答になる
• インテントの呼び出し発話を優先するような動作をする
  例えば、「メール」、「電話」が出現すると本来はそれをスロット{Message}に入れるべきところを、スロット{Message}を問い合わせるダイアログモデルになる。具体的には、上記のケース2.では「メールを送る」インテントの呼び出しと、ケース3.では「電話をかける」インテントの呼び出しと解釈される。
• 稀に想定どおりの動作をする

と言った不安定な応答をするようになります。これは対話モデルがうまく出来ていないという事なのだと思うのですが、対話モデルをデバッグする方法など全然分かりません。Lambdaのデバッグならば、ログを仕込んで動作を追いかけるといった方法がありますが、無応答や「すみません、私には分かりません」という返事の場合、Lambdaまで来ていないのですから手も足も出ません。結局のところ対話モデルについては試行錯誤して妥協点を探ることになります。
　実は、この辺りはまだ試行錯誤中でして、今は上記のような呼び出し方はせず、先ず「ウチの緊急連絡でメールして」、「ウチの緊急連絡で電話して」と言ってから、ダイアログモデルで送りたいメッセージを指示するという呼び出し方にしています。

　とにかくスキルのテストは難しいですね。設計した対話モデルに従って実際に一つ一つ話しかけて想定した動作をしてくれるか確認しなければならないので、時間も手間もかかります。

11. 公開情報を入力する

　個人で使うだけのスキルなので公開情報は必須ではないのですが、アイコンが無いのも寂しいので以下のように公開情報を入力しました。

　以上で、取り合えず「ウチの緊急連絡」スキルは何とか使えるかな？というレベルになってます。あとは対話モデルを試行錯誤で追い込んで行けば良いのですが、遅々として進まずです。

12. 「ウチの緊急連絡」スキルの使い方

　使用方法は、対話モデルやMyEmergency関数を見ていただければ大体のところは分かると思いますが、ざっと以下のような流れになります。

1. Alexaアプリで緊急連絡スキルを有効化する
2. Amazonのアカウントでサインインしてアカウントのリンクをする
3. テストメール、テスト電話をかけてみて、携帯にメールが届くか、電話がかかってくるか試す
   テストメールを送信する場合：「アレクサ、ウチの緊急連絡でテストメールを送信」
   テスト電話をかける場合：「アレクサ、ウチの緊急連絡でテスト電話をかけて」
4. ウチの緊急連絡の連絡先を確認する
   「アレクサ、ウチの緊急連絡で、連絡先を教えて」→アレクサアプリのカードに連絡先が表示されます
5. 実際に緊急連絡を送る
   【メールの場合】
   • 「アレクサ、ウチの緊急連絡で連絡してとメール」
   • 「アレクサ、ウチの緊急連絡で帰宅してとメール」
   • 「アレクサ、ウチの緊急連絡で助けてとメール」
   • 「アレクサ、ウチの緊急連絡でメールして」→「メールする緊急メッセージを指示してください」→「電話して」
   • 「アレクサ、ウチの緊急連絡でメールして」→「メールする緊急メッセージを指示してください」→「メールして」
   【電話の場合】
   • 「アレクサ、ウチの緊急連絡で連絡してと電話」
   • 「アレクサ、ウチの緊急連絡で帰宅してと電話」
   • 「アレクサ、ウチの緊急連絡で助けてと電話」
   • 「アレクサ、ウチの緊急連絡で電話して」→「電話する緊急メッセージを指示してください」→「電話して」
   • 「アレクサ、ウチの緊急連絡で電話して」→「電話する緊急メッセージを指示してください」→「メールして」

内ト / Feb 24th, 2018 10:01 / [ 編集 ] [ コメントする ] [ TrackBack(0) ]