2018年1月4日木曜日

品質評価ガイドライン(音声検索版)

品質評価ガイドライン(音声検索版)が出たので、内容の整理と考察など。
全7ページ、かつ大半が評価例なので、英語が苦手でなければ原文見たほうがいいかも。

ここで言う音声検索(search speech)は、Google Assistantの音声回答のことを指す点に注意。Google Homeとかスマホのこういうやつ

評価は大きく分けて、クエリとの関連性を評価する「Needs Met評価」と、長さ・文章構成・発音などの発話品質を評価する「Speech Quality評価」の二軸。
「クエリとの関連性が高く」「適切な長さで」「自然な文章で」「聞きやすい発音・速度」の回答が高く評価されます。

両者の関係は明示されてません。
関連性のNeeds Metが主で、品質のSpeech Qualityが従、といった感じではないかと推察。本家品質評価ガイドラインがそうだし。
関連性と品質の関係については、本家の15.0「The  Relationship  between  E­A­T  and  Needs  Met」に詳しい解説があります。

ウェブサイト管理者側で対処するべきこととしては「コンテンツの質を高めること」、「構造化データ・HTMLでのマークアップを正確にすること」そして「文法に気を遣うこと」ではないかと思います。
1つ目は「関連性」を高めるために。
2つ目はGoogleが「適切な長さ」かつ「関連性のある」回答を抽出しやすくするために。
そして3つ目はGoogleが「自然な文章」の回答を作りやすくするために。

以上で概要の解説と考察は終わりです。
以下は各評価の詳細なので、気になる人だけ読むといいでしょう。

■Needs Met評価
詳しくは品質評価ガイドラインを参照。
…手抜きじゃないんです。Googleさんがそう言ってるのだからしょうがないんです。

大体こんな感じの5段階評価。
例はガイドライン内のものを、適宜日本風に。
==========================
① Fully Meets…
ほぼ完璧。
大半のユーザーがこの結果だけで満足。追加情報とかいらない。

例:
クエリ:「ダーウィンの身長は?」
回答 :「180㎝です!」

② Highly Meets…
上出来。
大半のユーザーにとって、とても役に立つ。追加情報が必要なユーザーもいるかも。

例:
クエリ:「平清盛」
回答 :「Wikipediaによると、平清盛は平安時代の武士、政治家。」

一見物足りないような気がするが、「Wikipediaによると」と出典を明示しているのがミソ。
この回答からは出典のWikipedia記事に移動できるので、ユーザーの需要を十分に満たしている、という考え方。

③ Moderately Meets…
まあまあ。
人によっては満足するし、ちょっと足りないと思う人もいるかも。

例:
クエリ:「東京の週末の天気」
回答 :「15℃、晴れです」

間違いじゃないけど、週末という長い期間の天気の解説としては不十分。


④ Slightly Meets…
かなりダメ。
ほんの一部の人にしか役立たない。

例:
クエリ:「今のアメリカ大統領は?」
回答 :「アメリカの大統領は、選挙で選出されたアメリカ合衆国の長です。」

完全に違う、というわけではないけどずれてる。

⑤ Fails to Meet
ダメ。役に立たない。

例:
クエリ:「今日は雨?」
回答 :「すみません、その件についてはお役に立てません。」
==========================

■Speech Quality評価
以下の3軸で評価。

① 長さ(Length)
 適切な長さであること。
 冗長でもいけないし、簡潔すぎて内容不足になってもいけない。

例:
クエリ:「BMIの意味は?」
回答 :「Body Mass Indexの略で、肥満度を測る基準です。ノギスを使った測定や水中での体重測定などのように、実際の脂肪量を計測するわけではありません。」
うん、くどい。後半いらない。

② 構成(Formulation)
 文法が正しい、自然な文章であること。
 ウェブサイトの内容を利用している場合、「~によると」といった具合に出典サイトを明言すること。

例:
クエリ:「皮膚の一番表の部分の名前は?」
回答 :「表 表皮 中央 真皮 内部 皮下組織」
文章としては意味が取れない。

③ 発音(Elocution)
 発音・イントネーション・読み上げ速度が適切であること。

例:
クエリ:「世界の人口は?」
回答 :「69億9999万9989人です」
Formulationと合わせて課題がある例。
文字としてみると概要がつかめるが、読み上げられると理解しにくい。
「約70億人です」と丸めてあげるのが正解。