関連スライド
各ページのテキスト
レビューを用いた大学生協アプリ(公式)の問題点の分析 システム工学部 60266047 大倉 千波 概要：大学生協では組合員証の IC カード廃止とアプリ導入を進めている。それにより導入さ れた大学生協アプリ(公式)に対しては学生からの不満が噴出し、レビュー欄ではアプリに対す る不満や皮肉が多く投稿されている。このことから Google Play に投稿された大学生協アプ リ(公式)に対するレビューのネガポジは安定によるレビューの妥当性評価と形態素解析、共起 ネットワーク図の作成によるアプリの問題点の分析を行った。その結果、大学生協アプリ(公 式)のレビューについてはネガポジ判定により POSITIVE と判定されたものに比べて NEGAT IVE または NEUTRAL と判定されたものの方が、妥当性が高いことが分かった。また、アプ リの問題点としては、ログインが正しくできないこと、UI が使いづらいこと、決済で従来の IC カードよりも多くの時間がかかることが挙げられることが分かった。 キーワード：生協アプリ(公式), BERT, ネガポジ判定, 形態素解析, 共起ネットワーク 1. はじめに 現在、大学生協事業連合は組合員証について I C カードからアプリへの移行を進めており、既に 一部の大学では 2023 年 1 月以降 IC カード式の組 合員証は利用できなくなっている。その代わりと して新たに導入されたアプリが「大学生協アプリ (公式)[1]」であるが、このアプリの評価は Googl e Play[3]では 2023 年 2 月 3 日の時点で 5 段階中 1.3 であり、批判が相次いでいる。 アプリのレビューや評価はインストールを迷 っている者が判断材料にするうえで重要な要素 の一つであるが、ユーザーが任意に評価を決定す るためレビュー内容と評価が見合っていない場 合も多い。また、大学生協アプリ(公式)に対する レビューについては多くの無関係な内容のレビ ューも見られることから、適切なレビューがなさ れていない可能性があると考えられる。 このことから、今回のレポートでは大学生協ア プリ(公式)のレビューを形態素解析し、レビュー 内容、ユーザー評価、レビュー内容から導き出さ れた評価を比較してアプリに対するレビューの ネガポジ判定による分析を行うこととした。さら に、ネガポジ判定の結果を用いてさらに分析する ことで、アプリの問題点についても調べた。 2. 目的 今回の実験では、Google Play に投稿された大 学生協アプリ(公式)に対するレビューについて B ERT によるネガポジ判定を行い、レビューの妥当 性について調べる。さらに、ネガポジ判定の結果 から、POSITIVE と評価されたレビューと NEG ATIVE 及び NEUTRAL と判断されたレビューを 分け、アプリの問題点について探っていく。 3. 実験 この章では、実験方法及び使用したモデル、実 験の結果について述べる。 3.1 実験手順 今回の実験は以下の手順に従って行った。 ① 2023 年 2 月 3 日までに Google Play に投稿 された大学生協アプリ(公式)に対するレビュ ー349 個をスクレイピングにより収集した。 以下の図はユーザー評価ごとのレビュー数の 変化を表している[図 1]。 図 1 大学生協アプリ(公式)に対する 月別レビュー数の変化 ② 全てのレビューに対して neologdn を用いた テキスト整形と Unicode 正規化を施した。 ③ BERT を用いてレビュー内容に対するネガポ ジ判定を行い、レビュー内容、ユーザー評価、 ネガポジ判定結果からレビューの妥当性につ いて考察した。BERT を用いるにあたり、Hu gging Face の以下の学習済みモデルを使用 した。
1) cl-tohoku/bert-base-japanese-whole-wor d-masking 2) koheiduck/bert-japanese-finetuned-sent iment ④ レビューからアプリの問題点について探る ため、ネガポジ判定の結果からレビューを P OSITIVE のもの(40 個)と NEGATIVE または NEUTRAL のもの(309 個)の 2 つに分け、そ れぞれ Mecab による形態素解析を行った。そ の結果から名詞のみを抽出し、さらに ja_sto pword_remover ライブラリを用いてストッ プワードを除去した後、出現回数が上位 20 個 の単語を matplotlib により可視化し比較した。 ⑤ ④と同様の方法で文章ごとに形態素解析と名 詞抽出、ストップワード除去を行った後、ne tworkx を用いて共起ネットワーク図の作成 を行った。共起ネットワーク図の作成にあた り、エッジの重みには Jaccard 係数を利用し、 単語の出現回数と Jaccard 係数の下限値を設 けた。単語の出現回数は④におけるそれぞれ のグループの単語の出現回数の中央値、Jacc ard 係数は 0.025 を下限値とした。単語の出 現回数の中央値は POSITIVE のみのグルー プは 4 個、NEGATIVE・NEUTRAL のグル ープは 32 個であった。 3.2 結果１：レビューの妥当性の分析 まず、ネガポジ判定により POSITIVE と判定 されたレビューは合計で 40 個であり、その中に は以下のようなものが含まれていた(表 1)。 レビュー内容 ユーザー評価 判定結果 このアプリのおかげで食堂のレジの 方と接する時間が増えたので、マッ チングアプリのような使い方もでき る万能アプリです！ 1 POSITIVE (省略)ミールを使ってない人は、 ミールなのか生協マネーなのかの種 類が分かれてるかわからないし、レ ジ打ちの方も一々「ミールです か？」と聞くだけ時間の無駄なの で、バーコード表示画面の『生協電 子マネー』とか書いてるところの文 字を大きくして色分けしてほしい。 (省略) 3 このアプリが導入されてから食堂の 座席の混雑が解消されました!!! 5 めちゃくちゃに便利で普段使いさせ てもらってます、本当に最高のアプ リをありがとう お前ら100点だ、俺 が最高のアプリにしてやる 5 POSITIVE クリスマス限定ガチャ楽しみです！ 5 POSITIVE 表 1 POSITIVE 結果より、POSITIVE と判定されたレビューの 中には皮肉を含むもの、アプリに関係ない内容の もの、誤判定だと考えられるものが含まれている ことが分かった。 全く関係のない内容のレビューについては「最 終ステージまで行きました」「限定ガチャ楽しみ です」などといったものがあり、これらはアプリ に関係がないため明らかに不適切なレビューで ある。 「待ち時間が 3 倍になって最高だ」 「レジの 方と接する時間が増えマッチングアプリのよう な使い方が出来る」といったレビューは皮肉を込 めたものだと考えられるが、ユーザー評価はそれ ぞれ 5 と 1 というようにばらつきがあり、レビュ ー内容に沿った適切な評価がなされているかは 判別しづらい。 「文字を色分けしてほしい」 「カー ドのままでよかった」といったレビューも POSI TIVE と判定されたものの中に存在していたが、 ユーザー評価は 1 であり、レビュー内容と比較し ても適切なものだと考えられることから BERT の判定が適切でないと考えられる。 また、NEGATIVE または NEUTRAL と判定さ れたレビューは 309 個あり、以下のようなものが 含まれていた(表 2)。 レビュー内容 何のために作ったのかよく分か らないアプリ。不便なので、連 携させればあとは基本的には従 来通り学生証で支払う事を強く お奨めします。 ユーザー評価 判定結果 1 NEUTRAL 1 NEGATIVE 1 NEUTRAL UIはひどい。決済は時間かか る。なぜICカードというものが ありながら、下位互換みたいな 技術のQRコードに変えてしまっ たのか分からない。根本的に使 えないアプリなので大学生協は これを必須でないといけない状 態を改善するか、廃止してくだ さい。 1 NEGATIVE ログインができない、ゴミすぎ 1 NEGATIVE 裏譜面の発狂地帯が難しかった 1 NEGATIVE ログインできない。（多段階認 証しようとするとバグる） ３ヶ月経ちましたが未だ修正さ れず。 いい加減にしてほし い。 従来のカード制に戻して POSITIVE 表 2 POSITIVE と判定されたレビューの一部 NEGATIVE または NEUTRAL と判定さ れたレビューの一部 結果より、NEGATIVE または NEUTRAL と判 定されたレビューのうち、ユーザー評価が 1 のも のは 304 個、2 のものは 1 個、3 または 5 のもの が 2 個、4 のものは 0 個であった。また、NEGA TIVE と判定されたものは 234 個、NEUTRAL と
判定されたものは 75 個であった。 このレビューを具体的に見ていくと、「ログイ ンできない」 「UI がひどい」といったアプリの問 題点を述べたレビューが非常に多く、ユーザー評 価も 1 となっていた。また POSITIVE と同様の アプリに関係のないレビューは 4 つほど含まれて おり、これらは POSITIVE の場合と同様に明ら かに不適切なレビューだと考えられる。「ゴミ」 「ゴミアプリ」とだけ書かれているような中身の ないレビューについても複数見られたが、これら は BERT では NEUTRAL と判定されており、ア プリの問題点を調べる上では NEUTRAL まで含 めるべきであることが分かった。 3.2 結果２：アプリの問題点の分析 ネガポジ判定の結果を踏まえてアプリの問題 点を分析した結果について述べる。 まず、POSITIVE と判定されたレビューに対し 形態素解析を行い、出現回数が多い名詞のうち上 位 20 個をグラフにすると以下のようになった(図 2)。 図 2 POSITIVE と判定されたレビューに含ま れる名詞のうち出現回数上位 20 の単語 図より、POSITIVE と判定されたレビューに含 まれる名詞には、意味のない単語が多く含まれて おり、レビューとしての意味をあまりなしていな いことが分かった。 「画面」 「カード」 「ログイン」 といった単語が上位 20 個に含まれていることか ら、これらがユーザーから重視されている可能性 があると考えられる。 この出現回数のみではアプリの問題点が分か らないため、さらに共起ネットワーク図の作成を 行ったところ、以下のようになった(図 3)。 図 3 POSITIVE と判定されたレビューに含ま れる名詞の共起ネットワーク図 図より、やはり POSITIVE と判定されたレビ ューからではアプリの問題点を探るために有用 な情報はほとんど発見できなかった。 次に、NEGATIVE 及び NEUTRAL と判定され たレビューに対しても同様の処理を行ったとこ ろ、出現回数の多い上位 20 個の名詞は以下の図 のようになった(図 4)。 図 4 NEGATIVE または NEUTRAL と判定さ れたレビューに含まれる名詞のうち出現回数上 位 20 の単語 図より、POSITIVE の場合と比べて中身のある 単語が多く、比較的適切なレビューが多いと考え られることが分かった。内容としては「エラー」 「ログイン」「登録」「サインイン」「インストー ル」 「認証」といった単語が上位 20 個に含まれて いることから、最初のログインの段階で何らかの 問題が発生していると考えられる。また、POSI TIVE と同様に「カード」が含まれていることか
ら、IC カードと比較してアプリを評価しているユ ーザーが全体を通して多いことが考えられる。 「決済」「レジ」という単語も見られることから 実際の決済時の問題もしくは利点についても触 れられていることが分かった。 さらに NEGATIVE または NEUTRAL の場合 についても共起ネットワーク図を作成したとこ ろ、以下の図のようになった(図 5)。 切なレビューが多いと考えられる。これは大学生 協アプリ(公式)に非常に多くの不満が集まってお り良い点を挙げる人が少ないこと、POSITIVE と 判定されたレビュー数が少ないことが理由とし て考えられる。ただし、今回は BERT に学習済み モデルを利用しており、誤判定だと考えられる結 果も見られたことから、BERT に使用するモデル をより適切なものにすることでより良い結果が 得られる可能性がある。 また、レビューでは特にログインや認証ができ ない問題について多く触れられており、アプリの 現在最も重大な問題点はログイン部分にあると 考えられる。また、レビュー内容から決済につい ても時間がかかり利便性の観点から不満を持た れていると考えられる。今回は名詞を用いて分析 を行ったが、形容詞など別のものを使用して分析 することで新たな結果が得られる可能性がある。 5. まとめ 図 5 NEGATIVE または NEUTRAL と判定さ れたレビューに含まれる名詞の共起ネットワー ク図 図より、ログイン時にエラーが発生しているこ とについて多くレビューが投稿されていること が分かった。 「レジ」 「スピード」の部分に「感謝」 が含まれているが、実際のレビューを確認すると 「アプリのおかげでご飯が美味しいヤミー！感 謝！感謝！（中略）俺は生協アプリを絶対に許さ ない。 作ったのは一体誰……(以下略)」といった ネットミームを用いたレビューとしては適性を 欠いた文章であり、レジのスピードについてレビ ュー内で挙げられていると解釈するのが妥当だ と考えられる。また、「手続き」が「煩雑」であ ることや、根本的な「移行」について触れたレビ ュー、 「早急」な「対応」 「改善」を望むレビュー もあることが分かった。 4. 考察 以上の結果から、大学生協アプリ(公式)のレビ ューについては、ネガポジ判定により POSITIVE と判定されたものにはアプリと全く関係のない 内容や皮肉が多いものが割合としては多く、不適 今回の実験では大学生協アプリ(公式)における レビューの分析を行い、ネガポジ分析により POSITIVE と判定されたレビューに不適切なも のが多いと考察できたが、これはアプリによって 変わる可能性があり、他のアプリでも検証すべき 課題である。また、大学生協アプリ(公式)につい ては、ログインという致命的な箇所のエラーにつ いて多くの不満が集まっていることから、早急に 問題を修正すべきであると考える。 参考文献 [1]大学生協事業連合, “「大学生協アプリ（公式）」 リリース情報|大学生協事業連合”. https://www.univ.coop/nr/nr_256.html (2023 年 1 月 29 日閲覧) [2]Yahoo ニュース, “大学生協アプリ導入で「食堂 の待ち時間が 3 倍に」 複数大で混雑騒ぎ、学生 から不満続出...運営元「改善続ける」 （J-CAST ニ ュース） - Yahoo!ニュース”, 2023. https://news.yahoo.co.jp/articles/c92e3b04375c8 9fa20a1640e906a6e9769994e3d (2023 年 1 月 29 日閲覧) [3]大学生協事業連合, “大学生協アプリ（公式） Google Play のアプリ”, Google Play, 2023. https://play.google.com/store/apps/details?id=jp. coremobile.daigaku&hl=ja&gl=JP （2023 年 1 月 29 日閲覧）