2007年12月12日 星期三

群眾機制評價的問題

相較於專家機制的評價,群眾機制的評價普遍存在強者強,弱者弱的問題。以YouTube來說,很多人看過不見得是好影片,後進的讀者看到很多人看,跟著點那些「熱門」影片,發現很無趣後也來不及了。雖然有評分機制,多人看的影片似乎是4或4.5星,參考價值不大。像熱門排行榜更是極端,除非有做適當的分隔,像依上傳時間區隔,否則新產生的內容難以追過舊有的熱門內容。

有些網站會用文章是否被捲到底,來判斷是否真的有被閱讀(也許再加上一點時間判斷),而非點了就算一次。依人類閱讀的習性來判斷影片或網頁是否有被完整觀看,甚至是自動判斷觀後旳評價,應該有發展的價值。影片用時間判斷,文章可用時間和被捲動的情況。配合真的有給評價的數據,這可視為classification的問題:

  • 基本屬性:觀看時間長度內容被看過的比例
  • 外部屬性:使用者的個人資訊、過去的行為如看過的影片(網頁)、好友清單
  • 分類的目標:給予的評價(例如:0~5顆星)

研究進行的流程大致上是:

  1. 分析問題的嚴重性,即影片熱門指數的誤報比率(定性分析,這問題是否真的存在,誤差到一定的值視為有)或各影片誤報程度的平均值(定量分析,將誤差量化,了解問題的嚴重性)
  2. 在給定基本屬性的情況下建classification model的結果,能改善多大程度?可用cross validation做驗證手段
  3. 考慮外部屬性,先討論如何整理外部屬性成可用的資料,再看引入後對問題的影響程度
  4. 應用到實驗平台,觀察使用者的反應,分成使用者回報感想和自動判讀指標(參考第一步的分析),綜合判斷改進的程度

若能拿真實資料玩玩,應該很有意思。忘了是誰說的,真正的研究,應該是來自於日常生活的體驗。

沒有留言:

張貼留言