臺大管理論叢
第
27
卷第
2S
期
15
三、實驗結果
最小支持度
(Min-supp)
和最小信心度
(Min-conf)
的值,對於本研究的規則式意見
句子識別技術有很大的影響,此外,最小支持度和最小信心度的最佳值通常都是隨著
資料集而改變的,並沒有單一的建議最佳值,因此,我們首先對這兩個參數進行分析,
以找出適用本研究資料集的最佳門檻值。根據本研究初期的研究結果,在使用小的社
群媒體文集,一個產品特徵描述關鍵字的前提下,我們分析最小支持度在
0.0001
、
0.0003
、
0.0005
、
0.0007
、
0.0009
、
0.001
、
0.003
、
0.005
、
0.007
和
0.009
,以及最小信
心度從
0.1
到
0.5
每次增加
0.05
,不同參數組合對規則式意見句子識別
(R-OSI)
技術的
影響。
Macro-F-measure
與
Micro-F-measure
的結果分別如圖
3
、圖
4
所示。
R-OSI
技
術的最佳
Macro-F-measure
值為最小支持度門檻值設為
0.005
、最小信心度門檻值設為
0.15
時達到的
74.8%
,而最佳
Micro-F-measure
一樣是在最小支持度門檻值設為
0.005
、
最小信心度門檻值設為
0.15
時達到,值為的
68.0%
。而
Yang et al. (2010)
在人工準備
訓練樣本,且只使用
3,000
句測試句子的前提下,達到的最佳
Macro-F-measure
與
Micro-F-measure
值分別為
72.3%
與
69.0%
,本研究的
R-OSI
技術在
Macro-F-measure
上高出
2.5%
,而
Micro-F-measure
則低
1.0%
。如果用本研究的
R-OSI
技術,分析
Yang et al. (2010)
的
3,000
句子,最佳
Macro-F-measure
和
Micro-F-measure
分別為
72.0%
與
68.9%
,差異不大。彙整而言,考量
R-OSI
技術只需要人工為每一個產品特
徵提供一個關鍵字,這樣的表現是相當優異的。
0.0001
0.0007
0.003
0.009
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5
Min-Supp
F-measure
Min-conf
圖
3 R-OSI
技術在不同最小支持度與最小信心度下
Macro-F-measure
值