360 likes | 490 Views
Verification of data mining result Elimination of redundant rules. سال تحصیلی 93-92. ملیحه هاشمی. مقدمه.
E N D
Verification of data mining result Elimination of redundant rules آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab) سال تحصیلی 93-92 ملیحه هاشمی
مقدمه • یکی از چالشهای موجود در دادهکاوی، تعداد زیاد الگوهای تولید شده توسط تکنیکهای دادهکاوی است که این امر ارزیابی الگوهای به دست آمده را دشوار میکند. به همین دلیل زمینهی تحقیقاتی فعالی در دادهکاوی برای کاهش الگوهای به دست آمده وجود دارد. برخی از کارهای انجام شده در این زمینه به خلاصهسازی، گروه بندی، حذف قواعد غیر جالب و حذف قواعد افزونه میپردازند. مقالهی مورد بررسی نیز در راستای کاهش الگوها بر حذف الگوهای افزونه تاکید دارد. افزونه بودن یکی از انواع ناسازگاریهایی است که در یک مجموعه از الگوها قابل مشاهده است و از بین بردن آن در صحت سنجی مورد تاکید است. به همین دلیل ما نه تنها برای کاهش تعداد الگوها بر حذف افزونگی تاکید داریم، بلکه برای اطمینان از صحت الگوها این گونه ناسازگاریها باید از بین بروند. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Effective elimination of redundant association rules آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Effective elimination of redundant association rules • مرور کلی • ارائهی روشی برای استخراج فرم فشردهای از قوانین انجمنی بر مبنای حذف افزونگیها • امکان به دست آوردن تمام قواعد انجمنی از این فرم فشرده در صورت نیاز • اثبات soundness و completeness قواعد استنتاج شده از این فرم فشرده نسبت به مجموعه اصلی قواعد حاصل از داده کاوی آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Association rule mining • Supp(X) = The number of transaction that support x The number of transaction in database D آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Concise representations ofFIs • DB = {<a1, …, a100>, < a1, …, a50>} , =1 • Maximal FIs (MFIs) • <a1, …, a100>: 1 • Closed FIs (CFIs) • <a1, …, a100>: 1 , < a1, …, a50>: 2 آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Association rule mining آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definitions • (δ-Tolerance closed frequent itemset) • δ(0 ≤ δ ≤ 1) is a user-specified support tolerance factor • (δ) is set of δ-TCFIs آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
We get 50 AR We get 6 𝜹−TARs δ = 0.04 → : { abcd , bcd , bd ,b} آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definitions • Closest superset آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definitions • Closest δ-TCFI superset آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definitions • Closure of δ-TCFI آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definitions • Support extension آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definitions • Estimated Support = • = 1.03 آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
FI tree and FI-tree-based association rules FI-parent آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
FI tree and FI-tree-based association rules FI-tree • FI-parent of X} ∪ {(γ ,X) : X ⊂ γ and Y ∈ F such that Y ⊃ X} آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
FI tree and FI-tree-based association rules • FI-tree-based association rules (RTF) آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
R be the set of all ARs that have support no less than σ. • When γ ∈ F, then RTF ⊆ R. Let Rγ = {X ⇒ Y : (X ∪ Y ) = γ and γ F}. • When γ F, then (RTF − Rγ) ⊆ R. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definition- inference rules conf (r) = (conf () · conf ()) آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definition- inference rules آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definition- inference rules Lemma 3. Referring to Rule 3, let r ∈ (RTF ∪ R). Then, supp(r) and conf(r) are correctly defined, and r ∈ R or r ∈ Rγ. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
δ-Tolerance association rule tree And δ-Tolerance association rule آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
(δ-Tolerance association rule tree) The δ-Tolerance Association Rule tree (δ-TAR tree), denoted as Tδ = (Vδ,Eδ), where Vδ = (V ∪{γ }∪Vb) and Eδ = (E ∪ Eγ ∪ Eb), are defined as follows: آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
δ-Tolerance association rules آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definition- inference rules : آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
(Support extension) : آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Definition آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
Non-redundancy • (Non-redundancy) آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)