Trust based web spam detection in semantic search engine

1. Trust based web spam detection in semantic search engine By: Soheila Dehghanzadeh

2. What is a web spam يكي از وي‍ژگيهاي سيستم هاي موفق اطلاعاتي توسط ميزان حمله ي اسپمرها به آنها مشخص مي شود. صفحات اسپم در وب از تکنیکهای مختلفی برای رسیدن به رتبه های بالا در نتایج جستجوی موتورهای جستجو و گمراه کردن آنها استفاده میکنند. موتورهای جستجو باید ویژگیهای دوگانه ی کیفیت نتایج و مرتبط بودن را با هم لحاظ کنند تا بتوان از حجم زیاد اطلاعات روی وب استفاده کرد. در تکنیکهای بهینه سازی موتور جستجوو بازیابی رقابتی اطلاعات هدف یافتن تابع نمره دهی موتورجستجو و بالابردن مصنوعی رتبه ی یک صفحه در نتایج بازیابی شده است، تا بتوان از منافع تجاری صفحاتی که در رتبه های بالا ظاهر می شوند استفاده کرد. با توجه به غیر ممکن بودن استفاده از نیروی انسانی برای کشف صفحات اسپم، باید این فرآیند را خودکار کرد و چون اسپمرها متناوبا تکنیکهای خود را تغییر میدهند تا موتورهای جستجو را گمراه کنند، مقابله ی اتوماتیک با آنها خیلی دشوار است.

3. Spamming techniques(WODoc) • تقريبا هر 2-3 روز يك تكنيك جديد براي گمراه كردن موتورهاي جستجو ارائه مي شود. • نكته ي مهم اينست كه تكنيكهاي اسپمرها كاملا وابسته به الگوريتم هاي رنكينگ در آن موتور جستجو است. • تكنيكهاي اسپمرها • استفاده از کلمات برای ایجاد اسپم[1] (استفاده ي بيخودي از كلمات مهم جستجو) • استفاده از لینک برای ایجاد اسپم[2] (گمراه كردن pagerank ) • دو نسخه در يك آدرس براي كاربران و براي موتورهاي جستجو[3]. [1] Term spamming [2] Link spamming [3] Cloaking

4. Spamming techniques(WOData) False Labelling Misdirection Schema Pollution Identity Assumption Bait and Switch Misattribution Data URI Embedding

5. False Labelling • the spammer simply asserts labelling triples that promote their message. Linked data systems often display the objects of these triples when labelling resources. If the spammer targets popular subject URIs then there is a higher chance of their message appearing for users of the Linked Data system. For example: • dbpdedia:London rdfs:label "Buy more Wensleydale" . • <http://danbri.org/foaf.rdf#danbri> foaf:name "Wensleydale fan" .

6. Misdirection • attacker asserts triples using properties that are commonly used to provide links to human-readable content. In the attack, the triple objects are resources that contain the attacker's message. Systems that use these properties may inadvertently display links to the spammer's site and content: • dbpedia:London rdfs:seeAlso <http://example.com/buycheese> . • dbpedia:Tim_Berners-Lee foaf:isPrimaryTopicOf <http://example.com/buycheese> . • <http://sws.geonames.org/3333196/> mo:wikipedia <http://example.com/buycheese> .

7. Schema Pollution • Schema Pollution • In this attack all of the instance data is innocuous but some of the properties used in the data are labelled with the spammer's message. When rendering data for human use, many linked data systems will look for schema information to label unknown predicates. This attack causes those systems to display the spammer's message: • ex:thing dc:title "New study finds that mice can learn to sing." ; a foaf:Document ; dc:subject "mouse behaviour" ; ex:prop "Journal of mouse psychology" . ex:prop a rdfs:Property ; rdfs:label "Lowest Wensleydale prices at bargaincheeseshop.com" . • This attack can be combined with False Labelling, attempting to inject a message into a commonly used schema: • dc:title rdfs:label "Lowest Wensleydale prices at bargaincheeseshop.com

8. Identity Assumption • minting URIs in one URI space and using owl:sameAs to connect the resource to identical resources in other URI spaces. The attacker simply describes a resource that conveys their message and then uses owl:sameAs to make it identical to popular resources. Most Linked Data systems recognise owl:sameAs and aggregate all triples about any subjects declared to be identical. • ex:thing dc:title "Wensleydale: the mature, smooth cheese you will love." ; owl:sameAs dbpedia:The_Beatles ; owl:sameAs dbpedia:Lady_Gaga ; owl:sameAs dbpedia:True_Blood ; owl:sameAs dbpedia:Harry_Potter .

9. Bait and Switch • Bait and Switch • In this vector, the spammer uses content negotiation to provide enticing linked data to machines and spam messages to humans. When a Linked Data system fetches a URI it indicates that it requires machine-readable data by sending an appropriate HTTP header. Web browsers under the control of a human will send a different value for the header so servers can distinguish machines from humans and send different information. The spammer can configure their server to send innocuous Linked Data to machines which, when visited by humans, display the spammer's message. (See my earlier post Is the semantic web destined to be a shadow? for some of the consequences of this separation of machine/human content)

10. Misattribution • Misattribution • Under this attack, the spammer attributes their message to someone they hope the recipient will trust. Linked Data systems may ingest this data and display the quotation with the source inadvertently misleading its users: • ex:1 a bibo:Quote ; bibo:content "I always buy Wensleydale from bargaincheeseshop.com and so should you" ; dc:creator "Sergey Brin" .

11. Data URI Embedding • Data URI Embedding • In this attack vector the data itself is innocuous but the URIs used by the attacker use the data: scheme to embed the spam message. If these URIs are displayed to the user of a Linked Data system then they may click on them and trigger the message display. (example ) • dbpedia:London rdfs:seeAlso <data:text/html;charset=utf-8;base64,PGEgaHJlZj0iaHR0cDovL2V4YW1wbGUuY29tL2J1eWNoZWVzZSI+bG93ZXN0IFdlbnNsZXlkYWxlIHByaWNlczwvYT4=> .

12. Spam conclusion • Most of these attack vectors can be countered through a whitelist provenance system, but they are not easy to scale. • One particular property of RDF where duplicate triples can be ignored makes it easy to bury spam inside billions of legitimate triples - simply take a copy of dbpedia and add a few spam triples. • A casual inspection of the dataset will more than likely just see the dbpedia triples, but a Linked Data system that already has those triples will ignore them and just add the spam triples

13. Saerch engine techniques to deal with web spam موتورهاي جستجو مهمترين دروازه هاي ورود به وب هستند. يك اصل بديهي براي كشف اسپم: : "احتمال اینکه از صفحات خوب با کیفیت بالا به صفحات اسپم لینک وجود داشته باشد خیلی کم است. " اين اصل پايه ي الگوريتم TrustRank است. الگوريتم TrustRank: انتخاب seed‌ و فراخواني اوراكل با استفاده از پیج رنک معکوس(Inverse pagerank) و پیج رنک بالا(High pagerank) انتشار اعتماد از seed‌ به ساير وب سايتها و شناخت اسپم. با توجه به pagerank. .البته گاهی اوقات اسپمرها یک لینک به صفحه ی خود در قسمت یادداشتهای یک صفحه ی خوب قرار میدهند و به این ترتیب این الگوریتم را دچار مشکل میکنند. انتشار اعتماد باید با افزایش فاصله از مجموعه ی اصلی تضعیف شود. الگوريتم trustrank‌تمايزي بين لينكهاي متفاوت قائل نمي شود. بايد براي تطبيق اين الگوريتم در داده هاي پيوندي بايد اين الگوريتم را براي انواع مختلف لينكها تطبيق كرد.

14. معماري موتور جستجو

15. Ranking

17. A 2 layer Model for web of data

18. Unsupervised wghitening توصیف واژگان VOID, OPM و امکان استفاده از آنها برای وزندهی OPM(http://http://openprovenance.org/model/opmx) Classes: | Agent | Artifact | Process | Properties: | used | wasControlledBy | wasDerivedFrom | wasEncodedBy | wasEndedAt | wasGeneratedAt | wasGeneratedBy | wasPerformedAt | wasPerformedBy | wasStartedAt | wasTriggeredBy | wasUsedAt VOID(http://vocab.deri.ie/void) Classes: Dataset | Linkset | TechnicalFeature Properties: dataDump | exampleResource | feature | linkPredicate | objectsTarget | sparqlEndpoint | statItem | subjectsTarget | subset | target | uriLookupEndpoint | uriRegexPattern | vocabulary

24. ارزيابي • . مسئله ی شناسایی اسپم یک مسئله ی کلاسبندی است. و با توجه به اینکه دیتاستی برای این موضوع در نظر گرفته نشده است و تاکنون تستی در این زمینه انجام نشده است بنابراین تمامی سه تایی هایی که توسط موتور جستجوی sindice ایندکس شده را میگیریم و انها را به دو دسته ی اسپم و غیر اسپم تقسیم بندی می کنیم و نتیجه را با نتیجه ی الگوریتم های معروف دسته بندی مقایسه می کنیم. ارزیابی precision, recall و مقایسه ی انها کارایی الگوریتم را نشان خواهد داد.