Oracle Text 10g Release 1 New Features

2. Oracle TEXT 10g Release 1New Features Edwin Balthes Oracle Support Services Oracle Deutschland GmbH

3. AGENDA • Multilingualer Lexer • Multipart Mime Filtering • Query Log Analyse – neues Package • Progressive Relaxation JDeveloper wizards for text search • Near Accum • Ctx_Report XML Output • ALTER INDEX rebuild replace metadata

4. Text 10g Release 1Globalisierung • Unicode Lexer Erweiterung • Japanische Sprachunterstützung • Neue Deutsche Rechtschreibung

5. Text 10g Release 1Unicode Lexer • Neue Lexer Präferenz – World_Lexer • Support für jede Unicode 4.0 Sprache

6. Text 10g Release 1Japanische Sprachunterstützung • Delimiter characters • Fuzzy Funktion für das Japanische • Japanisches Stemming • Japanischer Unicode • Japanisches Benutzer Lexikon

7. Text 10g Release 1Neue Deutsche Rechtschreibung • Alte Schreibweise • Neue Schreibweise

8. Text 10g Release 1Query Template - Erweiterungen • Query Rewrite • Progressive Relaxation • Spezifikation - Query Language • Alternatives Scoring • Alternative Grammatik <query>…..</query>

9. Text 10g Release 1Query Rewrite

10. Text 10g Release 1Beispiel - Query Rewrite • SELECT * FROM purchaseorders WHERE CONTAINS (text,’<query> • <textquery lang="ENGLISH" grammar="CONTEXT"> Retail Sales • <progression> • <seq><rewrite>transform((TOKENS, "{", "}", " "))</rewrite></seq> • <seq><rewrite>transform((TOKENS, "{", "}", " ; "))</rewrite>/seq> • <seq><rewrite>transform((TOKENS, "{", "}", "AND"))</rewrite></seq> • <seq><rewrite>transform((TOKENS, "{", "}", "ACCUM"))</rewrite></seq> • </progression> • </textquery> • <score datatype="INTEGER" algorithm="COUNT"/> • </query>’)>0;

11. Text 10g Release 1NEAR_ACCUMulate NEAR_ACCUM((word1, word2,..., wordn) [, max_span [, order]])

12. Text 10g Release 1Progressive Relaxation

13. Text 10g Release 1Progressive Relaxation select * from purchaseorders where CONTAINS (text,'<query> <textquery lang="ENGLISH" grammar="CONTEXT"> Retail Sales <progression> <seq>{Retail} {Sales}</seq> <seq>{Retail} NEAR {Sales}</seq> <seq>{Retail} AND {Sales}</seq> <seq>{Retail} ACCUM {Sales}</seq> </progression> </textquery> <score datatype="INTEGER" algorithm="COUNT"/> </query>')>0;

14. Text 10g Release 1Query Templates - Erweiterungen • Multi_Lexer - Query Language select id from docs where CONTAINS (text, '<query><textquery lang="french">bon soir</textquery></query>')>0; • Alternatives Scoring select id from docs where CONTAINS (text, '<query> <textquery grammar="CONTEXT" lang="english"> mustang </textquery> <score datatype="float" algorithm="DEFAULT"/> </query>')>0 • Alternative Grammatik select id from docs where CONTAINS (text, '<query> <textquery grammar="CTXCAT">San Diego</textquery> <score datatype="integer"/> </query>')>0;

15. Text 10g Release 1CTX_REPORT Package • CTX_REPORT.DESCRIBE_INDEX • CTX_REPORT.DESCRIBE_POLICY • CTX_REPORT.CREATE_INDEX_SCRIPT • CTX_REPORT.CREATE_POLICY_SCRIPT • CTX_REPORT.INDEX_SIZE • CTX_REPORT.INDEX_STATS • CTX_REPORT.TOKEN_INFO • CTX_REPORT.QUERY_LOG_SUMMARY • CTX_REPORT.TOKEN_TYPE

16. Text 10g Release 1CTX_REPORT - Query Log Analyse • Welche Abfragen wurden gemacht ? • Welche Abfragen waren erfolgreich ? • Welche Abfragen waren nicht erfolgreich ? • WAS wurde WIE HÄUFIG angefragt ?

17. Text 10g Release 1CTX_REPORT - Query Analyse • Start query logging • End query logging • Query log summary

18. Text 10g Release 1XML Output - CTX_REPORT Package • SELECT ctx_report.describe_index('DOCS_TEXT','XML') FROM dual; • CTX_REPORT.DESCRIBE_INDEX('DOCS_TEXT','XML') • -------------------------------------------------------------------------------- • <CTXREPORT> • <DESCRIBE_INDEX> • <INDEX_ATTRIBUTES> • <INDEX_ATTRIBUTE NAME="index name"> • "CTXSYS"."DOCS_TEXT" • </INDEX_ATTRIBUTE> • <INDEX_ATTRIBUTE NAME="index id"> • 1392 • </INDEX_ATTRIBUTE> • <INDEX_ATTRIBUTE NAME="index type"> • context • …

19. Text 10g Release 1Erweiterungen - Dokumenten Services • In 9i wurde für highlight, markup, tokens, filter, gist und markup ein Index benötigt. • Dies geht nun in 10g auch ohne einen Index

20. Text 10g Release 1Alter Index Rebuild Replace Metadata • Ersetzen der existierenden Präferenz-Settings durch neue Präferenz-Settings • betrifft auch die SYNC Parameter • Kein Neuaufbau des Textindexes • ACHTUNG – eigene Verantwortung für einen konsistenten Index

21. Text 10g Release 1Erweiterungen - Mail Filtering • Konvertieren einer RFC-2045 Email in ein indizierbares Format • Behandlung der Message Bodies basierend auf dem Content-Type • Text Meldungen werden in den DB Characterset konvertiert • Binärer Text wird gefiltert -> INSO • Andere nicht binäre Daten werden nicht ausgegeben • Benutzerdefinierte Felder sind als Sektionen suchbar

22. Text 10g Release 1Erweiterungen bei der Indizierung • AUTO und ON COMMIT Synchronisierung für CONTEXT Indizes • Transaktionale CONTEXT Indizes • Automatische Multi-Language Indizierung • Unterstützung für Local Partitioned CONTEXT Indizes in parallel • Binäres Filtern für den MULTI_COLUMN_DATASTORE • Neue XML Output Option für Index Reports

23. Text 10g Release 1Auto und ON COMMIT Synchronisierung DML Pending Queue DML COMMIT

24. Text 10g Release 1Index Synchronisierung Global Indexes • CREATE INDEX <index_name> ON<table_name>(<column_name>)INDEXTYPE ISCTXSYS.CONTEXT PARAMETERS('SYNC(MANUAL | • ON COMMIT |EVERY "interval_string" MEMORY size PARALLEL degree'); Local Indexes CREATE INDEX index_name ON table_name(column_name) INDEXTYPE IS CTXSYS.CONTEXT LOCAL(PARTITION part_name1 PARAMETERS(' SYNC(MANUAL |ON COMMIT |EVERY "interval_string" MEMORY size PARALLEL degree'), PARTITION part_name2 PARAMETERS('...'),...) PARAMETERS('...');

25. Text 10g Release 1Views - Synchronisierung CTX_USER_INDEXES CTX_INDEXES CTX_INDEX_PARTITIONS CTX_USER_INDEX_PARTITIONS

26. Text 10g Release 1Transaktionale CONTEXT Indizes • SELECT… • CONTAINS(…) DML

27. Text 10g Release 1CTXXPATH - Erweiterungen • Indizierung von Number und Unterstüzung von numerischen Range Searches • Attribute Existence • Positional Predicate.

28. Text 10g Release 1INPATH and HASPATH Erweiterungen • Highlighting mit • INPATH • HASPATH

29. Text 10g Release 1Änderung der Rechte für CTXSYS DBA Privilege

30. Text 10g Release 1JDeveloper TEXT Wizards • Text Wizard • Classification Wizard • Catalog Wizard

31. Text 10g Release 1Text Wizard Demo

32. Text 10g Release 1Text Wizard Demo

33. Text 10g Release 1Text Wizard Demo

34. Text 10g Release 1Text Wizard Demo

35. Text 10g Release 1Text Wizard Demo

36. Text 10g Release 1Text Wizard Demo

37. Text 10g Release 1Text Wizard Demo

38. Text 10g Release 1Text Wizard Demo

39. Text 10g Release 1Text Wizard Demo

40. Text – Simple Search

41. Text – Advanced Search

42. Text – Knowledge Base

43. Oracle Ultra Search • Out-of-the-Box search engine • Basiert auf Oracle Text • Suche über intranet/extranet sources • Web, Databases, Files, Mail Servers, Repositories • Verfügt über Web style interface und Java API für UserInterface • Wird mit 9i Database, 9iAS/Portal, Collab. Suite R2/3 ausgeliefert

44. Ultra Search

45. Ultra Search Adv. Search

46. Collab Suite Search App.

47. Crawler Crawler Crawler Crawler Ultra Search Architecture Web Server Query & Admin Capabilities Web Browser Oracle Text SQL Engine Ultra Search Server Ultra Search Mid-Tier Component Ultra Search Client

48. Mail Crawlet Files Crawlet Calendar Crawlet Mail Files Calendar Crawled Search Architecture Client Mid-tier Search App. Ultra Search Search Repository Meeting Crawlet Web Crawler Meeting Oracle Confidential

49. Caching Documents WK$DOCUMENT

50. Indexing Documents