DER SPEZIALIST FÜR IHRE INFORMATIONSARCHITEKTUR

1. n e o f o n i e iCMC, BLAST & BLAZE: Entwicklungsprojekte der neofonie im Rahmen von <xmlcity:berlin> 23.04.2003@Statusmeeting DER SPEZIALIST FÜR IHRE INFORMATIONSARCHITEKTUR im Rahmen der Initiative <xmlcity:berlin> präsentiert von Helmut Oertel xmlcity-l@neofonie.de

2. neofonie - Leistungsspektrum

3. neofonie – Forschung & Entwicklung • neofonie kombiniert… • Kompetenz- und Entwicklungsvorsprung durch Forschung, finanziert aus dem operativen Geschäft sowie durch regionale und europäische Förderprogramme • Know-How und Erfahrung aus der Durchführung kommerzieller Großprojekte • Full Service für den Kunden: Beratung, Entwurf, Entwicklung, Installation, Wartung und Weiterentwicklung • Forschung • neofonie 1998 aus Technischer Universität Berlin ausgegründet • Untersuchung neuester Technologien und Softwarearchitekturen. Use Cases und Praxistauglichkeit. • Mehrere erfolgreich durchgeführte Forschungsprojekte. Themen: spezialisierte Internet-Suchmaschinen, Personalisierung, Cross-Seller-Shopping. • <xmlcity:berlin> (BMBF): XML Technologie, Content Management, Information Retrieval • Science 2 Science: Peer 2 Peer, Wissensmanagement • Fokus 2003/2004: Information Retrieval, EAI und P2P basiertes, Workflow-unterstütztes Knowledge Management • Beratung und Entwicklung • Basierend auf Forschungsergebnissen und professionellem Know-How • Systemintegration basierend auf eigenen Software-Komponenten und Best-Of-Breed Produkten Dritter • Von kleinen Lösungen bis hin zu Portalen • sowie Produkte • Lösungsfamilien neofonie search und neofonie content • Basierend auf Grundlagenentwicklung im Rahmen von Forschungsprojekten

4. <xmlcity:berlin> - Entwicklungsziele • XML • XML überall: Konfiguration, Dokument-Repräsentation, Schnittstellen • XML Sprachen und Protokolle: XML Schema, XSLT, XPath, XLinking, SOAP • XML auch für große Installationen: Verteilte Datenhaltung • <xmlcity:berlin/iCMC> • Prototypische Komponentenentwicklung für Lösungsfamilie neofonie content • Handhabbarkeit: Strikte Trennug Design und Content  kontrolliertes WYSIWIG • Betrieb: lokale Installation  ASP Service • Funktionalität: Integration von Recherchewerkzeugen • <xmlcity:berlin/BLAST&BLAZE> • Prototypische Komponentenentwicklung für Lösungsfamilie neofonie search • Integrierbarkeit: Unterstützung von SOAP, Nutzer- und Rechtemanagement etc. • Funktion: Volltextsuche  XML Repository Datenbank-Eigenschaften • Skalierbarkeit: kleine Installation: Lokaler Index  große Installation: verteilter Index • Ergebnis • Im Bereich Suche und Content Managementskalierbare, modulare, flexible, XML-basierte Softwaresysteme mit offenen Schnittstellen schaffen. • Verbreiterung der Menge unterstützter Anwendungsszenarien • Leichte Integrierbarkeit zum Nutzen der Kunden

5. neofonie content • Lösungsfamilie neofonie content: Content-Integration (:delivery), Redaktionssystem (:editor), Content-Extraktion (:extractor) und weitere • Content-Integration • Integration (ggf. on-the-fly), Transformation und Präsentation von Inhalten über elegante XML-Schnittstellen. • Abstrahiert vom Zugriff auf Datenquellen, dabei verwendeten Transport-protokollen (z.B. File, HTTP, JDBC, SOAP, CORBA etc.) und den Quellformaten der Inhalte. • Implementiert mehrstufige Caching-Verfahren auf Datenströmen, geladenen Inhalten, generierten Seitensegmenten und kompletten Webseiten und stellt damit maximale Performanz sicher. • Redaktionssystem • Strikte Trennung von Inhalt (XML) und Design (insb. HTML). • Mehrdimensionale Kategorisierung von Inhalten inkl. Multibranding. • Generierung von Web-basierten Content Entry Formularen aus XML Schemata • Multibranding, Rollenbasiertes Zugriffsmanagement, Preview-Funktionalität u.v.m.

6. <xmlcity:berlin/iCMC> - Entwicklungsziele Das System ist bisher nur für große Redaktionen und Installationen geeignet, der Einführungs- und Betriebsaufwand ist zu hoch. • Prototypische Komponentenentwicklung zur … • Realisierung eines Redaktionsinterfaces für kontrolliertes Wysiwig, dadurch einsetzbar auch für einfache Unternehmens-Sites bei geringem Lernaufwand • Erlaubte Formatierungs-Aktionen einstellbar pro Inhaltstyp • Kontrollierbare Formatierungen (Styles) pro Inhaltstyp • Datenhaltung je nach Einsatzszenario • Persistenzschicht erlaubt wahlweise Einsatz eines RDBMS, XML-Repositories oder Dateisystem • Bei Einsatz von BLAZE Volltext-Recherche (auch in archivierten Inhalten) möglich • Unterstützung eines konfigurierbaren Workflows bei der Bearbeitung von Inhalten • Bereitstellung als ASP Lösung, dadurch ohne eigenen Betriebsaufwand einsetzbar, insb. für Verbände, Unternehmens-Gruppen.

8. <xmlcity:berlin/iCMC> - Use Case »www.dfn.de« • Web Content Management auch für relativ kleine Sites und Redaktionen handhabbar machen • Inhalt und Design müssen nicht strikt getrennt werden: durch bereits gelernte Benutzerführung lassen sich auch komplexe Seiten einfach bearbeiten • Durch Angebot als ASP Lösung kein Betriebs-Know-How nötig

9. neofonie search:engine (1) • Lösungsfamilie neofonie search: Information Retrieval Engine (:engine), Robotersystem (:robot), ASP Suchmaschine (:suchexpress), Dienstleistung (:integrate), weitere • :engine (Codename BLAST) mit nativer XML-Unterstützung und zum Patent angemeldeten Such- und Sortierverfahren: Relevanzbewertung berücksichtigt je Dokument textuellen Inhalt, Struktur, Verlinkung sowie optional Qualitätsmaße (z.B. berechnet durch Auswertung des Nutzer-Verhaltens). Gewichtung der Kriterien einstellbar. • Basis ist ein hocheffizient organisierter Volltextindex:hierarchische Felder, parametrische Suche, Kombination von Boolescher und +/- Suche, Mehrfachsortierung, Feld-basierte Gruppierung. • Gute Integrierbarkeit dank Java API, C++ API inkl. Plugin-Mechanismus sowie HTTP/XML basierter Schnittstelle des engine Servers. • Die Präsentationsschicht erlaubt maximale Freiheiten/Individualisierung bei der Vorverarbeitung von Suchanfragen sowie Nachbearbeitung und Darstellung von Suchergebnissen inkl. Highlighting und Generierung von Zusammenfassungen.

10. neofonie search:engine (2)

11. <xmlcity:berlin/BLAST&BLAZE> - Entwicklungsziele (1) Dem System fehlen bisher Datenbank-typische Eigenschaften um nicht nur als Grundlage für reine (Volltext-)Suchmaschinen sondern auch als XML Repository in komplexere Anwendungsszenarien eingesetzt werden zu können. Ferner ist Skalierbarkeit bei sehr großen Anfrage- und/oder Datenvolumina nicht gegeben. • Prototypische Komponentenentwicklung zur Verbesserung von… • Integrierbarkeit • Unterstützung des XML-Protokolls SOAP zwecks Einbettung in Web-Service orientierte Softwarearchitekturen • Unterstützung von XLinking zur Nutzung der Link-basierten Relevanzbewertung auch bei XML-Dokumenten • Verwaltung von Benutzern und Rechten beim Zugriff auf Indexe (TBD) • Interaktiver Console-Client (TBD) • Skalierbarkeit • Nutzbarkeit auch für sehr große Daten- und Anfragevolumina: IP-MulticastbasierteReplikation von Indexen und Änderungen (Delta-Indexe) zum Betrieb auf einem Rechner-Cluster. Lineare Skalierbarkeit bei Replikation und Anfragebearbeitung.

12. <xmlcity:berlin/BLAST&BLAZE> - Entwicklungsziele (2) • Funktionalität • Unterstützung von XPath zur nachträglichen Selektion innerhalb von Suchergebnissen • Unterstützung von XSLT bei Präsentation von Suchergebnissen • Unterstützung von XML Schema zur Validierung von Dokumenten und Konfiguration des Index • Vergleichsoperatoren auf numerischen Feldern • Änderbarkeit von numerischen Werten in Dokumenten ohne Neuindexierung. • Einzeln aktivier/deaktivier- und suchbare Subindexe als Grundlage für Transaktionen • Kombination von parametrischer Volltext- und XPath-basierter Suche • Unterstützung der XML-Datenbank-API XUpdate inkl. Transaktionen (TBD)

13. <xmlcity:berlin/BLAST&BLAZE> - Use Case »AOL Kleinanzeigen« • Web-basiertes Kleinanzeigensystem: www.kleinanzeigen.aol.de • Repräsentation von redaktionellen Inhalten als XML-Dokumente. Verwaltung mit neofonie CMS. • Dynamische Generierung der Rubriken-Navigation aus XML-basierter Konfiguration. • Repräsentation von Kleinanzeigen und Nutzerprofilen als XML-Dokumente. Erweiterbares XML-Format, insg. mehr als 50 Rubriken mit spezifischen Teilbäumen. • Vorgänger-System nutzte zur Speicherung von Kleinanzeigen Volltextindex plus relationale Datenbank plus Dateisystem. Jetzt Speicherung ausschließlich im neofonie search:engine basierten XML-Repository. • Betrieb auf einem Cluster von Sun/Solaris Servern. Automatische Replikation der Änderungen ohne Beeinträchtigung der Suche. Möglicher Durchsatz: ~2 Mio. PIs pro Tag bei >50.000 Kleinanzeigen und Profilen big

14. <xmlcity:berlin/BLAST&BLAZE> - Use Case »Science 2 Science« • Peer 2 Peer basiertes Netzwerk erlaubt Volltextsuche und Austausch wissenschaftlicher Dokumente: http://www/profil/forschung_und_entwicklung/s2s.csp. • XML als universelles Repräsentationsformat für wissenschaftliche Dokumente: Automatische Konvertierung der Ausangsformate (HTML, LaTeX, Word, Postscript, PDF) nach XML. • Einbettung von neofonie search:engine (und :robot) in einen Provider-Peer zur Indexierung und Suche lokaler Dokumente. • Advertisements, Anfragen, Dokumente XML auf API-Level, binär auf Wire-Level. • Interne Nutzung von XSLT in Hubs zur Generierung Query-Node Predicates aus Registrierungen, dann Indexierung mit :engine. • Vortrag zu S2S im Rahmen des <xmlcity:berlin> Kolloqiums am 12.5.2003. medium small

15. Fazit • Förderung ermöglicht innovative Forschung im Mittelstand • Regionales Expertenwissen • Experimenteller Einsatz neuester Konzepte • Durchgängige Verwendung von XML bewährt sich • Modulare Komponenten • Flexible Einsetzbarkeit • Gute Performanz bei geschicktem Einsatz • XML-basierte Produkte schaffen Vorteile im Projektgeschäft • Niedrige Integrationskosten • Hohe Interoperabilität • Beste Skalierbarkeit • neofonie realisiert zukunftsfähige XML basierte Lösungen für Kunden