Innehåll

2. Innehåll • Motiv: Virtual Reality • Bakgrund & Syfte: Saab Training Systems • Ljud • 3D-ljud • Tekniker och metoder • 3D-ljud i Gizmo3D • Resultat ~ 40 min presentation ~ 10 min Opponering och diskussion Program:

3. Motiv: VR • Virtual Reality eller Environments • Syntetiskt återskapande av intryck • Stimuli: • Visuellt • Audiellt • … • Kräver: • Interaktivitet • Realtid • 3D-ljud hemmabio-surround • Datorindustrin, 3d-grafik, fysik… Motiv: VR

4. Saab Training Systems (STS) • Företaget: • Militära träningssystem • Hårdvara -> högnivåprogrammering • Bakgrund: • Måltavlor • Laser och prismor • Positionering • Övervakning, styrning • Kräver: • Visualisering => Gizmo3D! • Auralisering i Gizmo3D? Syfte: STS

5. Syfte: STS • Syfte: specifik uppgift • Forska kring 3D-ljud • Teorier • Programmeringsverktyg • Hårdvara • Implementering i Gizmo3D • Syfte: generellt i militära träningssystem • Ledning • Realtidsövervakning & efterövningsgenomgång • Enskild soldat i simulator • Största möjliga realism Syfte: STS

6. Ljud • Fysikaliska egenskaper • Ljudvåg • Hörbart ljud • Överlagringar av harmoniska svängningar och brus • Våglängder : 1,7 cm – 17 m • Tryck, intensitet och effekt normaliseras => Decibel • Våghastighet • Sfärisk vågspridning => avståndsbeskrivning Ljud

7. Ljud • Fysikaliska egenskaper, forts. • Riktningsspridning • Frekvensberoende • Absorption • Frekvensberoende dämpning i: • Atmosfär • Reflektion och transmission • Diffraktion • Ljudvågs träff i kantytor • Ljudkrökning runt hörn och objekt • Doppler • Förändring av upplevd frekvens Ljud

8. 3D-ljud • Hörande • Fysiskt ljud via människans fysiologi (hörselorganet) => upplevt ljud, en psykologisk perceptionsmekanism • Spatialt hörande • Gammalt forskningsområde • Fysikaliska skillnader i ljudsignalen kallas för:spatiala ledtrådar, eng. spatial cues 3D-ljud

9. 3D-ljud: cues • ITD (Interaural Time Difference) & IID (Interaural Intensity Difference) • HRTF (Head Related Transfer Function) 3D-ljud

10. 3D-ljud: cues • Visuell kännedom & Ljud-kännedom • Akustisk kännedom • En av de viktigaste aspekterna inom 3D-ljud • Ljuds interaktion med omgivningen • Akustiksvaret 3D-ljud

11. Tekniker: 3D-ljudmodellering • Strålteorier för tidiga reflektioner • Globala ljussättningsmodeller i 3D-grafik • Ray-tracing • Image Source Tekniker

12. 3D-ljudmodellering, forts… • Beam tracing • Begränsar spegelkälleberäkning • Större geometrier än ett rum Tekniker

13. 3D-ljudmodellering, forts… • Statistisk modell för sena reflektioner • Diffust ljudfält = jämnt fördelad energi • Avklingningskurvan, E(t) • Avklingningstid • Reproduktion • Faltning eller filternätverk • Hörlurar, binaural, HRTF-filtrering • Stereo-högtalare, transaural • Flerhögtalare, panorering Tekniker

14. Programmeringsverktyg • Standardiseringsorgan, IASIG • I3DL1 och I3DL2 (två nivåer, Level 1&2) • API:er (Application Programming Interface) • Microsoft DirectX • DirectSound3D = DS3D (I3DL1 och I3DL2) • Creative • EAX (I3DL2) ovanpå DS3D eller OpenAL, endast Win32 • OpenAL (Creative, Apple m.fl.) • Plattformsoberoende, (I3DL1) • FMOD • Wrapper, skal som mappar annat API (DS3D) • Egen plattformsoberoende 3D-ljudmotor • Med flera Tekniker

15. Programmeringsverktyg • OpenAL • OpenSource i Creative’s händer • Wrapper eller hårdvarustödd (Creative & Nvidia) • Smidigare än DS3D men kan mindre • Krävs EAX för efterklangssimulering • FMOD • Wrapper och egen mjukvarumotor • Licensbehäftat, bra support • Objektorienterat, C++/C#, enhetligt API • Signalprocessning som filtrering m.m. • Ny version VT-2005 • Efterklangsmodul, prioritet, geometridriven skuggning… Tekniker

16. Implementering i Gizmo3D • Mål: • Så lite jobb för ljuddesignern som möjligt • Automatiskt genererad spatialisering och akustik • Gizmo3D • Scengrafteknologi Gizmo3D

17. Implementering i Gizmo3D • Sound • Ljudfilsspecifika data • format, url, … • Ljudkällespecifika data • position, hastighet, prioritet • AudioEnv • Övergripande information, avklingning • Inomhus/utomhus • Om utomhus=> väder-presets • AudioObj • Associera en generaliserad geometri • Automatisk bounding volume eller manuellt modellerad • Med materialegenskaper (för absorptionsberäkningar) • Receiver • Gizmo3D:s kameraposition Gizmo3D

18. Ljudmotor • Modellering av ljudvärld • Scengraf-avläsning: traversering • Culling ( = avgränsning) • Grafik Ljud • Partitionering => celler • Egen traversering • För rumsakustik • Spegelkällegeneration för tidiga reflektioner • Beam Tracing eller Image Source • Med valt API • Begränsat med 3D-ljud-hårdvarukanaler • FMOD-prioritetsmotor och stereokanaler • Statistisk modell för efterklangsvans • T60 för varje cell • Med EAX eller FMOD:s mjukvaruefterklangsmodul Gizmo3D

19. Andra aspekter • Skuggning • FMOD-filtrering, OpenAL inte • Prioritet • FMOD har, OpenAL inte • Riktning-direktivitet • Volymetrisk ljudkälla • Prioritetsmotorn i FMOD • Kollisionshantering, interaktivitet • Förändring av ljudkaraktär beroende på kollision • FMOD:s filtrering går att använda • Ambient ljud och musik Gizmo3D

20. Resultat • API-val • Beroende på syfte • Komplett => FMOD • Enkelt => OpenAL • Oavsett => FMOD • Prioritet • 1. Scengrafkoppling • 2. Interaktivitet och kollisionshantering • 3. Skuggning • 4. Musiksupport • 5. Enkel rumsakustik • 6. Hastighet och doppler • 7. Avancerad rumsakustik • 8. Direktivitet Resultat

21. Diskussion • 3D-ljud • Svårt men på G • Tidigare arbeten • Enkelspåriga • Arbetsgång • Stort och okänt område • Resultat • Löst uppgiften • Forsatt utveckling • Själva implementeringen Resultat

22. Tack! • Saab Training Systems AB • Examinator • Åhörare!