Szkriptelés alapok

1. Intelligens rendszerfelügyelet (VIMIA370) Szkriptelés alapok Tóth Dániel, Szatmári Zoltán, Horányi Gergő

2. Tartalom • Műveletek automatizálása, szkriptelés • Eltérések az általános programozási nyelvekhez képest • Linux alapok • Python alapok • Windows PowerShell (következő óra)

3. Motiváció Fájlok csoportos átnevezése MP3 csoportos átkódolás Több fejlesztési projekt együttes fordítása Felhasználók csoportos felvétele Laborgépek menedzsmentje

4. Motiváció 2. Nem szükséges speciális fejlesztői környezet A legtöbb számítógépen könnyen elérhető futtatókörnyezet hozzá Gyors és hatékony eszköz Sok online segédanyag, példa elérhető

5. Szkriptelés • Általában a szkript nyelvek jellegzetességei • Interpreter futtatja • Akár soronként is értelmezhető • Minden futási időben értékelődik ki • Sok esetben típustalan (de a Python ez alól kivétel)

6. Tartalom • Műveletek automatizálása, szkriptelés • Eltérések az általános programozási nyelvekhez képest • Linux alapok • Python alapok • Windows PowerShell (következő óra)

7. Linux alapok • A Bashszkriptnyelven lehet alapvetően programozni • Csak az alapokat nézzük meg, aztán Python • Fontos alapparancsok: • cat: file tartalom kiírása konzolra • grep: keresés fájlban reguláris kifejezéssel • ls: könyvtárak kilistázása („dir”) • cp: fájlmásolás • rm: fájltörlés • chmod: fájl jogosultságának állítása • … (lásd még: gyakorlaton)

8. Linux alapok • Alapvető Bash funkciók • Automatikus kiegészítés • TAB billentyű • Parancs előzmények tárolása • Fel és Le gombokkal navigálás • CTRL+R billentyű kombinációval keresés • history parancs • Terminál gyors bezárása • CTRL+D billentyűkombináció

9. Átirányítások • Standard I/O, minden programnak • 0 – stdin • 1 – stdout • 2 – stderr • Átirányítás • cat fájlnév #fájl→stdout • cat fájlnév 2>&1 #stderr→stdout • cat fájlnév > másikfájl #fájl→stdout→másikfájl • cat fájlnév 2> másikfájl #fájl→stdout, stderr→másikfájl • cat fájlnév &> másikfájl #minden a fájlba ömlesztve

10. Csővezetékek • cat fájl | grep 'x'#catstdout-ját a grepstdin-jába • Láncolhatóak az alkalmazások… DE… • Formázatlan bináris adatátadás történik • Gyors, de strukturált adatot nem kezel • Strukturált adatot szöveges formába kell alakítani (valamilyen módon), majd a fogadó oldalon sorokra, majd azon belül mezőkre bontva feldolgozni • Erre használható programok: cut, awk, sed (tokenizálás, reguláris kifejezések stb.) • Erre jó a bash is, pl. a pipecmd | whilereadVARvagy forVARin$(pipecmd) konstrukciókkal • Egyszerű adatszerkezeteknél még elmegy… • Az emberek itt szokták értékelni a Powershellt

11. Linux és Bash alapok • Bash alapfunkciók • cat, grep, ls • Alapvető shell funkciók • I/O átirányítások • Fájlok másolása Windows és Linux között

12. Tartalom • Műveletek automatizálása, szkriptelés • Eltérések az általános programozási nyelvekhez képest • Linux alapok • Python alapok • Windows PowerShell (következő óra)

13. Miért éppen Python? • Számos elterjedt szkript nyelv létezik • Bash • Perl • Python • Ruby • Python • Hasonlít a már tanult nyelvekhez (C, Java, C#, …) • Nagyon elterjedt, aktívan fejlesztik • Jól dokumentált, rengeteg kiegészítéssel

14. Ki használ Pythont? stb…

15. Python • Python • 1991-ben jelent meg az első verzió • Jelenleg a 3.3-as verziót használjuk • Általános célú, magas szintű • Több paradigmát is támogat: • Objektum-orientált • Imperatív • Funkcionális • Nem csak szkriptelésre használható

16. Python „Beautiful is better than ugly. Explicit is better than implicit. Simple is better than complex. Complex is better than complicated. Readability counts.” The Zen of Python (PEP20) részlet

17. Hello world példa • Kedvenc editorba írjuk be (joe, mcedit, vi, emacs, kwrite…) #!/usr/bin/env python3 #ez egy komment print("Hello world" ) • Az első sor kommentje a „shebang”. Egy hint, a file nevű programnak jelzi, hogy ez milyen fájl is valójában. • Adjunk neki futtatási jogot: chmod +x helloworld.py • Futtassuk (a ./ azért kell, mert az aktuális könyvtár nincs a path-ban) ./helloworld.py

18. Python • Python alapfunkciók áttekintése • Hello World példa

19. Változókezelés • A szokott típusok elérhetőek • Számok • Sztringek • Listák, … • Szkriptnyelv automatikus típusválasztás • ennek ellenére erősen típusos nyelv • Változókonvertáló függvények léteznek • pl.: int("6")

20. Változókezelés #!/usr/bin/envpython3 versionName = "Mountain Lion"#Értékadások major = 10 minor = 6 + 2 versionNumber= str(major) + "." + str(minor) > print("Mac OS X", versionName, versionNumber); Mac OS X MountaionLion 10.8 > 4 + 6 10

21. Változókezelés #!/usr/bin/env python3 print (versionname) # Nem definiált változó, hibaüzenet! # (kis-, nagybetű számít!) print(1/2 )# nem lesz csonkolva, 0.5-ír ki! x = y = z = 0 a, b = 2, 3 quote= "Bringus a shrubbery!" # Hozz nekünk egy rekettyést! print( quote[2] ) # i print( quote[11:-1] ) # shrubbery print( quote[:8] ) # Bringus print( quote[:] ) # Bringus a shrubbery! (másolat)

22. Tömbök • Vannak tömbök! • hasonlóan kezelhetjük, mint a sztringeket tettük fruits= ["apple", "pear"] fruits.append("peach") len(fruits) fruits[0:2] = ["grape", "plum"] for x infruits: print("This is a fruit", x, sep=":")

23. Változókezelés • Változók, értékadások • Szövegek kezelése • Tömbök kezelése

24. Elágazás • Pythonban zárójelezés helyett blokkok behúzása (indentation) van! number= 2ifnumber< 3: print("Smallnumber")elifnumber < 0: print("Negativenumber")else:print("Big number") • Szóköz VAGY TAB karakterekkel, de csak az egyikkel • Akár parancssori értelmezőben használhatjuk • Ne felejtsük le a kettőspontot a végéről • Logikai és/vagy: and/or

25. Ciklusok Létezik foreach ciklus:forx in [1, 2, "alma"]: print(x)for i inrange(0, 5):print(i) És while is:# Fibonaccia, b = 0, 1while b < 1000: print(b, end=',') a, b = b, a+b

26. Modulok • Előre elkészített segédmodulokat használhatunk • CSV kezelés (csv) • Operációs rendszer hívásai (os) • Reguláris kifejezések kezelése (re) • Használatuk: • import modulename

27. Parancssori paraméterek • Egy listában megkapjuk  azt csinálunk vele amit akarunk • persze ez nehézkes lenne, tehát: argparse • argparse • nevesített paraméterek (rövid és hosszú névvel) • flag-ek • pozícionális paraméterek • opcionális paraméterek • tömbparaméterek

28. Argparse • Példakód: parser = argparse.ArgumentParser(); parser.add_argument("name", help="The name to be greeted.", type=str) parser.add_argument("-q", "--quantity", help="Amount of greetings.", type=int, default=1) args = parser.parse_args(); • A szükséges ellenőrzéseket elvégzi helyettünk • Még [-h]elpet is generál

29. Visszatérési érték • Minden parancsnak van visszatérési értéke • Következtethetünk belőle a lefutás eredményére • Ha minden rendben, akkor 0 import sys if args.quantity < 0: print("ERROR: Quantity shall be a positive number.") sys.exit(1)

30. Parancssori paraméterek • ParameterHandlingArgParse.py • Paraméterek definiálása • Nevesített paraméterek használata • Paraméterhibák kezelése • Visszatérési érték

31. String darabolás • String objektum partition vagy split metódusával passwd="root:*:0:0:/bin/sh"first, sep, remainders = passwd.partition(":") all = passwd.split(":") print(first) print(remainders) print(all) > root > *:0:0:/bin/sh > ['root', '*', '0', '0', '/bin/sh']

32. Külső parancsok hívása • os.system() • Parancsok hívása az stdin és stdout használata nélkül • os.popen() • Parancsok hívása az stdin és stdoutfelhasználásával • Ha szükséges a parancs kimenetének feldolgozása

33. Reguláris kifejezések • Sok helyen használhatjuk őket • Pl. sed, awk, grep • (Perl, Java, C#...) • Egyszerű string manipulációt nagyon megkönnyíti • Példa kinek a nevét írtuk rosszul

34. Reguláris kifejezések • Megoldás: • Exportáljuk CSV-be a táblázatot, így fog kinézni: "Személy","Kedvenc étel","mennyiség" "Don Mascarpone","Tiramisu torta","3 szelet" "VitoMascarpone","Bolognai spagetti","2 tányér" "Kicsi Angelo","Gelato fagylalt","5 gombóc" "Nagy Luzio","Gelato fagylalt","2 gombóc" "Federico mortellini","mogyoró","nagy zsák"

35. Reguláris kifejezések Egy lehetséges megoldás: import csv import re for l in csv.reader(open("csvdemo.csv")): if re.match("[A-Z][a-z]* [A-Z][a-z]*", l[0]) == None: print(l[0]) Eredmény:"Személy" "Federico mortellini"

36. Reguláris kifejezések • CSV kezelés • Reguláris kifejezés kezelés

37. Reguláris kifejezések Pythonon kívül • SED == StreamEDitor • Alapvetően az stdinről olvasott szöveg-streamen végez programozható átalakításokat, és az eredményt az stdoutra írja. • Egyszerre valósítja meg többek között a cut, agrep, atr, ahead és a tail parancsot. • Write-only programozás • Példa: Hanoi tornyai s~^xx*$~:n:3:2:1:&:~;tB;d;:B;/^:$/d;h s~^:.:\(.\):.:\(.\):*:.*~\2 --> \1~;x /^:y:.:.:.:*:.*/b0;/^:n:.:.:.:x:.*/b1 s~:n:\(.\):\(.\):\(.:x*\)x:\(.*\)~:n:\2:\1:\3:y:\1:\2:\3x:\4~ bB;:1;x;p;x;s~^:n:.:.:.:x:\(.*\)~:\1~;bB;:0;x;p;x s~^:y:\(.\):\(.\):\(.\):x\(x*:*\)~:n:\1:\3:\2:\4~ bB

38. SED • Hanoi tornyai megoldása SED segítségével • Kutya – macska karakterlánc csere

39. Kommentek • Hagyományos és sorvégi kommentek • # karakter használatával • Fejkommentek (docstring) • Függvény, osztály, modul elején • 3-3 idézőjel (") használatával def function(a, b): """function(a, b) -> list"""

40. Miben fejlesszünk? • Parancssori fejlesztőeszköz (mcedit, nano, …) • bármilyen szövegszerkesztő • Integrált fejlesztőkörnyezet (IDE): PyDev

41. Tanácsok, hibakeresés • Legyen komment a szkript elején • Ki írta, mire való, hogy kell paraméterezni • A bemenő paramétereket ellenőrizzük • Mindent vizsgáljunk meg! • A szkript NE töröljön vagy írjon felül olyan fájlokat, amire nem kértük •  • Ideiglenes fájlokhoz használjuk az mktemp, tempfile-t • Tartsuk be a Python StyleGuide-ot (PEP8)

42. Feladatmegoldás Készítsen egy Python szkriptet, ami fogad egy felhasználó és hozzárendelt könyvtár listát CSV formátumban, létrehozza a felhasználókat és a könyvtárakat és beállítja a jogosultságokat úgy, hogy minden felhasználó be tudjon lépni, olvasni és írni is tudjon a hozzárendelt összes könyvtárban, de ne tudjon belépni egyéb könyvtárakba, amikhez nem volt hozzárendelve. Egy felhasználó több könyvtárhoz és is lehet rendelve és egy könyvtárhoz is több felhasználó lehet rendelve. PosixACL-eket nem használhat, viszont szükség esetén létrehozhat új csoportokat. Ha a rendszeren meglévő felhasználót talál, azt ne módosítsa, hagyja ki teljesen! Feltételezhet angol locale beállítást. A bemenetet a következő formátumban kapja meg: konyvtar1:usernev1konyvtar1:usernev2konyvtar2:usernev2

43. Megoldás felépítés Fejkomment Paraméterek ellenőrzése Bemenetből a felhasználók és könyvtárak kigyűjtése Még nem létező felhasználók létrehozása Még nem létező könyvtárak létrehozása Csoportok létrehozása az egyes könyvtárakhoz Jogok beállítása

44. Feladatmegoldás #!/usr/bin/env python3 """ This script receives a CSV file with directories and associated users and an output folder. Created on 2013.02.19. @author: GergoHoranyi """ importargparse importos.path import sys importcsv # Initialize argparser parser = argparse.ArgumentParser() parser.add_argument("input", help="The path to the input CSV file containing the directories and users to be created.") parser.add_argument("output", help="The parent directory where the new directories shall be created.")

45. Megoldás felépítés Fejkomment Paraméterek ellenőrzése Bemenetből a felhasználók és könyvtárak kigyűjtése Még nem létező felhasználók létrehozása Még nem létező könyvtárak létrehozása Csoportok létrehozása az egyes könyvtárakhoz Jogok beállítása

46. Feladatmegoldás # Parameter checking args = parser.parse_args() ifnotos.path.exists(args.input): print("ERROR: The given input file does not exist.") sys.exit(1) elifnotos.path.isdir(args.output): print("ERROR: The give output directory does not exist or not a directory.") sys.exit(2) elifos.popen("id -nu").read() != "root": print("ERROR: The script shall be started as root (with sudo).") sys.exit(3) # Everything seems to be all right

47. Megoldás felépítés Fejkomment Paraméterek ellenőrzése Bemenetből a felhasználók és könyvtárak kigyűjtése Még nem létező felhasználók létrehozása Még nem létező könyvtárak létrehozása Csoportok létrehozása az egyes könyvtárakhoz Jogok beállítása

48. Feladatmegoldás inputFile= open(args.input) # Iterate over therows of the CSV file forrowincsv.reader(inputFile).readLines(): directory= row[0] user= row[1] ifint(os.popen("grep"+user+" /etc/passwd | grep-c ':'").read()) == 0: # Checkwhethertheuserexists print("New usershall be added:", user) os.system("useradd " + user) ifnotargs.output.endswith("/"): # Checkwhetherthe output parameter has an "/" atthe end parent= args.output + "/" else: parent= args.output

49. Megoldás felépítés Fejkomment Paraméterek ellenőrzése Bemenetből a felhasználók és könyvtárak kigyűjtése Még nem létező felhasználók létrehozása Még nem létező könyvtárak létrehozása Csoportok létrehozása az egyes könyvtárakhoz Jogok beállítása

50. Feladatmegoldás # Createdirectoryifnotexists ifnotos.path.isdir(parent + directory): os.makedirs(parent+ directory) groupname= "irf_example_group_" + directory # Creategroupfordirectory os.system("groupadd " + groupname) # Setthegroup of thedirectory os.system("chgrp -R " + groupname + " " + parent + directory) # Revokeallpermissionsfromthedirectory os.system("chmoda-rwx " + parent + directory) # Add allpermissionsforthedirectory os.system("chmodg+rwx" + parent + directory) # Add theusertothegroup. os.system("usermod-a -G " + groupname + " " + user) sys.exit(0)