Ich habe etwa im Jahr 2000 mit einer Text-Datei namens readme.guettli angefangen. Dort wurden kleine Shell-Scripte und Argumente für Befehle aufgeschrieben, die man im Beruf oder in der Freizeit immer wieder benötigt. Im Laufe der Zeit wurde die Datei überarbeitet und steht hier nun schon mehrere Jahre für andere zur Verfügung.

Während eine sachliche Beschreibung von Software meistens vorhanden ist, fehlt oft eine subjektive Wertung. Darum stelle ich außerdem meine Sichtweise vor. Da für jedes Problem mehrere Lösungsmöglichkeiten existieren, hoffe ich mit Hinweisen wie "ich finde aufgrund XYZ Programm A besser als Programm B" Einsteigern zu helfen.

Seit Juli 2016 pflege ich meine Tipps zur Softwareentwicklung hier: My personal programming guidelines

1 Linux vs. Windows [toc]

2 Interaktive Programme [toc]

2.1 Diff [toc]

diff -w -y -W 200 -t old.txt new.txt | less

 -w:     Ignoriere Änderungen die nur aus Leerzeichen bestehen
 -y:     Zeige die Dateien nebeneinander an
 -W 200: Verwende insgesamt 200 Zeichen in der Breite (Etwa 100 für old.txt, und 100 für new.txt)
 -t:     Geben keine Tabs, sondern Leerzeichen aus (Nötig, wenn less mit der Option -x4 (Ein Tab entspricht vier Leerzeichen) gestartet wird)

2.2 Email [toc]

2.2.1 Thunderbird [toc]

• Thunderbird ConversationsAlle Mails eines "Dialogs" zusammen anzeigen, auch wenn die Mails in verschiedenen Ordnern liegen.
• Nostalgy: Mit diesem Plugin lassen sich Shortcuts definieren, um Thunderbird besser mit der Tastatur (anstatt der Maus) bedienen zu können. Bsp: Mails mit "S" und dann einem Autocomplete-Feld in Ordner verschieben.
• Sieve: Mit diesem Plugin lassen sich Sieve Scripte leicht auf dem Server editieren/installieren/aktivieren.
• EditSubject: Mit diesem Tool kann man die Betreffzeilen von Mails bearbeiten.

2.2.2 Keyboardshortcuts [toc]

2.3 Pager [toc]

2.3.1 Einführung in den Pager "less" [toc]

    > beispiel_command | less

    oder

    > less .bashrc

    Die wichtigsten Befehle:

     /     --> Suchen (n: Nächster Treffer; N: vorhergehender Treffer)

     F     --> wie "tail -f": Die Anzeige wird aktualisiert,
           falls neue Daten da sind. 
           Wieder zurück in den Pager-Modus mit ctrl-c.
           Kann auch beim Aufruf angegeben werden: "less +F datei.log"

     -S    --> Zu lange Zeilen werden nicht umgebrochen

     g/G   --> Gehe zum Anfang/Ende der Datei

     20G   --> Gehe zur Zeile Nummer 20

2.3.2 Umgebungsvariablen [toc]

    #less pager
    #q:  silent
    #Q:  allways quiet (Switching from "F" back)
    #i:  case insensitiv search
    #x4: Tab is four spaces (not eight)
    #F --quit-if-one-screen: Causes less to automatically exit if the entire file can be displayed on the first screen.
    #M: Print size of file in the prompt at the bottom

    export LESS=-qQix4FM

2.3.3 Suchen mit + [toc]

  less +/path .bashrc        # Öffne .bashrc und suche nach "path"
  less +F /var/log/auth.log  # Öffne das Log-File und aktualisiere das Ende fortlaufend

2.3.4 ascii vs latin1 oder utf8 [toc]

LESSCHARSET=ascii less -R file-with-latin1-or-utf8.txt

2.4 Bildbearbeitung [toc]

2.4.1 Speicherung auf der Festplatte [toc]

2.4.2 Gimp [toc]

• ALT+SHIFT während dem Verschieben verschiebt nur die "Selection" aber nicht das Bild in der Selektion.
• Linien zeichnen: Mit Pinsel oder Stift malen und Shift-Taste halten.
• Füllen von transparentem Hintergrund: Markieren, Bearbeiten/Füllen
• Mit transparenter Farbe malen (Alphakanal bearbeiten): Im Ebenen-Dialog die gewünschte Ebene markieren. Rechte Maustaste --> "Ebenenmaske hinzufügen" (ggf. vorher Alphakanal hinzufügen). Und dann "Alphakanal der Ebene übernehmen". Für die Ebene gibt es nun zwei Vorschaubilder (im Ebenen-Dialog), die man einzeln selektieren kann. Wählt man die Ebenenmaske, dann malt schwarze Farbe den Bereich transparenter und weiße Farbe macht den Bereich deckender.
  Siehe auch Ebenenmaske im Handbuch
• Farbe zu Transparenz: Kontexmenü / Filter / Farben / Farbe nach Transparenz
• Rote Augen entfernen:
  1. Mit der Lupe die Augen 'ranzoomen'.
  2. Doppelklick auf Freihand-Auswahl
  3. Ausblenden einstellen
  4. roten Bereich markieren (Shift-Klick, beim zweiten Auge, damit erster Bereich nicht verloren geht)
  5. rechte Maustaste: Werkzeuge / Farben / Farbton-Sättigung
  6. Helligkeit und Sättigung nach links ziehen.
  7. Anschließend ggf. Lichtreflex in den Augen mit dem Stempelwerkzeug aufhellen. (Mit strg-Klick den weißen Bereich neben der Iris wählen. Pinsel auf 1x1 Pixel stellen)
  Siehe auch: gimp-rote-augen
• Crop per Tastatur: Shift-c, Ausschnitt wählen, dann Enter drücken.
• Deutschsprachiges Benutzerhandbuch

2.4.3 Gruppenfoto beschriften [toc]

• Fehlende Personen mit dem Bildbearbeitungsprogramm Gimp mit verschiedenen Ebenen "dazu zaubern". Speichern als XCF, exportieren als gruppenfoto.png
• Inkscape (Vektorgrafikprogramm): Die PNG Datei vom letzten Schritt per "Verknüpfung" laden. Nummern über das Bild malen. Speichern als gruppenfoto-mit-nummern.svg, exportieren als gruppenfoto-mit-nummern.png (300dpi, Export von "Zeichnung")
• LibreOffice: Bild einfügen (aus Datei. Dabei "als Link" aktivieren). Tabelle mit der Namen und Nummern der Personen unter dem Foto mit Nummern erstellen. Exportiert zu gruppenfoto-mit-nummern-und-namen.pdf
• Diese PDF-Datei an alle per Mail veschickt. Vorher Dateigröße prüfen. Sollte nicht größer als 1MB sein. Fragen ob es Verbesserungsvorschläge oder Hinweise zu Tippfehlern gibt.
• Eine Woche auf Antwort warten.
• Aus LibreOffice exportieren als gruppenfoto-mit-nummern-und-namen.jpg. Bei Fotodienstleister drucken lassen.
• An Personen verteilen.

2.5 FTP-Client [toc]

2.6 Screen [toc]

• Strg-z -->> Prozess unterbrechen
• bg --> Prozess im Hintergrund schicken
• disown -h %1 --> Prozess von der Shell abkoppeln und immun gegen SIGHUP machen.
• logout --> Aktuelle Shell kann beendet werden, und Prozess läuft trotzdem weiter.

3 Shell [toc]

3.1 Sich in der Shell "bewegen" [toc]

   Pfeil-hoch/runter: Blättern in der History
   ctrl-a: Anfang der Zeile
   ctrl-e: Ende der Zeile
   ctrl-r: Rückwärts in der History (letzte Eingaben) suchen
   ctrl-k: Bis Ende der Zeile löschen
   ctrl-y: Einfügen von gelöschten Bereichen
   ctrl-d: Aktuelles Zeichen löschen

   ALT. --> letztes Argument einfügen.

3.2 Allgemein [toc]

3.3 Startdateien [toc]

• ~/.bashrc:

  # ~/.bashrc: executed by bash(1) for non-login shells.
  
  # Ich finde folgende Prompt praktisch.
  # Vorteil 1: "===>" findet man leicht, wenn man
  # mehrere Seiten im xterm zurückblättert.
  # Vorteil 2: Da das aktuelle Verzeichnis in der ersten
  # Zeile und der Cursor auf der zweiten, steht der Cursor
  # immer an der gleichen Stelle
  if [ "$PS1" ]; then
      if [ "$USER" = "root" ]; then
          striche="###"
      else
          striche="==="
      fi
      PS1="\u@\h:\w\n${striche}> "
  fi
  
  if [ "$PS1" ]; then
      # C-w nicht vom Terminal verarbeiten,
      # sondern per .inputrc zu kill-region mappen
      stty werase ''
  fi
  
  # Per Default Leserechte für alle.
  # 022 entspricht "chmod 755" oder "chmod a=rX,u+w"
  # Für Verzeichnisse: drwxr-xr-x
  # Für Dateien:       -rw-r--r--
  umask 022
  
  # Das Software, die man mit prefix=$HOME installiert ist in $HOME/bin.
  # Meine Scripte sind in $HOME/scripts
  PATH="$HOME/bin:$HOME/scripts:${PATH}:.:/usr/sbin:/sbin"
  
  
  # History der Bash (zurückblättern) soll lang sein.
  # Default von 500 Zeilen ist zu wenig.
  
  # HISTSIZE: Anzahl der Zeilen im Speicher
  export HISTSIZE=50000
  
  # HISTFILESIZE: Anzahl der Zeilen in der Datei
  export HISTFILESIZE=50000
  
  
  # Schreibe die eingegebenen Befehle sofort und
  # mit Zeitstempel in die History
  export PROMPT_COMMAND="history -a"
  export HISTTIMEFORMAT="%Y-%m-%d %H:%M:%S : "
  
  #less pager
  #q:  silent
  #Q:  allways quiet (Switching from "F" back)
  #i:  case insensitiv search
  #x4: Tab is four spaces (not eight)
  export LESS=-qQix4
  
  #Deutscher Zeichensatz, aber Fehlermeldungen
  #sollen auf englisch sein:
  export LC_CTYPE=de_DE

• ~/.inputrc

  #~/.inputrc fuer readline Bibliothek
  # Änderungen an dieser Datei können mit C-x C-r eingelesen werden.
  
  #Kein Piepsen!
  set bell-style visible
  
  #Case insensitiv file completion (TAB-Taste bei Befehlen/Dateien)
  set completion-ignore-case on

3.4 Grep [toc]

•    find . | grep -E '\.(txt|html)$'
     
     -E: Extended Regular Expression
  
     findet alle Dateien ab dem aktuellen Verzeichnis, die mit .txt oder
     .html enden ($ == Ende). Symlinks werden nicht aufgelöst.

•    grep -rsiEI '[^f]xform' .
     
      -r: Rekursiv
      -s: silent (Keine Fehlermeldung falls "permission denied")
      -i: Case-Insensitiv (kein Unterscheidung zwischen Groß- und 
          Kleinschreibung)
      -I: Durchsuche nur Text-Dateien, keine binären Dateien.
      -E: Extended Regular Expression: "(" für Gruppierungen, "|" für "oder"
      -P: Perl/Python Compatible Regular Expression.

•    grep -r --include '*.txt' abcde .
  
       --include: Durchsuche nur Dateien auf die das Glob-Muster passt (Siehe auch "man 7 glob")

3.5 tr [toc]

• Bestimme Prozesse killen:

  > kill $(ps aux | grep '[g]pg-agent'| tr -s ' ' ' ' | cut -d ' ' -f2)

  • ps aux: Alle Prozesse anzeigen
  • grep: gpg-agent, aber nicht den eigenen grep-Prozess anzeigen
  • tr -s ' ' ' ': Mehrfache Leerzeichen durch eins ersetzen
  • cut -d' ' -f2: Nur die zweite Spalte ausgeben
  • kill $(...): Das Ergebnis des geklammerten Ausdrucks sind Prozess-IDs. Diesen Prozessen das Signal SIGTERM senden.
• Alle nicht druckbaren Zeichen ersetzen:

  > befehl-mit-ausgabe-auf-stdout | tr -c '\n\040-\176' '\n~'
  
  siehe "man ascii"
  \040 ist oktal SPACE
  \176 ist oktal ~
  
  -c Komplementär von MENGE1
  
  UTF8 Zeichen machen bei grep ggf. Unschöne Umbrüche: (Umlaut Ä)
  Die Ã
       nderung
  
  --> Die ~~nderung

3.6 Schleife [toc]

3.6.1 Allgemein [toc]

   find . | while read file
   do 
    bsp_command "$file"
   done

3.6.2 Dateien umbenennen [toc]

for file in *.TTF; do mv "$file" "${file%.TTF}.ttf"; done

#abc_foo.jpg --> abc_bar.jpg
for file in *.jpg; do mv $file ${file/foo/bar}; done 

3.6.3 Dateie verschieben [toc]

find ... -print0 -name '*.png' |  xargs -0 mv --target-directory mydir

3.7 mystring.endswith("beispiel") in der Bash [toc]

   if [ "${myvar: -3:3}" = "foo"]; then
     ....
   fi

3.8 Ausgaben zusätzlich in eine Datei umleiten [toc]

• beispiel_command >beispiel.out 2>&1 

  Stderr (Standard-Error) und Stdout (Standard-Out) werden in eine Datei geschrieben, Die Reihenfolge der Umleitungen ist entscheidend. Das "Verbiegen" von Stderr (2) zu Stdout (1) muss hinten stehen.
• Ein Programm zur Batch-Bearbeitung im Hintergrund starten:

  nohup nice mein-script >> $HOME/log/mein-script.log 2>&1 </dev/null & 

  nohup	Nach dem Beenden der Shell wird der Init-Prozess der "Papa" des Prozesses
  nice	Niedrigere Priorität. Ein Batch-Job sollte andere Aktionen nicht bremsen.
  >> ...	Logausgaben an ein Logfile anhängen.
  </dev/null	Stdin schließen. Falls man per SSH angemeldet ist, kann man sonst die Shell nicht beenden, weil ein Filedescriptor noch offen ist. Siehe OpenSSH FAQ

3.9 Dateien nach Zeitstempel sortieren (inkl. Unterverzeichnisse) [toc]

   find . -printf '%TY-%Tm-%Td:%TT %p\n' | sort 

   oder einfacher: find -printf '%T+ %p\n' (GNU Extension)

   %T steht für die mtime (Modifikationszeitpunkt). Es kann
   auch %C (Change Time) oder %A (Access Time) verwendet werden.
   Siehe auch "man find" und "man stat"
   

3.10 Dateien, die älter als 24 Stunden sind finden [toc]

    find . -mtime +0  # Dateien, die älter  als 24 Stunden sind
    find . -mtime  0  # Dateien, die jünger als 24 Stunden sind
    find . -mtime -1  # auch: Dateien, die jünger als 24 Stunden sind
   

3.11 Dateien eines bestimmten Datums finden [toc]

    #        MMDDHHMM (7. Juli des aktuellen Jahres)
    touch -t 07070000 ~/tmp/start$$
    touch -t 07072359 ~/tmp/end$$
    find -newer ~/tmp/start$$ \! -newer ~/tmp/end$$
    rm ~/tmp/start$$ ~/tmp/end$$
   

3.12 Plattenplatzverbrauch [toc]

3.12.1 Liste aller Verzeichnisse/Dateien sortiert nach größe [toc]

    root> du -ax / | sort -rn > /var/tmp/du-$(date --iso).log

    -x: Bleibe auf diesem Dateisystem. D.h. /proc wird übersprungen. 
    -a: Alle Dateien, nicht nur Verzeichnisse werden angegeben.

    sort -rn: Numerisch absteigend sortieren.


    Falls kein Platz mehr für die Log-Ausgaben sind:

    root@plattevoll> du -ax / | ssh nutzer@woanders -C "sort -rn > /var/tmp/du-$(date --iso).log"
   

3.12.2 Man spricht menschlich [toc]

    ls -lh
    --> Größe der Dateien im aktuellen Verzeichnis
   
    du -h
    --> Gesamte Größe inkl. Unterverzeichnisse

    df -h
    --> Platz auf den Dateisystemen/Partitionen
   

3.12.3 Gesamte Größe bestimmter Dateien. [toc]

find -name '*.py' -print0 | du -b -c --files0-from=-

3.13 Mehrere Jobs [toc]

    fg ; while /bin/true; do echo -ne \\a; sleep 1; done
   

3.14 Control-Zeichen [toc]

Oct   Dec   Hex   C  
-----------------------------
000    0    00   \0  ^@  NULL (Binäre Null)
007    7    07   \a  ^G  bell
010    8    08   \b  ^H  Backspace 
011    9    09   \t  ^I  Tab
012   10    0A   \n  ^J  Linefeed (newline)
013   11    0B   \v  ^K  Vertical Tab
014   12    0C   \f  ^L  Formfeed
015   13    0D   \r  ^M  Carriage Return
033   27    1B       ^[  Escape

3.15 Recode [toc]

# CR/LF wird zu LF (dos --> unix)
recode latin1/CR-LF..latin1 datei.txt

# und zurück
recode latin1..latin1/CR-LF datei.txt

3.16 Fehlende Beispiele [toc]

3.16.1 chmod [toc]

  chmod -R a+rX

   -R rekursiv
   a+ für alle folgende Rechte hinzufügen
   r  Leserecht
   X  Nur für Verzeichnisse: Das Recht, das Verzeichnis aufzulisten (ls)
  

3.16.2 Reguläre Ausdrücke [toc]

3.16.3 set -u [toc]

3.17 Defekte Symlinks finden (Find broken symlinks) [toc]

find / -type l ! -execdir test -e '{}' \; -print

 Erläuterung:

 find /                          Starte find im Wurzelverzeichnis
   -type l                       Suche Symlinks
    ! -execdir test -e '{}' \;   Falls Datei nicht existiert,
        -print                   gebe den Dateinamen aus

3.18 Prozesse [toc]

3.19 Scripte [toc]

• kill-regexp.pl: Beende Prozesse, auf die ein regulärer Ausdruck passt.
• my-html-tidy.sh: Überprüfe HTML-Seiten mit tidy, ignoriere dabei unnötige Warnungen.
• number-html-headings.py: Nummeriere HTML-Seiten entsprechend der <h?> Tags. Erstelle ggf. eine Inhaltsangabe.
• reprec.py: Rekursives Ersetzen. Kann mit und ohne regulären Ausdrücken verwendet werden.
• settitle.sh: Eine spezielle echo-Anweisung ändert den Titel eines xterms. Bei mehreren xterms auf einem Desktop, kann man so schnell zu einem bestimmten xterm wechseln.

3.20 Wann nimmt man eine "richtige" Programmiersprache? [toc]

4 Sonstiges [toc]

4.1 Vermeide "harte Links" [toc]

4.2 SSH [toc]

• Da scp die Login-Dateien wie z.B. .bashrc ausführt, darf in diesen Dateien keine Ausgabe nach stdout geschehen. Die Ausgabe sollten nach stderr umgeleitet werden:

      echo "bla" >&2
      

• X-Forwarding:

       beispiel@here> ssh -X user@server
       user@server> xeyes ---> Anzeige der xeyes auf dem lokalen Rechner, Programm
         läuft jedoch auf dem entfernten Rechner.
      

• SSH über Hops. Kommt man von Rechner C zu S nur über Rechner M, so hilft folgende .ssh/config Datei (C --> M --> S):

    Host S
      ProxyCommand ssh M netcat -w 5 S 22
      #ssh/scp nun direkt von C zu S möglich.
  

  Hinweis: Das Programm netcat muss auf dem Rechner M installiert sein.
• Mit "scp -r" ist es leider nicht möglich nur bestimmte Dateien zu übertragen. Das ist auch nicht nötig, weil man mit zwei Tar-Befehlen arbeiten kann. Das "tar" auf dem entfernten Rechner schreibt nach stdout und das "tar" auf dem lokalen Rechner liest von stdin. Beispiel:

   # Beispiel 1: Dateien von remotehost holen:
  ssh remotehost "cd beispiel; find . -name '*.jpg' | tar -cf - --files-from=-" | tar -xvf -
  
   # Beispiel 2: Dateien zu remote host kopieren:
   # Aus dem Verzeichnis "workdir" wird das Verzeichnis "beispieldir" kopiert.
  cd workdir
  find beispieldir -name "*.txt" | tar -cf - --files-from=- | ssh remotehost tar -xvf - -C workdir
  

• Startet man in einer SSH-Session ein Programm, das nach Beenden der Session weiterhin aktiv ist (z.B. mit dem Befehl "nohup" ohne schließen von stdin mit "</dev/null"), kann man die SSH-Sitzung nicht beenden. Nach dem Logout (bzw. Strg-D) bleibt die Shell offen. Wie folgt kann man nun vorgehen:

  RETURN ~ h --> Hilfe: Zeigt die Befehle die SSH versteht
  RETURN ~ . --> Beendet die aktuelle Sitzung
  RETURN ~ & --> Schickt die SSH-Sitzung in den Hintergrund.
    

• Portforwarding ist einfach und praktisch. Um einen Port vom lokalen Rechner zu einem entfernten weiterzuleiten wird die Option "-L" verwendet:

   Zwei Rechner:
  
   hier --- entfernt
  
   nutzer@hier> ssh -L 8888:localhost:80 entfernt
  
   Die Secure Shell baut eine Verbindung zu dem Rechner
   "entfernt" auf und leitet von dort localhost:80 weiter zu dem
   Rechner "hier".  Anschließend kann man mit "telnet localhost 8888"
   auf dem Rechner "hier" testen, ob die Verbindung besteht. Merke: Der
   Hostname zwischen den Doppelpunkten wird auf dem Rechner "entfernt"
   aufgelöst.
  
  
   Vier Rechner:
  
   hier2 --- hier --- entfernt --- weit-weg
  
   nutzer@hier> ssh -g -L 8888:weit-weg:80 entfernt
  
   Wie oben, bloß dass von dem Rechner "entfernt" der Port von
   "weit-weg" weitergeleitet wird. Mit der Option "-g" (Gateway) ist es
   anderen Rechnern möglich, den weitergeleiteten Port auf dem Rechner
   "hier" anzusprechen. Eine Verbindung mit "telnet hier 8888" vom
   Rechner "hier2" ist nun möglich.
  
   Die Fehlermeldung "bind: Address already in use" kann ignoriert
   werden. Sie kommt angeblich davon, dass SSH versucht auf IPv4 und
   IPv6 Ports lauschen.
  
  

• Fehlersuchen beim SSHD: Falls der SSH-Server sich nicht so verhält wie er soll, und man möchte z.B. mehr Debug-Meldungen sehen, kann man einen zweiten Server auf einem anderen Port starten. Das ist insbesondere sinnvoll, falls man gerade per SSH eingeloggt ist, und man nicht den Zugang für andere während dem Testen stören will. Gerade bei weit entfernten Server muss man beim Bearbeiten der SSHD Konfiguration sehr vorsichtig sein.

  /usr/sbin/sshd -d -e -p 2222
  
  -d Debug
  -e Log nach stderr
  -p Anderer Port (richtiger Server läuft weiterhin auf 22)
  
   Es startet ein SSH-Server auf Port 2222. Mit einem Client kann man
   sich nun, mit der zusätzlichen Option "-p 2222" mit diesem Server
   verbinden.
  
   Man kann auch mit "-f" dem Debug-Server eine andere
   Konfigurationsdatei geben. Mit dieser Konfigurations kann man dann
   "spielen" und den richtigen Server erst neustarten, falls die Tests
   erfolgreich waren.
  
   Achtung: Der mit "-d" gestartete Server beendet sich nach einer
   Verbindung wieder.
  
  

• NTP für Arme. Lohnt sich der Einsatz von NTP (Network Time Protocol) nicht, oder ist ein Rechner nur per TCP und nicht per UDP erreichbar, dann hilft folgender Aufruf, um die Uhrzeit auf einem entfernten Rechner zu setzen:

      ssh root@weitweg date -s \"$(date -R)\" \; hwclock --systohc
      

  "date -R" wird auf dem lokalen Rechner ausgeführt. Die Option "-R" bewirkt, dass eine Ausgabe erzeugt wird, die der entfernte Rechner auch versteht. Die Ausgabe von Date ohne Optionen ("Mi Dez 14 20:16:05 CET 2005") wird aufgrund der deutschen Schreibweise auf dem entfernten Rechner ggf. nicht verstanden. Mit "date -s" wird auf dem entfernten Rechner das Datum gesetzt.
• SSH Public Key für passwortfreies Anmelden installieren:

  cat ~/.ssh/id_rsa.pub | ssh remote-rechner "mkdir -p .ssh; cat >> .ssh/authorized_keys"
  

  Für diesen SSH-Aufruf muss man das Passwort noch ein letztes Mal eingeben. Einfacher geht es mit ssh-copy-id
• SSH Filesystem. Mit aktuellen Linux-Systemen, können Dateisysteme auch von normalen Nutzern eingebunden werden (FUSE).

4.3 rsync [toc]

• Meistens verwendet man "rsync -avz"
  • a: Archiv: Zeit- und Nutzer-Informationen werden beibehalten, und arbeitet rekursiv.
  • v: Verbose: Zeigt an, welche Dateien gerade kopiert werden
  • z: Compress: Komprimiere den Datenstrom mit gzip
• Der entscheidende Backslash:

       Gegeben: dir1/beispiel.txt
  
       rsync -avz dir1 dir2
       --> dir2/dir1/beispiel.txt
        
       rsync -avz dir1/ dir2
       --> dir2/beispiel.txt
       

• Falls der auszuschließende Dateiname ein Wildcard enthält muss der Pfad absolut sein:

       rsync --exclude '**/beispiel/bar*'
      

4.4 strace [toc]

  strace myapp
  strace -p PID
  

4.5 Open Source Software Lizenzen [toc]

4.6 Netzwerke [toc]

• Meine beliebtesten Optionen für netstat:

           -l Zeige Sockets die an einem Port lauschen (Server)
           -a Zeige alle (lauschende und verbundene) Sockets.
           -Ainet nur tcp/udp nicht unix sockets. Entspricht -tu
           -n Numeric (Port und Rechnernamen als Zahlen anzeigen)
           -p Zeige die PID und den Programmnamen in jeder Zeile.
              Mehr über den Prozess kann man in dem Verzeichnis /proc/PID/ erfahren.
              Nur der Nutzer root kann die PID von anderen Nutzern sehen.
           -e Erweiterte Informationen (Nutzername, Inode)
  
           Bsp:
             Welche Server lauschen auf welchen Ports? (Per Inted gestartete Server ggf. nicht zu sehen)
             netstat -tulpe
  
     

• Mit "lsof -in | grep port_number" kann man herausbekommen welcher Prozess mit dem Port port_number verbunden ist. Als Nutzer kann man sich nur Prozesse anzeigen, die zu seiner UID gehören. Benutzer root kann die offenen Verbindungen von allen Nutzern einsehen.
  
  
  Oder "lsof -i:80": Zeigt alle Verbindungen von/zu Port 80 (http)
  Oder "fuser -n tcp ssh": Zeigt die PID des offenen SSH-Ports an.
• "lsof -i UDP -n": Zeige alle offenen UDP Ports an. Kann nur auf dem Server ausgeführt werden. Offene Ports auf anderen Rechnern kann man per Portscanning erfahren (z.B. nmap)
• Broadcast: Wer ist im Netz? (Leider antworten nicht alle Betriebssysteme)

     ping -b 172.168.0.255
     

• Akustisches Signal, falls Verbindung funktioniert: Während man unter dem Tisch am Switch oder Hub Netzwerkkabel umsteckt, möchte man hören wenn die Verbindung funktioniert:

  ping -a remote_host

• Ein Netzwerk mittels einem IP-Filter sicher zu machen ist nicht schwierig. Da "Verstehen" besser als "SuSE-Firewall" ist, empfehle ich jedem das kurze Netfilter Howto durchzulesen: Netfilter Howto
  
  Es bringt übrigens keine zusätzliche Sicherheit, wenn man ungewünschte Pakete mit DROP ignoriert. Ich finde es besser mit REJECT zu antworten. Das macht das Finden von Fehlern im eigenen Netz einfacher, da nicht auf ein Timeout gewartet werden muss, sondern sofort von der Firewall zurückgewiesen wird.
  
  Firewall-Regeln kann man mit iptables-save und -restore speichern und wieder herstellen. Aus meiner Sicht ist das jedoch nicht sinnvoll. Meist erstellt man die Firewallregeln in einem kleinen Script. Die Regeln sind also schon in dem Script gespeichert. Das lässt sich auch viel besser anpassen als die Ausgaben von iptables-save. Außerdem kann man im Script mit Variablen arbeiten.
• Kommunikation zwischen Client und Server aufzeichnen:
  

  # Verbindung zum Port 80 wird in der Datei capture.dat gespeichert.
  # Es werden die ersten 9000 Bytes der Pakete in die Datei geschrieben.
  # tcpdump läuft auch auf vielen embedded Systemen wie z.B. OpenWRT
  tcpdump -i any -s 0 -w capture.dat port 80
  
  # Nach der Aufzeichnung kann man sich die Datei mit folgendem Befehl
  # ansehen:
  wireshark -r capture.dat 
  

• Wireshark: Display Filter:
  Damit in Whireshark uninteressante Pakete ausgeblendet werden, kann man mit Display Filtern arbeiten: Display Filter

  Kasperfalle: 
  richtig: !(ip.addr == 1.2.3.4)
  falsch:  ip.addr != 1.2.3.4      --> Da auf Absender und Empfänger geprüft wird, ist diese Angabe immer richtig!
  

• Vermeide FTP: Da FTP (File Transfer Protocol) zwei TCP-Verbindungen benötigt, macht es immer wieder Probleme mit Firewalls: Bei aktivem FTP baut der Server eine Verbindung zum Client auf. Der Client hat jedoch meist keine öffentliche IP-Adresse und ist somit nicht erreichbar. Wegen dem Problem verwendet man heute meist passives FTP. Bei dieser Variante baut der Client für den Datentransfer eine Verbindung zum Server auf. Meist steht der FTP-Server hinter einer Firewall in der DMZ (Demilitarisierte Zone). Hat das Netz des Server-Anbieters nur eine öffentliche IP, hat man ein Problem: Einfaches Port-Forwarding reicht nur für den Steuerkanal, der Datentransfer über die zweite TCP-Verbindung ist nicht ohne Weiteres möglich, da die Firewall nur den Port 23 (FTP) weiterleitet.
• Kopieren ohne "Overhead": Dateien kopiert man meist per SSH/SCP über das Netzwerk. Will man den "Overhead" für die Verschlüsselung umgehen (oder ist SSH nicht verfügbar), kann man Folgendes verwenden:

   Empfänger (zuerst starten):
    netcat -l -p 5555 | tar -xf -
   Sender:
    tar -cv -exclude=... -f - . | netcat IP-Empfänger 5555
  

  Eine einzelne Datei kann man auch so kopieren:

   Empfänger (zuerst starten):
    netcat -l -p 5555 | cat > dateiname
   Sender:
    cat dateiname | netcat IP-Empfänger 5555
  

  In wie weit es eine Beschleunigung gegenüber rsync/scp ist, kommt auf das Netzwerk und die Hardware der Rechner an. Rsync über einen SSH-Tunnel benötigt bei einem 1.8GHz Pentium4 10% CPU-Zeit. Entsprechend wird die Lösung mit netcat kaum schneller sein. Der Flaschenhals ist nicht das Ver- und Entschlüsseln sonder das Netzwerk.
• OpenVPN ist eine sehr einfach einzusetzende VPN (Virtual Privat Network) Software. OpenVPN wird von Linux, *BSD und Windows unterstützt. Ich kenne keine andere VPN-Software mit der man eine Verbindung zwischen zwei Rechnern aufbauen kann, die nur mittels DynDNS erreichbar sind (also keine feste IP besitzen).

4.7 PDF [toc]

• Eine Seite mehrfach auf einer Seite drucken (zB kleine Handouts erstellen):

  # one-page.pdf besteht aus einer Seite, die man zB mit Inkscape erstellt hat.
  # Mit dieser Zeile wird die PDF-Datei four-pages.pdf erstellt, die aus vier Seiten besteht. Viermal die gleiche Seite.
  pdftk one-page.pdf one-page.pdf one-page.pdf one-page.pdf cat output four-pages.pdf
  
  # Fasse die Datei von oben zusammen: Vier Seiten auf einer Seite. Erstellt wird four-pages-nup.pdf
  pdfjam --nup 2x2 four-pages.pdf --outfile four-pages-nup.pdf
  
  # Erstellte Datei mit zB "evince" anschauen
  evince four-pages-nup.pdf
  
  # Ausdrucken, zerschneiden, verteilen ....
  

4.8 CD Brennen [toc]

4.9 Exim / Postfix [toc]

• Die wichtigsten Befehle:

  Aktion	Exim	Postfix	Sendmail
  Print Mailqueue	exim -bp	postqueue -p	sendmail -bp
  flush queue (send mails now)	exim -qf	postqueue -f	sendmail -q
  flush queue, retry frozen messages	exim -qff	postsuper -H ALL (restart messages from queue 'hold')
  remove message from queue	exim -Mrm <message-id>	postsuper -d <message-id>
  write mail to stdout	exim -Mvb <message-id>	postcat -q <message-id>

• Die wichtigsten Begriffe bei Exim:
  • Transport: Zustellung der Email (SMTP oder lokale Zustellung). Wird von Director oder Router aufgerufen.
  • Router: Für nicht lokale Domains (Ausgehende Emails)
  • Director: Für lokale Domains
  • Driver: Transport, Router oder Director
  Die Reihenfolge in exim.conf ist entscheidend. Falls ein Router oder Director fehlschlägt (decline) wird der nächste versucht. Falls der letzte fehlschlägt: failed.

4.10 Cron [toc]

• Emails im Fehlerfall:

    # Siehe "man 5 crontab"
    # minute hour day_of_month month day_of_week
    00 01 * * * $HOME/bin/myscript >> $HOME/log/myscript.log 2>&1
   

  Nachteil: Die Fehlermeldungen erreichen uns nur per E-Mail, sind aber nicht im Logfile. Darum Folgendes:

    00 01 * * * $HOME/bin/myscript 2>&1 >> $HOME/log/myscript.log | tee -a $HOME/log/myscript.log
   

  Schritt für Schritt, zum Mitdenken:
  1. Stderr des Scripts wird umgebogen, damit es in die Pipe (| tee ...) schreibt.
  2. Stdout des Scripts schreibt in das Logfile. Normale Ausgaben erzeugen keine E-Mail durch Cron.
  3. Das "tee" liest den ursprünglichen stderr-Strom und gibt ihn auf stdout aus (Cron nimmt das entgegen und verschickt eine E-Mail) und hängt ihn außerdem an das Logfile an.
  Ziel der Übung: Nur im Fehlerfall eine E-Mail erhalten und die Fehlermeldung ist außerdem im Logfile.
  
  Hinweis: Unter Unix kann gefahrlos in eine Dateien von mehreren Prozessen im append-Modus geschrieben werden (Ausnahme: Dateien, die per NFS eingebunden sind).
• Fehlerfinden bei Cronjobs: Wenn ein Script funktioniert, wenn es von der Shell aus aufgerufen wird, heißt noch nicht, dass es klappt, wenn es von Cron gestartet wird. Grund: Es fehlen Umgebungsvariablen:
  • PATH: In der Regel ist der Pfad nur /usr/bin:/bin. In der interaktiven Shell ist jedoch meist $HOME/bin und /usr/local/bin auch im Pfad.
  • HOST: Diese und andere Umgebungsvariablen sind meist nicht gesetzt. Hier hilft z.B. uname -n
  Zum Fehlerfinden kann man folgenden Code in eine Datei schreiben, und sie per Cron aufrufen lassen:

  #!/bin/sh
  echo $(date) >> /tmp/crontest.log
  echo env >> /tmp/crontest.log
  

• Funktioniert ein Script als Cronjob nicht, obwohl es von der Shell aus aufgerufen funktioniert, kann man wie folgt ausprobieren, was passiert, wenn keinerlei Umgebungsvariablen übergeben werden:

  nutzer@host> env -i myscript             # Der Prozess 'myscript' hat keine Umgebungsvariablen
  nutzer@host> env -i PATH=/bin/:/usr/bin/ # Der Prozess hat nur die Umgenungsvariable 'PATH'
  

• Damit die Umgebunsvariablen eines Cronjobs, der interaktiven Shell entsprechen, lese ich oft die Datei .bashrc vorher ein:

    00 01 * * * . .bashrc && bin/myscript.py
   

4.11 Debian / Ubuntu [toc]

   >apt-cache search "regex"
   Sucht nach "regex" in allen Paketbeschreibungen

   >apt-cache show apache
   Zeigt Paketbeschreibung von Paket "apache" an.
   
   >apt-file "beispiel"
   Sucht nach der Datei "beispiel" in allen installierbaren Paketen.
 
   Alle Pakete die auf "hold" stehen zu "install" machen, damit
   sie beim nächsten "apt-get upgrade" aktualisiert werden:
   root> dpkg --get-selections > /tmp/selections
   root> cat /tmp/selections | sed 's/hold$/install/' | dpkg --set-selections 
   

   >dpkg -L beispiel
   Zeige die Liste der installierten Dateien des Paketes "beispiel".

   >dpkg -S /etc/beispiel
   Sucht das Paket zu dem die Datei "/etc/beispiel" gehört. Es wird dabei nur nach installieren Paketen gesucht.

   Achtung, der Slash am Ende ist von Bedeutung:
     # dpkg -S /etc/ssh           
     ssh: /etc/ssh

     # dpkg -S /etc/ssh/
     dpkg: /etc/ssh/ nicht gefunden.

   >dpkg-query ... ähnliche wie dpkg, es wird aber in den installierten und nicht installierten Paketen gesucht. 
   Siehe Debian Anwenderhandbuch
  

4.12 RPM [toc]

   -Archiv entpacken:
  mkdir wvware
  cd $_
  rpm2cpio ../wv-0.7.2-189.src.rpm | cpio -id

  cpio: -i: extract, -d: create directories 

 

  rpm -qf /usr/bin/tex
 

  rpm -qi beispiel
 

  rpm -ql gcc
 

4.13 Pakete, die man braucht [toc]

4.14 umount /media/dvd: device is busy [toc]

 # ggf. als root aufrufen, damit man alles sieht.
 lsof | grep /media/dvd

 # oder
 fuser -u /media/dvd

for file in /proc/[0-9]*/cwd /proc/[0-9]*/fd/* ; do echo $file $(readlink $file) ; done | grep /media/dvd

4.15 SMTP, POP3, HTTP per Telnet [toc]

SMTP (RFC 821):
2xx = OK
5xx = Fehler

telnet mails-server 25
ggf. (M$ IIS): EHLO client-rechner

[AUTH PLAIN ???]

Die Zeichenkette für "???" erhält man mit:
perl -MMIME::Base64 -e 'print encode_base64("username\0username\0password");'
  (Siehe Postfix SASL README)


mail from: <email@me.de>
rcpt to: <user@blu.de>
data
Subject: Hallo!

das ist der Body der Email
. (Zeile mit nur einem Punkt beendet die Email)
quit

POP3 (RFC 1725):
telnet mail-server 110
user <name>
pass <passwort>
list (Anzeige der Emails)
retr <nummer> (Email anzeigen)
dele <nummer> (Email löschen)
[top <msg> <N> (Optionaler
   Befehl (wird von den meisten POP3-Servern implementiert: Anzeigen der ersten N Zeilen)]
quit

HTTP (RFC 2616):
telnet www.beispiel.org 80
GET url HTTP/1.0

(Zweimal Return)

url: / bzw. /beispiel.html

HTTP... kann ggf. weggelassen werden

Da viele Webserver mit "namebased virtual hosts" arbeiten, muss man
dem Webserver noch mitteilen, unter welchem Namen man sich mit ihm
unterhält:
telnet www.beispiel.org 80
GET url HTTP/1.1
Host: www.beispiel.org

 

4.16 Englisch-Deutsches Wörterbuch [toc]

4.17 AVI verkleinern [toc]

HandBrakeCLI -i 20110607_080831-0.MOV -o 20110607_080831-0.mp4

4.18 Anti-Tipps [toc]

4.19 Der kleine Unterschied [toc]

user@host> su
Passwort: 
root@host:/home/user# /etc/init.d/apache restart

user@host> su -
Passwort: 
root@host:~# /etc/init.d/apache restart

5 Programmiersprachen [toc]

5.1 Python [toc]

5.2 Python [toc]

5.2.1 Anzahl der Tage zwischen zwei Datumsangaben [toc]

#!/usr/bin/env python
import datetime
today=datetime.date.today()
weihnachten=today.replace(month=12, day=24)
print weihnachten-today

5.3 Sonstiges [toc]

• Da C eine extrem langsame Programmiersprache ist (Entwicklungszeit!) gibt es nur selten Grund damit zu arbeiten. Um alte Programme oder kleine laufzeitkritische Funktionen zu testen ist valgrind genial: Jeder Speicherzugriff wird interpretiert und man erhält eine Warnung (inkl. Programmzeile) falls man auch nur ein Byte danebengreift.

6 Web-Design und Web-Entwicklung [toc]

6.1 Allgemein [toc]

• Verwende zB jQuery um das Rad nicht neu zu erfinden.
• Nicht zu viele Farben. Lieber einen durchgehenden Farbton.
• Gescannte Bilder oder Bilder einer Digitalkamera sollte man als JPG speichern. Bilder mit großen gleichfarbigen Flächen (Screenshots, Schriftzug, Computer-Zeichnungen) sollte man als PNG speichern. PNG komprimiert verlustfrei, während JPEG verlustbehaftet komprimiert. Folgende Tabelle zeigt einen Screenshot im PNG und im JPEG Format. Bei der blauen Schrift sind die Artefakte besonders deutlich.

  PNG 36 kByte
  JPG 88 kByte

  
  
  TIFF sollte man aus meiner Sicht auch vermeiden. Es gibt viel "Unterformate" von TIFF. Meistens können Anwendungen nur einen Teil aller möglichen Formate lesen und schreiben.
• Die Syntax von HTML lässt sich leicht mit dem Programm tidy überprüfen: http://tidy.sourceforge.net/ Um gewisse Warnungen zu ignorieren verwende ich folgendes Script: my-html-tidy.sh.
• URLs die auf ein Zeil verweisen, dass auf dem gleichen Server liegt, sollten nicht das Protokoll (http://..) enthalten. Erstens: Wird die Seite per https anstatt http angesprochen, funktionieren die Links nicht mehr. Zweitens lässt sich die Seite auch per Portforwarding per SSH (https://localhost:8080 wird zu einem anderen Rechner weitergeleitet) benutzen. Darum sollte man aus meiner Sicht das base-Tag nicht verwenden.

7 Persönliche Meinung [toc]

• KISS: "Keep it Simple and Stupid". Die geringe Akzeptanz von großen Standards wie z.B SGML zeigen, dass man versuchen sollte, die Dinge so einfach wie möglich zu lösen.
• Standards: Standards sind nur sinnvoll wenn die Kommunikation oder der Datenaustausch standardisiert wird. Bei vielen Dingen (z.B. Programmiersprachen) ist es sinnvoller *eine* freie Implementierung zu haben.
• Patente: Mittels Patenten halten sich große Unternehmen Konkurrenz vom Leib. Leider profitieren hauptsächlich große Konzerne von Patenten. Für Kleine- und Mittelständische Unternehmen ist die Anmeldung eines Patents zu aufwendig. Durch Patente geschützte Monopole hindern den freien Wettbewerb und ermöglichen so ungerechtfertige Preise. Folgende Dinge kann man als kleiner Mann tun:
  • Ogg anstatt MP3 für Audiodateien verwenden, da das Erstellen von MP3s nur mit einer Lizenz der Frauenhofer-Gesellschaft erlaubt ist!
  • xpdf anstatt Acrobat-Reader verwenden.
  • Vereine wie FFII unterstützen.
• Du bist nicht allein: Es gibt wohl kein Problem, über das nicht schon andere gestolpert sind. Wenn man innerhalb von 30 Minuten keinen Lösung zu einem Problem gefunden hat, sollte man sich an eine entsprechende Newsgroup oder Mailingliste wenden. Oft reicht es mit Google in Groups zu suchen. Oder suche eine passende Seite bei Stackexchange. Selbst wenn du eine Lösung zu einem Problem gefunden hast, spreche trotzdem mit anderen darüber. Vielleicht gibt es noch eine bessere/einfachere Lösung :-)
• Spenden: Open Source Software kostet Geld. Auch wenn die Software kostenfrei angeboten wird, hat der Entwickler Kosten für Hardware, Netzzugang und ähnliche Dinge. Eine Spende ist in gewisser Weise auch eine Art "Dankeschön" zu sagen. Folgende Projekte habe ich bisher (mit einem kleinen Betrag) finanziell Unterstützt:
  2002
  • EFF: Electronic Frontier Foundation: Online Freedom does not just happen.
  2004
  • Python Software Foundation
  2005
  • Ubuntu Guide
  • Matt Kruse: JavaScript Toolbox
  • Linux Info Tag Dresden
  2006
  • OpenBSD: Ich nutze zwar ausschließlich Linux, doch OpenSSH verwende ich täglich.
  • EFF: Electronic Frontier Foundation: Klage gegen Trivialpatente.
  • HTML Validator Plugin für Firefox
  2007
  • theora.org: Theora is an open video codec being developed by the Xiph.org Foundation as part of their Ogg project
  • Adrian Holovaty: Ein Geschenk aus der Amazon Wishlist, als Dankeschön für Django.
  2008
  • ie4linux: Internet Explorer für Linux (via Wine)
  2010
  • Hugin:Panorama photo stitcher
  Regelmäßige Spenden
  • FSFE: Free Software Foundation Europe (Obwohl ich *kein* Freund der GPL bin)
  • Wikimedia Deutschland

8 Historie [toc]

• September 2003: Unix Stammtisch Chemnitz
• Oktober 2006: Linux-Info-Tag Dresden:
• April 2015: Viele inzwischen veraltete oder nicht mehr wichtige Informationen entfernt.