Server Monitoring mit apybot
Wird nicht mehr verwendet, Monitoring siehe: Server_Monitoring
Motivation
Nach einem unbemerkten Ausfall eines unserer Server, gab es den Wunsch nach einer einfachen Überwachung/Benachrichtigung im Falle eines Ausfalls.
Diese soll auf unserem LTSP Server laufen, da wir diesen praktisch ständig benutzen und so einen Ausfall sofort bemerken.
Ich habe mich entschlossen dies mittels einem Python Script umzusetzen. So entstand der apybot.
Zuerst hatte ich die Idee im Falle eines Ausfalls Mails zu verschicken. Falls nun aber der Mailserver ausfällt funktioniert dies nicht. Nicht nur können dann keine Mails verschickt werden. Es können auch keine empfangen werden. Da wir auf freenode.net den IRC Channel #revamp haben, und dort auch present sind, entstand die Idee, statt der Mails, einen IRC Bot zu verwenden.
Über apybot
apybot ist ein einfacher IRC Bot, geschrieben in Python 3. Grundsätzlich kann dieser verschiedene Aufgaben übernehmen. Nicht zuletzt kann er als einfaches Beispiel für asynchrone Programmierung in Python 3 dienen.
Siehe dazu auch die Python Referenz (englisch): https://docs.python.org/3/library/asyncio.html
Weiterführende Dokumente zur asynchronen Programmierung:
- http://cs.brown.edu/courses/cs168/f12/handouts/async.pdf Allgemeine Einführung (englisch)
- http://www.dabeaz.com/coroutines/ Verwandte Konzepte: Coroutinen, in Python (englisch)
Der source code des apybot ist in meinem git repository: https://github.com/rebootl/apybot
Features/Vorteile
- Asynchrones IO (asyncio) / Ressourcenschonend
- Reaktion auf private messages im IRC
- Periodische Ausführung von Funktionen
- Einfachste Konfiguration
- Einfach erweiterbar/anpassbar
- Saubere moderne Programmierung
- keine weiteren Abhängkeiten (für die Grundfunktion)
Konfiguration
IRC Netzwerk, Channel und gewünschter Nick werden direkt in der Python Datei angepasst.
Zusätzlich kann eine Liste zu prüfender hosts angeben werden. Es können hostnamen sowie IP Adressen angegeben werden. Beispiel:
# Hosts/Servers to check HOSTLIST = [ "localhost", "www.google.ch", "amd64box", "gugus" ]
Anwendung
Befehle können dem apybot im IRC als private Nachricht geschickt werden:
\msg <nick_vom_apybot> <befehl>
Zur Zeit versteht der apybot die folgenden Befehle:
quote Schickt ein Zitat zurück (Verwendet fortune, fortune muss auf dem System auf dem der Bot läuft, installiert sein.) status Gibt eine kurze Statusmeldung aus check Prüft hosts gemäss Konfiguration help Gibt eine kurze Hilfe aus
Bei anderen Messages gibt er einfach "I don't know..." aus.
Alternativen
- kanla "kanla: the simple, well-documented alerting software."
Geschrieben vom Entwickler des i3 Windowmanager Michael Stapelberg (leider in perl ;). Siehe: http://kanla.zekjur.net/
- nagios Umfangreiches Monitoring System. Meiner Meinung nach nicht empfehlenswert. Zu kompliziert und umständlich.
- IRC Bot in bash, von Robin: IRC_Bot_in_bash
ToDo
- evtl. feature Mails prüfen einbauen / Überarbeiten
Verwendung in der Revamp-it
Zur Zeit läuft der apybot noch auf unserem Development Server (delfin-web) in meinem home.
Damit dieser automatisch gestartet wird habe ich das folgende systemd service file geschrieben: /etc/systemd/system/apybot-revamp.service:
[Unit] Description=Simple host/server alerting IRC bot Documentation=http://wiki.revamp-it.ch/index.php?title=Server_Monitoring_mit_apybot After=network.target Requires=network.target [Service] User=revamp ExecStart=/home/caydin/Scripts/apybot-revamp/apybot-revamp.py # Restart (!) Restart=always # timeout RestartSec=10 [Install] WantedBy=multi-user.target
Steuerung mittels systemctl. Mehr Informationen zu Systemd, siehe z.B.: https://wiki.debian.org/systemd Oder auch: https://wiki.archlinux.org/index.php/Systemd
Probleme / Bugs
Nach einiger Zeit lässt sich sagen, dass es doch zum Teil Probleme gibt.
- Gelegentlich stürzt der Bot ab und wird nicht neu gestartet. Wobei nicht ganz klar ist warum dies geschieht...
- Nach einfügen eines Timeout im systemd service files (siehe oben) kommt dies weniger häufig vor.
Für die Zukunft wäre allenfalls eine Alternative zu suchen. Allenfalls könnte man die Überwachung auch aufteilen: Z.B. könnte ich mir gut vorstellen kanla für Webseiten einzusetzen. Für die server an sich könnte man eine der anderen lösungen verwenden. Siehe auch: Server Monitoring (insb. Abschnitt zabbix)
Vergleich C++ vs. Python
Interessehalber wollte ich wissen wie Python in einem Vergleich zu einer anderen Sprache abschneidet. So habe ich den IRC Parser zusätzlich in C++ implementiert. Da dies jedoch nichts mit dem Server Monitoring zu tun hat dokumentiere ich es in einem separaten Artikel: Vergleich C++ vs. Python