[freifunk-public] Domainsplit: Migration von Knoten in MZG

[Ralf Jung]

Hi Sebastian,

> mir schwebt sowas vor, wie die in Nordheide machen, z.B.:
> http://statistik.freifunk-nordheide.de:3000/d/fLurVy4Zk/node-stat-1-minute-interval?viewPanel=18&orgId=1&var-nodeid=60e32791bade&from=now-7d&to=now 

Wenn ich mir deren Query anschaue...

>       "query": "SELECT mean(\"clients.wifi24\") + mean(\"clients.wifi5\") +  (mean(\"clients.total\") -  mean(\"clients.wifi\")) FROM \"node\" WHERE (\"nodeid\" =~ /^$linktargets$/ OR \"nodeid\" =~ /^$nodeid$/) and \"hostname\" !~ /^$gateway$/ AND $timeFilter GROUP BY time($__interval), \"hostname\"",

... dann haben die die Daten in einer SQL-Datenbank. Die Query wirst du also 
nicht 1:1 kopieren können, da wir Prometheus verwenden.
Aber das interessante ist ja die Mesh-Erkennung... und da sehe ich nicht auf 
Anhieb, wie die das machen. Ich sehe hier nichts was transitiv arbeitet, also 
automatisch auch alle Nachbarn der Nachbarn mit einbezieht. Vielleicht machen 
sie Preprocessing woanders, das könnte man dann nicht ohne weiteres in unserem 
Grafana nachbauen.

Was ich andachte ist die "low-tech"-Variante wo man selber von Hand zu Fuß 
auswählen muss, welche Knoten denn zu der Wolke gehören. Das muss man nur einmal 
machen und kann sich dann nen Lesezeichen setzen. Die linke der beiden 
Dropdown-Menüs in deinem Link hat so eine Checkbox für jeden Knoten; das war was 
ich vorhin meinte mit "irgendwas mit Checkboxen". Also keine "lokale Cloud" oder 
so aber immerhin eine UI wo mann eine beliebige Teilmenge von Knoten 
gleichzeitig und aufsummiert angezeigt bekommt. Das halte ich für prinzioiell 
nötig, erfordert halt etwas Prometheus- und Grafana-Zauberei.

Viele Grüße,
Ralf

> 
> 
> Wenn Du es für möglich hältst, dass das bei uns im Grafana auch
> konfigurierbar ist, dann fuchse ich mich da gerne mal rein.
> 
> Grüße
> Sebastian
> 
> 
> Am 19.04.21 um 20:25 schrieb Ralf Jung:
>> Hi Sebastian,
>>
>>> Was die Grafen angeht, was müsste ich den konkret tun um diese in
>>> Grafana hinzubekommen?
>>> Am kommenden Donnerstag 22.04. ist z.B. eine Gemeinderatsitzung im
>>> Vereinshaus Perl.
>>> Da wären folgende Knoten interessant:
>>> https://mgmt.saar.freifunk.net/hopglass/#!v:m;n:9483c4013f09
>>> https://mgmt.saar.freifunk.net/hopglass/#!v:m;n:ccce1e5b87af
>>
>> Ich glaube nicht dass du da Client-Seitig viel machen kannst. Wenn du
>> Interesse hast kann ich versuchen dir einen User auf dem Grafana
>> einzurichten mit dem du dort die Panels bearbeiten kannst (bzw Kopien
>> davon).
>>
>> Zu tun wäre dann,
>> <https://mgmt.saar.freifunk.net/grafana/d/nodestats-by-name/knotenstatistiken-nach-name?orgId=1&refresh=5m> 
>>
>> so anzupassen dass man mehrere Knoten auswählen kann (ich weißnicht
>> genau was Grafana und das Backend Prometheus da unterstützt --
>> irgendeine Form von Wildcard geht bestimmt, vielleicht kann man auch
>> irgendwas mit Checkboxen machen), und dann die Definition der Queries
>> für alle Panel anzupassen sodass er die Summe bzw den Durchschnitt
>> nimmt (was halt je nach Panel Sinn macht).
>> Also zum Beispiel, für den Traffic ist die Query aktuell
>>
>>  sum(rate(statistics_traffic{mtype=\"user\",type=\"rx\",hostname=\"$Knoten\"
>> }[3m]))*8
>>
>> Da müsste man jetzt wohl das "hosname=" durch "hostname=~" ersetzen
>> und dann dahinter die entsprechende Syntax für "fuzzy" matching
>> verwenden, die kenne ich gerade nicht auswendig. Wenn man die ganzen
>> Knoten einzeln gestapelt im Graphen sehen will muss noch ein "by
>> (hostname)" an die richtige Stelle und dann die Labels entsprechend
>> angepasst werden damit Grafana das schön darstellt (da gibts
>> "label_replace").
>>
>> Also, das geht alles, aber man muss sich halt in Grafana und
>> Prometheus reinfuchsen und aus den Prometheus-Queries und der
>> Grafana-UI das alles so zusammenbasteln dass es das richtige tut. ;)
>>
>>> Dort wird dann über eine weitere Kooperation mit der Deutschen
>>> Glasfaser beraten (und hoffentlich positiv beschieden). Je nach
>>> Ausbau werden dann deutlich mehr Vereinshäuser, Feuerwehren, etc. bei
>>> uns in den Genuss von Freifunk kommen. So mal der Plan.
>>
>> Sehr cool. :)
>>
>> Viele Grüße,
>> Ralf
>>
>>> Ein weiteres Bürgerhaus ist bei uns bereits versorgt mit 5 Knoten:
>>> ffsaar-sfinp-tb*
>>> Und die 8 Knoten ffsaar-RuFV* bilden das größte von mir betreute
>>> mesh, nach Anzahl der Clients.
>>> Es gäbe noch ein paar mehr, deren Statistiken mir sehr helfen würden
>>> bei anderen Vorhaben Reklame zu machen.
>>> Grüße
>>> Sebastian
>>> *Gesendet:* Montag, 19. April 2021 um 10:11 Uhr
>>> *Von:* "Ralf Jung" <post at ralfj.de>
>>> *An:* "Fam. Fontaine" <fontaines at gmx.de>,
>>> freifunk-public at saar.freifunk.net
>>> *Betreff:* Re: [freifunk-public] Domainsplit: Migration von Knotenin
>>> MZG
>>> Hallo Sebastian,
>>>
>>>  > wenn die Knoten migrieren, dann ändern sie ja ihre IPv6 Adresse,
>>> richtig?
>>>  > In der Vergangenheit war es schonmal so, dass nicht alle gewohnten
>>>  > Adressen verfügbar waren, weil Gateways gerichtet wurden.
>>>  > Auf einige der von mir aufgestellten Knoten greife ich regelmäßig per
>>>  > ssh zu und zwar nicht aus dem Freifunk-Netz, sondern aus dem Internet
>>>  > heraus.
>>>  > z.B. um solche Grafiken zu erstellen, die ich in Grafana nicht
>>>  > hinbekommen habe:
>>>  > https://sfinp.de/RuFV/graph.png <https://sfinp.de/RuFV/graph.png>
>>>
>>> Ja, Knoten ändern ihre IP wenn sie die Domain wechseln. Das lässt
>>> sich nicht
>>> vermeiden; Domains zeichnen sich gerade dadurch aus dass zwischen
>>> ihnen Routing
>>> (und nicht Switching) betrieben wird, und das reflektiert sich
>>> notwendigerweise
>>> in der IP.
>>>
>>> Für einen bestimmten, *festen* (oder manuell ausgewählten) Satz
>>> Knoten könnte
>>> man solche Graphen auch in Grafana bekommen, indem man die
>>> Nodeinfo-Seite
>>> anpasst sodass da mehrere Knoten ausgewählt werden können. Aber nicht
>>> ohne
>>> weiteres automatisch für jedes lokale Mesh.
>>>
>>>  > Mir ist nicht bekannt, dass es für die Knoten einen DNS imInternet
>>>  > geben würde, so in der Art <Knotenname>.saar.freifunk.net
>>>  > Das würde mir jetzt z.B. sehr helfen und mir ersparen die /etc/hosts
>>>  > anpassen zu müssen. Wurde soetwas schonmal angedacht?
>>>
>>> Das wäre, so weit ich weiß, mit ziemlichem Aufwand verbunden.Mit
>>> solchen
>>> automatisch gefüllten DNS-Zonen habe ich keine Erfahrung. FürIPv4
>>> weiß ich dass
>>> es sowas basierend auf DHCP gibt, da kennt ja eh ein zentraler Server
>>> alle IPs
>>> (aber bei uns wäre auch das schon schwer weil es sind 4 Server) --
>>> aber für IPv6
>>> gibt es gar keine vergleichbare zentrale Instanz. Man würde sich
>>> vermutlich am
>>> Besten die Daten aus dem Hopglass ziehen und da irgendwie eine
>>> DNS-Zone draus
>>> generieren... saar.freifunk.net als DNS-Zone läuft allerdings aktuell
>>> auf
>>> hacksaar.de, ist also ziemlich weit weg von den Details des
>>> Freifunk-Netzes, da
>>> müsste man also auch noch etwas herumdelegieren.
>>>
>>> Also: nein, wurde nicht angedacht, und sprengt aktuell auch den
>>> Rahmen dessen
>>> was ich Zeit hätte zu implementieren -- aber theoretisch möglich wäre
>>> es, fast
>>> alles ist theoretisch möglich wenn nur jemand genug Arbeit
>>> hineinsteckt. ;)
>>>
>>> Viele Grüße,
>>> Ralf
>>>
>>>  >
>>>  > Grüße
>>>  > Sebastian
>>>  >
>>>  >
>>>  > Am 18.04.21 um 15:02 schrieb Ralf Jung via freifunk-public:
>>>  >> Hallo allerseits,
>>>  >>
>>>  >> da offenbar alles gut aussieht, machen wir gleich weiter. :)
>>>  >> Am nächsten Samstag den 24.4. um 7:00 morgens werden die gut 60
>>>  >> ausstehenden Knoten im Landkreis Merzig-Wadern migriert.
>>>  >>
>>>  >> Viele Grüße,
>>>  >> Ralf und Marvin
>>>  >>
>>>  >> On 17.04.21 11:14, Ralf Jung via freifunk-public wrote:
>>>  >>> Hallo allerseits,
>>>  >>>
>>>  >>> die Migration ist heute morgen durchgelaufen und so weit ich das
>>>  >>> sehen kannwar das erfolgreich -- NK ist jetzt die zweitgrößte
>>> Domain
>>>  >>> nach "Sonstige".Das wird sich aber vermutlich bald wieder
>>> ändern. ;)
>>>  >>>
>>>  >>> Falls es irgendwelche Probleme bei dir gab, melde dich bitte.
>>>  >>>
>>>  >>> Viele Grüße,
>>>  >>> Ralf
>>>  >>>
>>>  >>> On 11.04.21 15:33, Ralf Jung via freifunk-public wrote:
>>>  >>>> Hallo allerseits,
>>>  >>>>
>>>  >>>> da alles so gut geklappt hat, machen wir gleich weiter: am
>>> kommenden
>>>  >>>> Samstag den 17.4. um 7:00 werden die Knoten im Landkreis
>>> Neunkirchen
>>>  >>>> in die entsprechende Domain migriert.
>>>  >>>>
>>>  >>>> Viele Grüße,
>>>  >>>> Ralf
>>>  >>>>
>>>  >>>> On 10.04.21 15:02, Ralf Jung via freifunk-public wrote:
>>>  >>>>> Hallo allerseits,
>>>  >>>>>
>>>  >>>>> So weit ich das sehen kann, hat die Migration gut
>>> funktioniert. :)
>>>  >>>>> Falls euch etwas aufgefallen ist, meldet euch bitte.
>>>  >>>>>
>>>  >>>>> Viele Grüße,
>>>  >>>>> Ralf
>>>  >>>>>
>>>  >>>>> On 05.04.21 16:11, Ralf Jung via freifunk-public wrote:
>>>  >>>>>> Hallo allerseits,
>>>  >>>>>>
>>>  >>>>>> Nach langer Vorbereitungszeit und vielen Tests sind wir jetzt
>>>  >>>>>> endlich soweit, die automatische Migration der ganzen
>>> vorhandenen
>>>  >>>>>> Knoten in kleinere Domains durchzuführen. Je größer die Domain,
>>>  >>>>>> desto mehr Overheadentstehtzur Koordination des Netzes; das
>>>  >>>>>> Auftrennen des Netzes in kleinere Domainshilft also, den
>>> Overhead
>>>  >>>>>> zu reduzieren und so die Performance zu erhöhen.
>>>  >>>>>>
>>>  >>>>>> Als erste Gruppe werden wir die Knoten in St. Wendel migrieren.
>>>  >>>>>> Wirhaben dafür jetzt den kommenden Samstag, 10.4., um7:00
>>> morgens
>>>  >>>>>> eingestellt:an diesem Zeitpunkt sollten alle Knoten, die
>>>  >>>>>> geografisch im Landkreis St. Wendel liegen oder die mit einem
>>>  >>>>>> solchen Knoten lokal meshen, in die entsprechende Domain "WND"
>>>  >>>>>> wechseln. Knoten, die die ganze Woche über offline sind,
>>>  >>>>>> bekommendas natürlich nicht mit -- wenn sie auf ein lokales Mesh
>>>  >>>>>> angewiesen sind, um online zu gehen, müssen sie also später von
>>>  >>>>>> Hand migriert werden.
>>>  >>>>>>
>>>  >>>>>> Falls es irgendwelche Fragen gibt, melde dich einfach bei uns!
>>>  >>>>>>
>>>  >>>>>> Viele Grüße,
>>>  >>>>>> Ralf und Marvin
>>>  >
>