Das Video war auch für mich eine wichtige Grundlage. Endlich kann ich meine Daten so strukturieren, wie es am sinnvollsten ist. Im nächsten Video geht es also an "reale" Daten. Dann baue ich ein Dashboard für unsere PV-Anlage, damit wir die App nicht mehr nutzen müssen, sondern alles an einer Stelle sammeln können. Unter anderem kann ich dann auch die Ertragsvorhersage mit dem PV-Forecast Adapter realisieren und alles kombinieren!
Endlich mal jemand, der das Thema InfluxDB2.x verständlich rüber bringt. Vielen Dank Matthias! Könnte Dir noch viel länger zuhören. Tempo und Komplexität sind sehr angenehm.
Sehr schön, bin noch mit 1.8 unterwegs und hab noch keine Zeit gefunden mal auf 2 zu gucken, vielen Dank 😊 Du bringst in letzter Zeit so viel Content der für mich so relevant ist, das ich kaum mit der Umsetzung hinterherkomme 🤭
@@danielyoutube8960 da wäre ich auch dran interessiert. Ich frage mich wie sich die Migration dann noch auf meine Dashboards in Grafana auswirkt 😅 Und wahrscheinlich müsste ich meine ganzen Sender, die per Web api Daten pushen, auch noch alle anpassen. Deshalb bin ich da gerade noch sehr zögerlich, ob ich das ganze mal angehen soll und wie viel Arbeit da drinsteckt. Ich bin für jede Erfahrung oder Tipps dankbar :)
Super Video! Fände es für ein weiteres Video spannend, wenn du den Datenabruf mittels Telegraf von z.B. Modbus-Geräten, Smarthome-Systemen oder das Abfragen von Daten aus einer API z.B. der Heizungsanlage per UDP-Befehlen erklären könntest. Freue mich schon auf weiteren Content aus dem Bereich.
Hallo Matthias, endlich ein gut verständlicher Einstieg in die Thematik Influx2.0, vielen Dank dafür und ich hoffe Du machst noch einige Beiträge dazu.
Vielen Danke für das tolle Video! Als Anfänger würde mich sehr eine Einordnung von InfluxDB in ein smartes Haus interessiern. Damit meine ich Folgendes: Wenn ich InfluxDB, MQQT, Grafana, NodeRed, eine Smarthome-Zentrale, eine "Visualisierung/Steuerung" und ggf. Noch-was-anderes betreibe, wie wäre ein sinnvoller Informationsfluss, eine sinnvolle Datenspeicherung und eine "gute" Anzeige der Daten? - Wohin senden die Sensoren ihre gemessenen Werte? An InfluxDB? An MQQT? An Node-Red? An die Smarthome-Zentrale? - Wer holt Daten von Geräten oder aus dem Internet ab? (polling) - Wo werden die Daten ggf. aufbereitet, kombiniert, usw.? - Wo werden die Daten gespeichert? - Wie können die Daten angezeigt werden? Möglichst zusammen mit Möglichkeit, darüber auch das smarte Haus zu steuern? (Tablet an der Wand) Sicher gibt es 1000 Möglichkeiten. Mit deiner Erfahrung: Welche der genannten Software würdest überhaupt einsetzen, wenn du nochmal bei Null anfangen würdest? Wie wäre damit dein optimaler Informationsfluss (Sensor -> Aufbereitung -> Speicherung -> Visualisierung)? PS: Ich will/muss nutzen: Z-Wave, Zigbee, PV-Analge, Wallbox, ... PPS: Telegraf interessiert mich!
Lieber Matthias, danke dir für das anschaulich erklärte Video. Aus meiner Sicht sehr verständlich und gut erklärt. Wie immer genau das richtige Maß und Tempo and Daten- bzw. Wissenstransfer... 😉
Mega! Einfach Daten sammeln ist einfach, aber Strukturen/Datenaufbereitung/Datenmengen reduzieren das ist schon schwieriger. Vielen Dank für die Mühe zum guten Einstieg!
Sehr geil. Nutze influxdb 2 auch schon eine Weile und versuche auch so viel wie möglich durch die FluxQuery zu lösen, um nicht zu viel Daten speichern zu müssen. Das mit den tasks wusste ich noch gar nicht. Freu mich auf die Fortsetzung :)
Vielen Dank Matthias. Das hast Du wirklich super rübergebracht. Ich hab mir schon Gedanken gemacht, wie ich meine PV-Daten am Besten komprimiere, da ja die Werte vom Volkslogger jede Sekunde übertragen werden. 👍
Vielen Dank für die verständliche und damit gelungene Einführung in InfluxDB 2. Ich arbeite schon eine Weile damit, aber man lernt bei dir immer noch was dazu.😀
Auch wenn ich schon einiges da rein schreiben lasse und es für viel nutze vielen Dank für das Video, man lernt immer was dazu. Wie immer sehr hilfreich deine Videos 👍
Einfach nur etwas zu Speichern ist ja erstmal einfach. Ich habe mir bisher nur nie wirklich Gedanken um sinnvolle Strukturen der Daten gemacht und wie man diese in andere Buckets automatisch aggregieren kann. Daher das Video dazu.
Super erklär- Video. Das archivieren der Daten via Cron ist genial. Ich habe mir einen Wolf gesucht, nach einer Möglichkeit, den letzten Tag zu aggregieren und bin im Sumpf der Timezones und Sommer/Winterzeit versunken. Mit Cron sollten diese Probleme ja auf einmal erschlagen sein. 👍
Vielen Dank für dieses Video. Gerade das mit den Task ist mir noch nicht bekannt gewesen. Werde meine Lorawan Sensoren in ein Speicherbucket ablegen und die FluxQL zusammenbasteln und dann per Task in die Grafana Bucket überführen.
Die Menge der Daten(Speicherplatz) war für mich bis jetzt kein Problem, nur hat meine MySQL Datenbank Probleme mit zu vielen gleichzeitigen Verbindungen, da ist Influx DB wohl besser geeignet. Task um Daten zu sparen werde ich wohl nicht brauchen, je mehr originale Daten ich habe um so besser ist es für mich, wenn ich sie später auswerten will. Ich finde das Video gibt einen schönen Überblick zum Einstieg in Influx DB. Danke 👍
Bei mySQL hat man bei größeren Datenmengen eher das Problem die noch performant über größere Zeiträume abzufragen. Relationale Datenbanken wurden für den Zweck ja gar nicht entwickelt.
Vielen Dank für das tolle Video, hat mich wirklich weitergebracht! Ich bin gerade am überlegen, zukünftig nur noch die Influx-Dashboards statt Grafana zu nutzen.
Mallo Matthias, ich finde es großartig das Du so an mich denkst. 😂 Ich bin dabei mein ganzes Smarthome einmal neu zu machen - also die ioBroker- bzw. Serverseite. Erst gestern habe ich dabei von Influx1.8 auf 2.6 gewechselt und heute postest du dieses Video. Danke! Erst habe ich etwas doof geguckt, finde das Potential aber gewaltig - wenn man es denn genau jetzt zum Start richtig beginnt. Dabei war das Video mehr als hilfreich! Zwei Punkte habe ich: 1. bist du schon auf den Punkt gekommen, das man Values nicht mehr so einfach Aliasnamen geben kann? Mein erster Workarround nach etwas googlen (und einigen nicht optimalen Lösungen) ist ein Override in Grafana auf den Displayname. 2. wie gehst du mit dem „schlechten“ Datenschema aus dem ioBroker-Adapter um? Ich würde ja angesichts der Einschränkungen fast dazu tendieren die Daten ohne Adapter sondern per Skript so nach Influx zu schieben wie ich das will. Dein Wetterbeispiel war an der Stelle ja auch sehr passend.
2. Gar nicht. Ich habe mir jetzt ein Script geschrieben welches logisch zusammenhängende Datenpunkte in einer Zeile im line protocol über http schreibt. Mehr dazu im nächsten Video zu dem Thema
Prima Video, das die Grundlagen sehr gut vermittelt. Man kann gut erkennen, dass influxDB eine time-series, non-SQL Datenbank ist, und genau zu dem Zweck entwickelt wurde. Relationale DB sind da einfach nicht die beste Wahl. Kleine Anmerkung noch: influxQL ist die ältere influxDB Abfragesprache, die mit Syntax wie SELECT, WHERE, GROUP BY etc SQL ähnlich ist. Die neue Sprache, die du ja auch in deinem Video beschreibst, heißt einfach 'flux' Wie du ja anmerkst, schreibt der ioBroker Adapter die Daten nicht in einem Format in influxdb, wie es best practice entspricht. Man müsste mal checken, ob man Tasks bauen kann, die das aufdröseln und in einen neuen Bucket in einem besseren Schema wegschreiben. Danke nochmal für das Video!
Top, werde ich definitiv auch so aufbauen. @EddyD‘s Smarthome war schon fleissig mit helfen (sogar persönlich, danke nochmals an dieser Stelle) und jetzt dieses Video zum zweiten mal geschaut und für die Umsetzung noch ein drittes mal. Das wird nice. Danke dir nochmals.
Sehr schönes Video wieder mal. Da könnte man doch sicher auch die Tages, Monats und Jahreswerte mit den Tasks generieren. Freu mich schon auf die Umsetzung für die PV Anlage. Wird für mich auch interessant. Gruß Achim
Schönes Video, war für mich der Antrieb jetzt endlich mal den Raspi auszupacken und einzurichten. 😅 Docker im Synology kommt dann doch zu schnell an seine Grenzen. Hoffe das Folgevideo kommt bald, denke das wird ne Menge Leute interessieren mit den PV Daten. 👍
@@markuswolfer1206 Naja ich habe Docker auf ner DS416play laufen. Anfangs ging das eigentlich noch ganz gut, mittlerweile ist es aber so, dass mit gestarteten Containern der Performance schon übel einbricht. Vielleicht hat es doch einen Grund warum Synology Docker für dieses NAS nicht offiziell anbietet … 🙈😅 Dazu kommt natürlich noch das Thema Verbrauch, die Diskstation fahre ich mittlerweile über Nacht, Vormittags etc. runter. Für InfluxDB wäre das natürlich Käse. Beim Raspberry mit 2,5W bin ich eher bereit den laufen zu lassen …
@@michaelk8627 ich hab ne ds920+ mit zusätzlichen no-name RAM Upgrade auf 20GB - rennt schon ordentlich. Und ich bin wirklich überrascht über den geringen Stromverbrauch, ich nutze gerade 6 Docker Container.
Hallo Matthias, danke für diese ausführliche EInführung. Ich habe diese Übertragung in das Langzeit - Bucket nachvollzogen. Da die Rohdaten mit einem Zulu-Zeitstempel versehen sind muss der Cron Job in der WInterzeit bei 23:00:00 starten und in der Sommerzeit bei 22:00:00, um exakt die Daten eine Tages von 00:00 bis 24:00 extrahieren zu können. Das bedeutet manulles Eingreifen, oder ahst du einen andere Idee, um dieses Problem zu lösen.
Entweder die Zeitzone mitgeben oder eben kleinere Einheiten verwenden. Beispielsweise 10min, 15min, 1h, … So kann man die Daten dann in der korrekten Zeitzone wieder abfragen
Ich nutze jetzt schon ein paar Monate meine InfluxDB für meinen Proxmox-Server. Trotzdem könnte ich noch was lernen, wie zum Beispiel die Mathematik-Funktionen 👍
Sehr informatives Video! Etwas was mich noch interessieren würde ist folgendes bezüglich Least Privilege mit API tokens. Angenommen ein Team von 4 Leuten soll die DB nutzen. Dabei soll nur 1 Person (CEO) alle Rechte über alle Organisationen haben (operator token) und 1 Person (Team-Leiter) alle Rechte für eine bestimmte Organisation haben. Die anderen beiden User (ingenieure) sollen nur Daten hochladen und lesen können von spezifischen Buckets. Wie müsste man in diesem Fall vorgehen bezüglich User Accounts und API tokens?
Warum möchte man nachträglich den Timestamp ändern? Generell sind Änderungen nicht so einfach möglich. Man kann die Daten natürlich selektieren, manipulieren und neu schreiben. Aber das ist jetzt nicht wie bei SQL wo man einfach in der Datenbank Änderungen vornehmen kann. Ist halt ein anderer Ansatz
Mh, dafür müsste ich mir extra zig InfluxDB 1 Installationen erstellen (nativ, Docker, …) und dann alle Wege mit allen Möglichkeiten zeigen. Heißt: Mehrere Tage Arbeit. 😕
Wieder ein sehr informatives Video von dir.👍👌 Ich nutze Iobroker und finde es total doof, dass die Daten je Datenpunkt in die Influxdb geschrieben werden. Jetz könnte ich mir mit einem Task die Daten Tags zusammenfassen, oder?
Sehr schön und einfach erklärt! Wie kann ich einzelne Datenpunkte oder Bereiche aus der Datenbank löschen? In der Version 2.7.5 bekomme ich über die Eingabeaufforderung eine Fehlermeldung "-bash: influx: command not found".
Klasse Video, wie immer.Ich lese mit Node-Red meine beiden Wechselrichter aus. Ich kann die Daten zwar in den richtigen Bucket und measurement schreiben, aber wie kann ich denn Field-tags vergeben/erstellen/schreiben (mit Node-red)? Momentan schreib ich für jeden Wechselrichter und String ein eigenes measurement. (PV_ost_string1, PV_ost_string2, PV_west_string1, PV_west_string2)Ich hätte das ja lieber alles im measurement PV mit verschiedenen Field tags?
Hallo Mathias, danke für das tolle Video! Nur funktioniert bei mir der difference Befehl nicht richtig - Werte werden falsch berechnet lt. der Table View Ansicht in der Influx DB. Kann das vielleicht damit zusammenhängen, dass die Werte von ioBroker das Komma als Beistrich und nicht als Punkt in die Datenbank geschrieben werden?
Vielen Dank für das umfangreiche Video, ich schaue sie mir immer wieder mehr an. Seit dem Update auf die Influx DB 2.0 ist die größe meiner Datenbank extrem angewachsen. Aktuell sind es 25 Datenpunkte, die retention policy ist auf 1 Jahr gestellt. Größe des Backups bei Influx DB: 2,55 GB. Kann das hinkommen oder stimmt etwas mit der Datenbank nicht? Mir kommt da echt zu viel vor. Am 13.11.22 war das Backup mit Influx DB 1 noch 5,6 MB groß
Danke für das tolle Video. Aber wie bekomme ich, aus NodeRed, die Tags in die Datenbank? Ich möchte eben nicht so ein schlechtes Measurement zusammenstellen.
Danke erstmal für das großartige Video. Das ist nämlich genau das, was ich bei mir auch machen möchte. Allerdings möchte ich mir dann noch die Einsparung durch die PV-Anlage auch errechnen. Bei der aggregateWindow-Funktion habe ich aber eine Frage. In dem Beispiel hat der Zählerstand um 01:00 Uhr einen Wert von 10500. Nach aggregateWindow mit "last" müsste er um 01:00 Uhr ja trotzdem diesen Wert haben. Tatsächlich hat er aber 10300, das ist der Wert um 00:45 Uhr (der letzte Wert vor 01:00 Uhr). Scheinbar wird da das Fenster >= der vollen Stunde bis < der nächsten Stunde hergenommen. Kann man das beeinflussen? Ich möchte alles > der vollen Stunde bis
Genau, sonst hätte man ja Überschneidungen. Also immer 00:00:00.000 bis 23:59:59.999 Du müsstest also die Daten vorher ein Stück verschieben um die aus der nächsten Stunde zu bekommen
@@haus_automation Ich hab jetzt nicht die aggregateWindow()-Funktion benutzt, sondern Folgendes: |> window(every: 15m) |> first() |> window(every: inf) Jetzt stimmt der Zählerstand auch wieder und ist nicht um 15 min verschoben. Für mich ist das allerdings alles noch ziemliches Neuland. Hier mein Konstrukt wo ich mir ausrechnen möchte was mir die PV schon eingebracht hat: z = from(bucket: "Strom") |> range(start: 2023-10-01T00:00:00.000Z, stop: 2023-11-01T00:00:00.000Z) |> filter(fn: (r) => r._measurement == "Stromzähler") |> window(every: 1h) |> first() |> window(every: inf) |> difference() |> pivot(rowKey: ["_time"], columnKey: ["_field"], valueColumn: "_value") t = from(bucket: "Strom") |> range(start: 2023-10-01T00:00:00.000Z, stop: 2023-11-01T00:00:00.000Z) |> filter(fn: (r) => r._measurement == "Strompreis") |> aggregateWindow(every: 1h, fn: last, createEmpty: true) |> fill(usePrevious: true) |> pivot(rowKey: ["_time"], columnKey: ["_field"], valueColumn: "_value") join(tables: {t1: z, t2: t}, on: ["_time"]) |> map(fn: (r) => ({r with direktverbrauch: (r.PV - r.einspeisung) * r.verbrauchstarif})) |> map(fn: (r) => ({r with einspeisung: r.einspeisung * r.einspeisetarif})) |> map(fn: (r) => ({r with _value: r.einspeisung + r.direktverbrauch})) //|> sum() Der 1. Teil behandelt die Zählerstände (PV, Einspeisung, Bezug). Der 2. Teil die Tarife. Da hab ich einen stundenabhängigen Bezugstarif. Der Einspeisetarif ändert sich 1x im Monat. Mit der fill-Funktion brauch ich den aber nicht jede Stunde ablegen. Zum Schluss werden die 2 Streams dann gejoint und dann wird gerechnet. Falls da jemand Verbesserungsvorschläge hat, bitte immer her damit. Ich taste mich da noch heran an das Thema.
Hallo Matthias, wieder ein sehr gutes Vide 🙂 Leider bekomme ich das Update von 1.X auf 2.X nicht durchgeführt. Ich muss zunächst mein Bullseye auf 64-bit umstellen. Nur den Kernel umstellen reicht wohl nicht. Wie mache ich das am Besten? Hast du einen Tip bzw. eine Anleitung dafür.
Da hilft nur eine Neuinstallation soweit ich weiß. Wie Du ja rausgefunden hast, reicht es nicht den Kernel umzustellen. Ich habe dann nicht weiter versucht die aktuelle Installation umzubiegen, sondern habe von vorne angefangen
Hallo, vielen Dank für das tolle Video. Ich habe jetzt einfach mal versucht, folgende Zeile manuell in ein bucket zu schreiben: „PV L1=10“ Es wird angezeigt, dass der Write-Vorgang erfolgreich war! Wenn ich, wie im Video gezeigt, die Daten mit Explore sehen möchte, wird kein measurement angezeigt!? Was mach ich falsch?
Super Video, danke. Wenn ich jetzt die Daten per Task alle 24h verschiebe, mir aber ein Dashboard über z. B. 7 Tage bauen will, dann muss ich ja auf beide Buckets gehen und einen genauen Cut setzen? Sonst sehe ich von Buckets 1 nichts was älter als 48h ist (dein letztes Beispiel) und wenn ich Bucket 2 hole dann sehe gibt es nur alle 24h ein Update?
sehr gute Erklärung, ich konnte influxdb erfolgreich aufsetzen und für erste Tests nutzen. Ich müsse in Zukunft übers Web auf die Inhalte der DB zugreifen. Wie würdest du das am sichersten machen. Über einen Reverseproxy? Gibt es eine sinnvolle Zwischenschicht um die DB zu schützen und dennoch an die Daten zu kommen. Herzlichen Dank, Heiko
würde mich freuen wenn Du mal zeigen könntest wie man z.B von nem Smartmeter 1.8.1 und 1.8.2 hier werden ja nur die kWh werte ausgegeben wieder auf 'Watt' kommt. das mit der differenz habe ich schon mal probiert, aber mit der zeit komme ich nicht klar :(
Top erklärt - wie immer ;) Mich würde interessieren, wie ich meine influxDB Version 1.x in Docker auf dem Pi4 geupgraded bekomme. Das offizielle Image vom Hub frisst er ja nicht. Kannst du dazu auch was sagen?
Mit Docker ist es eigentlich relativ einfach. Du startest den InfluxDB 2 Container und gibst dann die Upgrade Option als env Variable mit. Schau mal in die Dokumentation des Images. Aber Du brauchst einen 64Bit Host
Hallo Matthias vielleicht passt es hier nicht so richtig hin oder ich habe es nicht gefunden. Hast du oder ein anderer Influxdb2-Benutzer eine Idee / Lösung wie ich von einem Altsystem die Daten auf ein neues System umziehen kann? (Also Backup auf System A und restore auf System B)
Super Video! Ich schaue immer gerne Deine Videos und habe auch fast alle Tutorials bei Dir gekauft. Bis auf "KNX-Hausbau" da war ich vor einigen Jahren und musste mich selber durch die Materie kämpfen. Leider gab es damals Deinen Kanal noch nicht 🙂. Ich habe erst vor kurzem auch meine PV-Anlage in Betrieb genommen und stehe genau vor der Aufgabe die Daten aus dem Wechselrichter zu sammeln, aufzubereiten und zu visualisieren. Dein Video über die Modbus Integration des Wechselrichters in ioBroker th-cam.com/video/ninH9DsrC68/w-d-xo.html hat dabei sehr geholfen. Vielen Dank auch dafür.
Was ist an einem usb Stick besser als an einer sd Karte? Dann würde ich direkt auf eine ssd wechseln. Ansonsten mounten und dann eben InfluxDB umkonfigurieren. Aber nicht empfehlenswert
Gibt es eine optische Plattform, womit man die Werte grafisch sehen, editieren und löschen kann? Kenne nur die Konsole ich finde dies nicht komfortabel
Gibt wohl ein cooles Plugin für VSCode welches ich mal testen möchte. Aber generell gibt es dafür keinen Client um sich einzelne „Datensätze“ anzuschauen oder zu manipulieren soweit ich weiß.
Wenn man systematisch alles direkt auf einen Proxmox Virtualisierungsserver packen will, und dort schon ein Debian LXC-Container für iobroker aufgesetzt hat - was wäre dann die empfehlenswerte Vorgehensweise? Ich vermute, ein weiteres Debian LXC Template holen und aufsetzen, und dann die Influx-DB da hineinpacken? Oder vielleicht doch mit in den Container des iobroker hineinpacken? ...
🤷🏼♂️ Wenn man alle Applikationen in einzelne Linux Container packen möchte, wäre Docker ja viel sinnvoller. Also ich sehe Systemcontainer wie LXC eher so, dass man mehrere Dinge da rein packen kann. Sonst würde das Konzept ja gar keinen Vorteil bieten.
Super Video! 1ne Frage tut sich bei mir immer wieder auf, wie kann ich alte measurement die vom iobroker kommen löschen? z.B. hab ich Power von einer Shelly Steckdose in Influxdb übermitteln lassen und hab die als PowerWaschmaschine benannt. Beim nächstenmal benutz ich die Steckdose für den Trockner und hab es auf PowerTrockner umbenannt. Leider bleibt der Name PowerWaschmaschine immer im measurement der Influxdb obwohl ich den nicht mehr nutze. Danke vorab
Hallo zusammen, Ich zeichne meinen aktuellen Stromverbrauch in Watt auf bzw. der aktuelle Verbrauch wird in die influxdb2 geschrieben. Nun würde ich am Ende des Tages gerne wissen, wie viel wurde erzeugt. Kann man die Werte dann irgendwie addieren? Das klappt nämlich nicht. Weiß jemand Rat? VG
Hi, ich habe einen Datenpunkt "PV-Tagesertrag" und diesen würde ich gerne jeden Tag um 23:50 in InfluxDB speichern und später als Tabelle oder Graf abrufen, so dass ich meinen täglichen Ertrag sehe. Kannst Du mir dazu eine Hilfestellung geben?
Hallo Matthias, nach einer neuen Installation von InfluxDB 2.x ist der Button zum CSV Export(rechts neben View Raw Data) nicht mehr vorhanden. Wir kann ich sonst meine Daten in eine CSV Datei exportieren?
Wie kann ich denn auf der Seite von Influxdb measurements löschen? Habe aus dem ioBroker paar Daten drin und würde die gerne Löschen, da ich diese nicht mehr brauche. Ist das überhaupt sinnvoll, oder sollte man einfach abwarten, bis sie über die standard 2 Jahre eh raus fliegen?
@@haus_automation Danke - Der Tipp hat mir auch geholfen. Allerdings werden bei mir nur die Messdaten gelöscht und der Measurementname bleibt erhalten. D.h dieser taucht im Filter unter _measurement weiter auf - lässt sich dieser dort auch noch entfernen? Update: scheint an den Rechten zu liegen, mit einem All Access API Token geht es. 🙂
Wie kann ich mit iobroker adapter influxdb tags schreiben? Wo schreibe ich den "Tag" oder die "Tags" rein ? (wo benenne ich die) ? Ich habe VIEL probiert und es nicht geschafft. Den Schalter im adapter influxdb [Experteneinstellungen][Verwende Tags, anstelle von Feldern...] habe ich angeklickt. Ein neues Bucket ist auch erstellt. Ich sehe mit influxdb2 Data Explorer aber nur _measurement _field ack from q Und keine Tags Bei manuellen Daten wie hier im Video gezeigt funktioniert es Bitte um Hilfe
Dann werden halt automatisch Tags vergeben statt Messurements angelegt soweit ich weiß. Selbst die Tags vergeben ist meines Wissenes nach nicht möglich
Schönes Video, konnte einiges für mich mitnehmen. Aber in einem Punkt kann ich dir nicht zustimmen (vermutlich weil ich kein IT'ler bin), aber die Doku ist für nicht IT'ler einfach nur furchtbar 😂.
wenn ich jetzt Daten aus dem IoBroker logge die nie ablaufen sollen und Daten habe die nach 30 Tagen gelöscht werden können, brauche ich ja 2 Buckets und 2 InfluxDB Instanzen, richtig? Das ist aber echt umständlich.
Hallo Mathias, was kann ich machen wenn ich die Daten nicht auf dem gleichen Server sondern auf einem anderen speichern möchte, Das heist die primäre Datenbang auf einer Influx dem auf einem Raps und die Langzeitdaten per Task auf einer InfluxDB im Docker einer NAS? Gruß Torsten
ich bin ehrlich und habe es mir bis zur pivot angesehen Aber ich kann es nicht so adaptieren das es funktioniert. Aus Home asisistant habe ich zwei entities (Stromzähler mit HT und separat NT, klar könnte ich die in HomeAssistant addieren) die ich addieren will. Bei mir sind die Werte jeweils immer unter _value.
Planst Du noch zusätzliche Videos zum Thema ? Ich habe Probleme mit den Namen der verschiedenen Daten. Zz habe ich Dashboard auf dem ich max, min und mean Daten von Stromverbrauch und Stromerzeugung darstelle . Und die Labels die Angezeigt werden kann ich nicht unterscheiden. Gibt es da Möglichkeiten ? zb werden galogende Labels angezeigt value DailyConsumption value DailyProduction value DailyConsumption value DailyProduction value DailyConsumption value DailyProduction für diese Queries in einem Panel from(bucket: "nodered") |> range(start: -24mo) |> filter(fn: (r) => r["_measurement"] == "DailyConsumption" or r["_measurement"] == "DailyProduction") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1mo, fn:max) |> yield(name: "max") from(bucket: "nodered") |> range(start: -24mo) |> filter(fn: (r) => r["_measurement"] == "DailyConsumption" or r["_measurement"] == "DailyProduction") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1mo, fn:min) |> yield(name: "min") from(bucket: "nodered") |> range(start: -24mo) |> filter(fn: (r) => r["_measurement"] == "DailyConsumption" or r["_measurement"] == "DailyProduction") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1mo, fn:mean) |> yield(name: "mean") was ich aber bräuchte ist : Min DailyConsumption Min DailyProduction Max DailyConsumption Max DailyProduction Mean DailyConsumption Mean DailyProduction
![ioBroker Energiefluss Adapter - Wohin fließt der Strom?! | verdrahtet.info [4K]](/img/n.gif)
Das Video war auch für mich eine wichtige Grundlage. Endlich kann ich meine Daten so strukturieren, wie es am sinnvollsten ist. Im nächsten Video geht es also an "reale" Daten. Dann baue ich ein Dashboard für unsere PV-Anlage, damit wir die App nicht mehr nutzen müssen, sondern alles an einer Stelle sammeln können. Unter anderem kann ich dann auch die Ertragsvorhersage mit dem PV-Forecast Adapter realisieren und alles kombinieren!
Auf das Video bin ich sehr gespannt :) Habe etwas ähnliches vor ;)
Endlich mal jemand, der das Thema InfluxDB2.x verständlich rüber bringt. Vielen Dank Matthias! Könnte Dir noch viel länger zuhören. Tempo und Komplexität sind sehr angenehm.
Sehr schön, bin noch mit 1.8 unterwegs und hab noch keine Zeit gefunden mal auf 2 zu gucken, vielen Dank 😊
Du bringst in letzter Zeit so viel Content der für mich so relevant ist, das ich kaum mit der Umsetzung hinterherkomme 🤭
Freut mich zu hören :) Aber mir geht es auch so: Ich habe so viele Themen auf dem Zettel, dass ich mit den Videos nicht hinterher komme
Hab ich gerade hinter mir. Ist gar nicht so aufwendig. Wenn du ne kurze Anleitung brauchst. Melde dich.
@@danielyoutube8960 das wäre super spannend, denn ich muss auch noch auf Version 2
@@danielyoutube8960 da wäre ich auch dran interessiert. Ich frage mich wie sich die Migration dann noch auf meine Dashboards in Grafana auswirkt 😅 Und wahrscheinlich müsste ich meine ganzen Sender, die per Web api Daten pushen, auch noch alle anpassen. Deshalb bin ich da gerade noch sehr zögerlich, ob ich das ganze mal angehen soll und wie viel Arbeit da drinsteckt. Ich bin für jede Erfahrung oder Tipps dankbar :)
Jetzt wo gefühlt alle auf Influxdb2 umsteigen kommt dieses Video natürlich zum absolut richtigen Zeitpunkt.
Super Video! Fände es für ein weiteres Video spannend, wenn du den Datenabruf mittels Telegraf von z.B. Modbus-Geräten, Smarthome-Systemen oder das Abfragen von Daten aus einer API z.B. der Heizungsanlage per UDP-Befehlen erklären könntest. Freue mich schon auf weiteren Content aus dem Bereich.
Hallo Matthias, endlich ein gut verständlicher Einstieg in die Thematik Influx2.0, vielen Dank dafür und ich hoffe Du machst noch einige Beiträge dazu.
Vielen Danke für das tolle Video!
Als Anfänger würde mich sehr eine Einordnung von InfluxDB in ein smartes Haus interessiern. Damit meine ich Folgendes:
Wenn ich InfluxDB, MQQT, Grafana, NodeRed, eine Smarthome-Zentrale, eine "Visualisierung/Steuerung" und ggf. Noch-was-anderes betreibe, wie wäre ein sinnvoller Informationsfluss, eine sinnvolle Datenspeicherung und eine "gute" Anzeige der Daten?
- Wohin senden die Sensoren ihre gemessenen Werte?
An InfluxDB? An MQQT? An Node-Red? An die Smarthome-Zentrale?
- Wer holt Daten von Geräten oder aus dem Internet ab? (polling)
- Wo werden die Daten ggf. aufbereitet, kombiniert, usw.?
- Wo werden die Daten gespeichert?
- Wie können die Daten angezeigt werden? Möglichst zusammen mit Möglichkeit,
darüber auch das smarte Haus zu steuern? (Tablet an der Wand)
Sicher gibt es 1000 Möglichkeiten.
Mit deiner Erfahrung:
Welche der genannten Software würdest überhaupt einsetzen, wenn du nochmal bei Null anfangen würdest?
Wie wäre damit dein optimaler Informationsfluss (Sensor -> Aufbereitung -> Speicherung -> Visualisierung)?
PS: Ich will/muss nutzen: Z-Wave, Zigbee, PV-Analge, Wallbox, ...
PPS: Telegraf interessiert mich!
Danke dir. Sehr hilfreich, werde ich bald nachvollziehen. Telegraf wäre auch sehr interessant.
Sehr schön zusammengefasst das ganze. Knackig und kompakt aber nichts vergessen. Top.
Lieber Matthias, danke dir für das anschaulich erklärte Video. Aus meiner Sicht sehr verständlich und gut erklärt. Wie immer genau das richtige Maß und Tempo and Daten- bzw. Wissenstransfer... 😉
Super Video wieder mal. Strukturiert, optisch gut umgesetzt und gut nachvollziehbar.
Wieder mal sehr Informativ, schaue deine Videos sehr gerne.
Schreib gerne, wo es noch Fragezeichen bei Dir gibt. Dann kann ich das im nächsten Video mit aufnehmen
Sehr ausführlich und wie immer gut verständlich erklärt! Vielen Dank dafür!
super hilfreich - ich werde Schritt für Schritt nachbauen und mein Wissen erweitern - DANKE - gerne weiter so !
Danke für Deine Videos - sehr sehr hilfreich und angenehm gemacht ! Top.
Wie guckt man ein 45min Video in 5min? :) Aber danke
Danke für das tolle und verständliche Video. Telegraf wäre auf jeden Fall auch spannend
Vielen Dank für dieses informative Video. Sehr hilfreich und sehr gute Beispiele gewählt. Weiter so.
Informatives Video für Einsteiger. Vielen Dank
Mega! Einfach Daten sammeln ist einfach, aber Strukturen/Datenaufbereitung/Datenmengen reduzieren das ist schon schwieriger. Vielen Dank für die Mühe zum guten Einstieg!
Dachte nicht das influxDB 2 so umfachreich ist holy :D muss ich mal damit rumspielen, das ist einfach Stoff für einen eigenen Master Kurs :D
Definitiv sehr mächtig. Und ich habe im Video maximal 5% gezeigt 🙃
Super spannend, vielen Dank für die Einführung!
Sehr geil. Nutze influxdb 2 auch schon eine Weile und versuche auch so viel wie möglich durch die FluxQuery zu lösen, um nicht zu viel Daten speichern zu müssen. Das mit den tasks wusste ich noch gar nicht. Freu mich auf die Fortsetzung :)
Tolle Technik und tolles Video! Vielen Dank für das Video!
Vielen Dank Matthias. Das hast Du wirklich super rübergebracht. Ich hab mir schon Gedanken gemacht, wie ich meine PV-Daten am Besten komprimiere, da ja die Werte vom Volkslogger jede Sekunde übertragen werden. 👍
Vielen Dank für die verständliche und damit gelungene Einführung in InfluxDB 2. Ich arbeite schon eine Weile damit, aber man lernt bei dir immer noch was dazu.😀
Ich hatte auch viele AHA-Momente bei der Aufnahme des Videos 🙃
Auch wenn ich schon einiges da rein schreiben lasse und es für viel nutze vielen Dank für das Video, man lernt immer was dazu.
Wie immer sehr hilfreich deine Videos 👍
Einfach nur etwas zu Speichern ist ja erstmal einfach. Ich habe mir bisher nur nie wirklich Gedanken um sinnvolle Strukturen der Daten gemacht und wie man diese in andere Buckets automatisch aggregieren kann. Daher das Video dazu.
Wie immer 1A Content. Bleib bloß so wie Du bist!
Super erklärt, bin schon auf deine PV-Daten gespannt😀
Super erklär- Video. Das archivieren der Daten via Cron ist genial. Ich habe mir einen Wolf gesucht, nach einer Möglichkeit, den letzten Tag zu aggregieren und bin im Sumpf der Timezones und Sommer/Winterzeit versunken. Mit Cron sollten diese Probleme ja auf einmal erschlagen sein. 👍
Kannst du mal eine Anleitung zum Backup und Restore machen? Danke!
Vielen Dank für dieses Video. Gerade das mit den Task ist mir noch nicht bekannt gewesen. Werde meine Lorawan Sensoren in ein Speicherbucket ablegen und die FluxQL zusammenbasteln und dann per Task in die Grafana Bucket überführen.
War mal wieder sehr informativ und gut strukturiert :) Gerne auch ein Video zu Telegraf!
Gerne den Blogpost nochmal um weitere Beispiele erweitern, ich habs mir schon als Lesezeichen abgespeichert.
Super Video, vielen Dank.👍
Wieder mal super klasse! Danke dafür!
Die Menge der Daten(Speicherplatz) war für mich bis jetzt kein Problem, nur hat meine MySQL Datenbank Probleme mit zu vielen gleichzeitigen Verbindungen, da ist Influx DB wohl besser geeignet. Task um Daten zu sparen werde ich wohl nicht brauchen, je mehr originale Daten ich habe um so besser ist es für mich, wenn ich sie später auswerten will. Ich finde das Video gibt einen schönen Überblick zum Einstieg in Influx DB. Danke 👍
Bei mySQL hat man bei größeren Datenmengen eher das Problem die noch performant über größere Zeiträume abzufragen. Relationale Datenbanken wurden für den Zweck ja gar nicht entwickelt.
Vielen Dank. War sehr informativ!
sehr gutes Video! werd ich mir noch mehrfach ansehen müssen :D Danke!!
Vielen Dank für das tolle Video, hat mich wirklich weitergebracht!
Ich bin gerade am überlegen, zukünftig nur noch die Influx-Dashboards statt Grafana zu nutzen.
Mh, für vieles klappt das sicherlich. Aber Grafana ist schon deutlich umfangreicher
einfach nur danke 🙂
Mallo Matthias,
ich finde es großartig das Du so an mich denkst. 😂 Ich bin dabei mein ganzes Smarthome einmal neu zu machen - also die ioBroker- bzw. Serverseite. Erst gestern habe ich dabei von Influx1.8 auf 2.6 gewechselt und heute postest du dieses Video. Danke!
Erst habe ich etwas doof geguckt, finde das Potential aber gewaltig - wenn man es denn genau jetzt zum Start richtig beginnt. Dabei war das Video mehr als hilfreich!
Zwei Punkte habe ich:
1. bist du schon auf den Punkt gekommen, das man Values nicht mehr so einfach Aliasnamen geben kann? Mein erster Workarround nach etwas googlen (und einigen nicht optimalen Lösungen) ist ein Override in Grafana auf den Displayname.
2. wie gehst du mit dem „schlechten“ Datenschema aus dem ioBroker-Adapter um? Ich würde ja angesichts der Einschränkungen fast dazu tendieren die Daten ohne Adapter sondern per Skript so nach Influx zu schieben wie ich das will. Dein Wetterbeispiel war an der Stelle ja auch sehr passend.
1. Du kannst mit einer map Function das _title Feld überschreiben. Ist nicht unbedingt schön aber funktioniert.
2. Gar nicht. Ich habe mir jetzt ein Script geschrieben welches logisch zusammenhängende Datenpunkte in einer Zeile im line protocol über http schreibt. Mehr dazu im nächsten Video zu dem Thema
Mega!! Vielen dank.
Prima Video, das die Grundlagen sehr gut vermittelt. Man kann gut erkennen, dass influxDB eine time-series, non-SQL Datenbank ist, und genau zu dem Zweck entwickelt wurde. Relationale DB sind da einfach nicht die beste Wahl.
Kleine Anmerkung noch: influxQL ist die ältere influxDB Abfragesprache, die mit Syntax wie SELECT, WHERE, GROUP BY etc SQL ähnlich ist. Die neue Sprache, die du ja auch in deinem Video beschreibst, heißt einfach 'flux'
Wie du ja anmerkst, schreibt der ioBroker Adapter die Daten nicht in einem Format in influxdb, wie es best practice entspricht. Man müsste mal checken, ob man Tasks bauen kann, die das aufdröseln und in einen neuen Bucket in einem besseren Schema wegschreiben.
Danke nochmal für das Video!
Hab ich irgendwo InfluxQL gesagt? Habe das Video 3x angeschaut bevor es veröffentlicht wurde aber das ist mir nirgendwo aufgefallen 😕
Danke!
Danke Dir für die Unterstützung!
Top, werde ich definitiv auch so aufbauen. @EddyD‘s Smarthome war schon fleissig mit helfen (sogar persönlich, danke nochmals an dieser Stelle) und jetzt dieses Video zum zweiten mal geschaut und für die Umsetzung noch ein drittes mal. Das wird nice. Danke dir nochmals.
Sehr schönes Video wieder mal. Da könnte man doch sicher auch die Tages, Monats und Jahreswerte mit den Tasks generieren. Freu mich schon auf die Umsetzung für die PV Anlage. Wird für mich auch interessant.
Gruß Achim
Genau, aber das ist nicht unbedingt nötig, weil man aus Viertelstunden (zB) alles andere errechnen kann
Klasse Video wie immer von Dir!
Gern auch zu Telegraph!
Schönes Video, war für mich der Antrieb jetzt endlich mal den Raspi auszupacken und einzurichten. 😅 Docker im Synology kommt dann doch zu schnell an seine Grenzen. Hoffe das Folgevideo kommt bald, denke das wird ne Menge Leute interessieren mit den PV Daten. 👍
Wo kommt denn der docker auf der Synology an seine Grenzen? Ich nutze den richtig intensiv und habe noch keine gefunden
@@markuswolfer1206 Naja ich habe Docker auf ner DS416play laufen. Anfangs ging das eigentlich noch ganz gut, mittlerweile ist es aber so, dass mit gestarteten Containern der Performance schon übel einbricht. Vielleicht hat es doch einen Grund warum Synology Docker für dieses NAS nicht offiziell anbietet … 🙈😅
Dazu kommt natürlich noch das Thema Verbrauch, die Diskstation fahre ich mittlerweile über Nacht, Vormittags etc. runter. Für InfluxDB wäre das natürlich Käse. Beim Raspberry mit 2,5W bin ich eher bereit den laufen zu lassen …
@@michaelk8627 ich hab ne ds920+ mit zusätzlichen no-name RAM Upgrade auf 20GB - rennt schon ordentlich. Und ich bin wirklich überrascht über den geringen Stromverbrauch, ich nutze gerade 6 Docker Container.
Hallo Matthias, danke für diese ausführliche EInführung. Ich habe diese Übertragung in das Langzeit - Bucket nachvollzogen. Da die Rohdaten mit einem Zulu-Zeitstempel versehen sind muss der Cron Job in der WInterzeit bei 23:00:00 starten und in der Sommerzeit bei 22:00:00, um exakt die Daten eine Tages von 00:00 bis 24:00 extrahieren zu können. Das bedeutet manulles Eingreifen, oder ahst du einen andere Idee, um dieses Problem zu lösen.
Entweder die Zeitzone mitgeben oder eben kleinere Einheiten verwenden. Beispielsweise 10min, 15min, 1h, …
So kann man die Daten dann in der korrekten Zeitzone wieder abfragen
Ich nutze jetzt schon ein paar Monate meine InfluxDB für meinen Proxmox-Server. Trotzdem könnte ich noch was lernen, wie zum Beispiel die Mathematik-Funktionen 👍
gut gemacht danke
Klasse Video!!! Telegraf wäre super. Ich versuche versuche gerade stings über Influx in Grafana anzeigen zu lassen.
Sehr informatives Video!
Etwas was mich noch interessieren würde ist folgendes bezüglich Least Privilege mit API tokens. Angenommen ein Team von 4 Leuten soll die DB nutzen. Dabei soll nur 1 Person (CEO) alle Rechte über alle Organisationen haben (operator token) und 1 Person (Team-Leiter) alle Rechte für eine bestimmte Organisation haben. Die anderen beiden User (ingenieure) sollen nur Daten hochladen und lesen können von spezifischen Buckets. Wie müsste man in diesem Fall vorgehen bezüglich User Accounts und API tokens?
Video zu telegraf und deren config parameter z.b bei MQTT wäre spannend
Wieder ein TOP Video. Es war richtig auf V2 zu wechseln. Kann ich die Daten(z.B. den Timestamp) auch nachträglich ändern?
Warum möchte man nachträglich den Timestamp ändern? Generell sind Änderungen nicht so einfach möglich. Man kann die Daten natürlich selektieren, manipulieren und neu schreiben. Aber das ist jetzt nicht wie bei SQL wo man einfach in der Datenbank Änderungen vornehmen kann. Ist halt ein anderer Ansatz
Für mich wäre mal ein interessantes Video, wie ich von InfluxDB 1 auf Version 2 komme, ohne meine Daten zu verlieren.
Mh, dafür müsste ich mir extra zig InfluxDB 1 Installationen erstellen (nativ, Docker, …) und dann alle Wege mit allen Möglichkeiten zeigen. Heißt: Mehrere Tage Arbeit. 😕
Hilft dir mein Video zu dem Thema nicht weiter?
Wieder ein sehr informatives Video von dir.👍👌
Ich nutze Iobroker und finde es total doof, dass die Daten je Datenpunkt in die Influxdb geschrieben werden.
Jetz könnte ich mir mit einem Task die Daten Tags zusammenfassen, oder?
Da müsste man mal gucken wie man das am besten macht - aber generell möglich, ja
Sehr schön und einfach erklärt! Wie kann ich einzelne Datenpunkte oder Bereiche aus der Datenbank löschen? In der Version 2.7.5 bekomme ich über die Eingabeaufforderung eine Fehlermeldung "-bash: influx: command not found".
Tolles Viedeo, kann man auch komplette Dashboards, also die gesamte Grafik dynamisch nach z.b. html exportieren?
Mh? Die Dashboards sind doch schon HTML
Danke für das klasse Video!!
Kannst du noch sagen wie man einzelne Messwerte löschen kann?
Du kannst alles mögliche löschen. Bestimmte Zeiträume, bestimmte Measurements usw. Einfach mal in der Doku die Beispiele anschauen.
Schau mal bei Interesse bei mir vorbei, da wird das Thema behandelt 😉
Klasse Video, wie immer.Ich lese mit Node-Red meine beiden Wechselrichter aus. Ich kann die Daten zwar in den richtigen Bucket und measurement schreiben, aber wie kann ich denn Field-tags vergeben/erstellen/schreiben (mit Node-red)? Momentan schreib ich für jeden Wechselrichter und String ein eigenes measurement. (PV_ost_string1, PV_ost_string2, PV_west_string1, PV_west_string2)Ich hätte das ja lieber alles im measurement PV mit verschiedenen Field tags?
Würde mich über ein Video zu Telegraf freuen
Hallo Mathias, danke für das tolle Video! Nur funktioniert bei mir der difference Befehl nicht richtig - Werte werden falsch berechnet lt. der Table View Ansicht in der Influx DB. Kann das vielleicht damit zusammenhängen, dass die Werte von ioBroker das Komma als Beistrich und nicht als Punkt in die Datenbank geschrieben werden?
Vielen Dank für das umfangreiche Video, ich schaue sie mir immer wieder mehr an. Seit dem Update auf die Influx DB 2.0 ist die größe meiner Datenbank extrem angewachsen. Aktuell sind es 25 Datenpunkte, die retention policy ist auf 1 Jahr gestellt. Größe des Backups bei Influx DB: 2,55 GB. Kann das hinkommen oder stimmt etwas mit der Datenbank nicht? Mir kommt da echt zu viel vor. Am 13.11.22 war das Backup mit Influx DB 1 noch 5,6 MB groß
Du hast wahrscheinlich die monitoring Daten mit im Backup. Im iobroker master Kurs habe ich das erklärt
Top! Danke. Hast du auch ähnliches für Telegraf?
Aktuell noch nicht
Danke für das tolle Video. Aber wie bekomme ich, aus NodeRed, die Tags in die Datenbank?
Ich möchte eben nicht so ein schlechtes Measurement zusammenstellen.
Im Zweifel auch einfach mit einem http post und einem selbst zusammengebauten Payload
Danke erstmal für das großartige Video. Das ist nämlich genau das, was ich bei mir auch machen möchte. Allerdings möchte ich mir dann noch die Einsparung durch die PV-Anlage auch errechnen.
Bei der aggregateWindow-Funktion habe ich aber eine Frage. In dem Beispiel hat der Zählerstand um 01:00 Uhr einen Wert von 10500. Nach aggregateWindow mit "last" müsste er um 01:00 Uhr ja trotzdem diesen Wert haben. Tatsächlich hat er aber 10300, das ist der Wert um 00:45 Uhr (der letzte Wert vor 01:00 Uhr). Scheinbar wird da das Fenster >= der vollen Stunde bis < der nächsten Stunde hergenommen. Kann man das beeinflussen? Ich möchte alles > der vollen Stunde bis
Genau, sonst hätte man ja Überschneidungen. Also immer 00:00:00.000 bis 23:59:59.999
Du müsstest also die Daten vorher ein Stück verschieben um die aus der nächsten Stunde zu bekommen
@@haus_automation
Ich hab jetzt nicht die aggregateWindow()-Funktion benutzt, sondern Folgendes:
|> window(every: 15m)
|> first()
|> window(every: inf)
Jetzt stimmt der Zählerstand auch wieder und ist nicht um 15 min verschoben. Für mich ist das allerdings alles noch ziemliches Neuland.
Hier mein Konstrukt wo ich mir ausrechnen möchte was mir die PV schon eingebracht hat:
z = from(bucket: "Strom")
|> range(start: 2023-10-01T00:00:00.000Z, stop: 2023-11-01T00:00:00.000Z)
|> filter(fn: (r) => r._measurement == "Stromzähler")
|> window(every: 1h)
|> first()
|> window(every: inf)
|> difference()
|> pivot(rowKey: ["_time"], columnKey: ["_field"], valueColumn: "_value")
t = from(bucket: "Strom")
|> range(start: 2023-10-01T00:00:00.000Z, stop: 2023-11-01T00:00:00.000Z)
|> filter(fn: (r) => r._measurement == "Strompreis")
|> aggregateWindow(every: 1h, fn: last, createEmpty: true)
|> fill(usePrevious: true)
|> pivot(rowKey: ["_time"], columnKey: ["_field"], valueColumn: "_value")
join(tables: {t1: z, t2: t}, on: ["_time"])
|> map(fn: (r) => ({r with direktverbrauch: (r.PV - r.einspeisung) * r.verbrauchstarif}))
|> map(fn: (r) => ({r with einspeisung: r.einspeisung * r.einspeisetarif}))
|> map(fn: (r) => ({r with _value: r.einspeisung + r.direktverbrauch}))
//|> sum()
Der 1. Teil behandelt die Zählerstände (PV, Einspeisung, Bezug). Der 2. Teil die Tarife. Da hab ich einen stundenabhängigen Bezugstarif. Der Einspeisetarif ändert sich 1x im Monat. Mit der fill-Funktion brauch ich den aber nicht jede Stunde ablegen. Zum Schluss werden die 2 Streams dann gejoint und dann wird gerechnet.
Falls da jemand Verbesserungsvorschläge hat, bitte immer her damit. Ich taste mich da noch heran an das Thema.
Hallo Matthias, kann man einzelne Einträge irgendwie aus der Datenbank löschen? Oder gibt es irgendeine Anleitung?
Nur bestimmte Zeiträume je Messurement. Habe ich im Blog-Beitrag auch ein Beispiel
Hallo Matthias, wieder ein sehr gutes Vide 🙂 Leider bekomme ich das Update von 1.X auf 2.X nicht durchgeführt. Ich muss zunächst mein Bullseye auf 64-bit umstellen. Nur den Kernel umstellen reicht wohl nicht. Wie mache ich das am Besten? Hast du einen Tip bzw. eine Anleitung dafür.
Da hilft nur eine Neuinstallation soweit ich weiß. Wie Du ja rausgefunden hast, reicht es nicht den Kernel umzustellen.
Ich habe dann nicht weiter versucht die aktuelle Installation umzubiegen, sondern habe von vorne angefangen
Hallo,
vielen Dank für das tolle Video.
Ich habe jetzt einfach mal versucht, folgende Zeile manuell in ein bucket zu schreiben: „PV L1=10“
Es wird angezeigt, dass der Write-Vorgang erfolgreich war!
Wenn ich, wie im Video gezeigt, die Daten mit Explore sehen möchte, wird kein measurement angezeigt!?
Was mach ich falsch?
Super Video, danke. Wenn ich jetzt die Daten per Task alle 24h verschiebe, mir aber ein Dashboard über z. B. 7 Tage bauen will, dann muss ich ja auf beide Buckets gehen und einen genauen Cut setzen? Sonst sehe ich von Buckets 1 nichts was älter als 48h ist (dein letztes Beispiel) und wenn ich Bucket 2 hole dann sehe gibt es nur alle 24h ein Update?
Warum nur alle 24 Stunden verschieben und nicht alle 5min?
Muss das Gerät auf dem InfluxDB installiert ist dauernd laufen (wenn ja mach ich das am Raspi) ansonten am MAC?
Muss nur laufen während man lesen oder schreiben möchte. Was in der Regel ja … ständig ist
sehr gute Erklärung, ich konnte influxdb erfolgreich aufsetzen und für erste Tests nutzen. Ich müsse in Zukunft übers Web auf die Inhalte der DB zugreifen. Wie würdest du das am sichersten machen. Über einen Reverseproxy? Gibt es eine sinnvolle Zwischenschicht um die DB zu schützen und dennoch an die Daten zu kommen. Herzlichen Dank, Heiko
Am besten immer VPN (zB Wireguard)
würde mich freuen wenn Du mal zeigen könntest wie man z.B von nem Smartmeter 1.8.1 und 1.8.2
hier werden ja nur die kWh werte ausgegeben wieder auf 'Watt' kommt.
das mit der differenz habe ich schon mal probiert, aber mit der zeit komme ich nicht klar :(
Gehe ich im nächsten Video zu dem Thema drauf ein.
Top erklärt - wie immer ;) Mich würde interessieren, wie ich meine influxDB Version 1.x in Docker auf dem Pi4 geupgraded bekomme. Das offizielle Image vom Hub frisst er ja nicht. Kannst du dazu auch was sagen?
Mit Docker ist es eigentlich relativ einfach. Du startest den InfluxDB 2 Container und gibst dann die Upgrade Option als env Variable mit. Schau mal in die Dokumentation des Images.
Aber Du brauchst einen 64Bit Host
Hallo Matthias vielleicht passt es hier nicht so richtig hin oder ich habe es nicht gefunden. Hast du oder ein anderer Influxdb2-Benutzer eine Idee / Lösung wie ich von einem Altsystem die Daten auf ein neues System umziehen kann? (Also Backup auf System A und restore auf System B)
Super Video! Ich schaue immer gerne Deine Videos und habe auch fast alle Tutorials bei Dir gekauft. Bis auf "KNX-Hausbau" da war ich vor einigen Jahren und musste mich selber durch die Materie kämpfen. Leider gab es damals Deinen Kanal noch nicht 🙂. Ich habe erst vor kurzem auch meine PV-Anlage in Betrieb genommen und stehe genau vor der Aufgabe die Daten aus dem Wechselrichter zu sammeln, aufzubereiten und zu visualisieren. Dein Video über die Modbus Integration des Wechselrichters in ioBroker th-cam.com/video/ninH9DsrC68/w-d-xo.html hat dabei sehr geholfen. Vielen Dank auch dafür.
Wie kann ich alle Daten auf einem USB Stick also einen externen Datenträger speichern? Wenn influxDB auf einem Pi läuft. Um die SD Karte zu entlasten?
Was ist an einem usb Stick besser als an einer sd Karte? Dann würde ich direkt auf eine ssd wechseln.
Ansonsten mounten und dann eben InfluxDB umkonfigurieren. Aber nicht empfehlenswert
Gibt es eine optische Plattform, womit man die Werte grafisch sehen, editieren und löschen kann? Kenne nur die Konsole ich finde dies nicht komfortabel
Gibt wohl ein cooles Plugin für VSCode welches ich mal testen möchte. Aber generell gibt es dafür keinen Client um sich einzelne „Datensätze“ anzuschauen oder zu manipulieren soweit ich weiß.
Wenn man systematisch alles direkt auf einen Proxmox Virtualisierungsserver packen will, und dort schon ein Debian LXC-Container für iobroker aufgesetzt hat - was wäre dann die empfehlenswerte Vorgehensweise?
Ich vermute, ein weiteres Debian LXC Template holen und aufsetzen, und dann die Influx-DB da hineinpacken?
Oder vielleicht doch mit in den Container des iobroker hineinpacken? ...
🤷🏼♂️ Wenn man alle Applikationen in einzelne Linux Container packen möchte, wäre Docker ja viel sinnvoller. Also ich sehe Systemcontainer wie LXC eher so, dass man mehrere Dinge da rein packen kann. Sonst würde das Konzept ja gar keinen Vorteil bieten.
Hallo
Schönes Video. Wie kann ich ein datenpunkt komplett löschen den ich mit Iobrocker geschrieben habe?
Schau mal im verlinkten Blog-Beitrag. Alternativ geht das auch über sendTo (dann in der Adapter Doku schauen).
Bin einem meiner letzten Videos zum Thema Grafana/Influx zeige ich das kurz (im 3ten Teil der Influx Reihe).
Super Video!
1ne Frage tut sich bei mir immer wieder auf, wie kann ich alte measurement die vom iobroker kommen löschen?
z.B. hab ich Power von einer Shelly Steckdose in Influxdb übermitteln lassen und hab die als PowerWaschmaschine benannt. Beim nächstenmal benutz ich die Steckdose für den Trockner und hab es auf PowerTrockner umbenannt. Leider bleibt der Name PowerWaschmaschine immer im measurement der Influxdb obwohl ich den nicht mehr nutze.
Danke vorab
Habe ich im Blogbeitrag erklärt
In einem meiner letzten Videos behandle ich das Thema, bei Interesse schau mal vorbei 😉
Danke für das Video. Wie kann ich aber mehrere Daten in die Langzeit Datenbank schreiben ? Zb Pv_Produktion / PV_eigenverbrauch / PV_Peak Danke Dir
Video folgt. Das hier war nur Warmup
Hallo zusammen,
Ich zeichne meinen aktuellen Stromverbrauch in Watt auf bzw. der aktuelle Verbrauch wird in die influxdb2 geschrieben.
Nun würde ich am Ende des Tages gerne wissen, wie viel wurde erzeugt. Kann man die Werte dann irgendwie addieren? Das klappt nämlich nicht.
Weiß jemand Rat?
VG
Ja, zeige ich alles im nächsten Video zu dem Thema
Hi, ich habe einen Datenpunkt "PV-Tagesertrag" und diesen würde ich gerne jeden Tag um 23:50 in InfluxDB speichern und später als Tabelle oder Graf abrufen, so dass ich meinen täglichen Ertrag sehe.
Kannst Du mir dazu eine Hilfestellung geben?
Kommt in einem separaten Video zu genau dem Thema
Hallo Matthias, nach einer neuen Installation von InfluxDB 2.x ist der Button zum CSV Export(rechts neben View Raw Data) nicht mehr vorhanden. Wir kann ich sonst meine Daten in eine CSV Datei exportieren?
Telegraf + KNX wäre interessant
Gibt es eine Möglichkeit von einer sql Datenbank auf influx umzuziehen?
Auf jeden Fall
Wie kann ich denn auf der Seite von Influxdb measurements löschen?
Habe aus dem ioBroker paar Daten drin und würde die gerne Löschen, da ich diese nicht mehr brauche.
Ist das überhaupt sinnvoll, oder sollte man einfach abwarten, bis sie über die standard 2 Jahre eh raus fliegen?
Steht im Blogbeitrag
@@haus_automation Danke - Der Tipp hat mir auch geholfen. Allerdings werden bei mir nur die Messdaten gelöscht und der Measurementname bleibt erhalten. D.h dieser taucht im Filter unter _measurement weiter auf - lässt sich dieser dort auch noch entfernen?
Update: scheint an den Rechten zu liegen, mit einem All Access API Token geht es. 🙂
hello,i have some question about how to upload a excel to influxdb,and the ip of influxdb is not local
Hi, wie muss ich die InfluxDB(ADDON in Homeassistant) konfigurieren damit diese nicht nur Daten bei einer Änderung speichert , sondern immer.
Wie kann ich mit iobroker adapter influxdb tags schreiben?
Wo schreibe ich den "Tag" oder die "Tags" rein ? (wo benenne ich die) ?
Ich habe VIEL probiert und es nicht geschafft.
Den Schalter im adapter influxdb [Experteneinstellungen][Verwende Tags, anstelle von Feldern...] habe ich angeklickt.
Ein neues Bucket ist auch erstellt.
Ich sehe mit influxdb2 Data Explorer aber nur _measurement _field ack from q
Und keine Tags
Bei manuellen Daten wie hier im Video gezeigt funktioniert es
Bitte um Hilfe
Dann werden halt automatisch Tags vergeben statt Messurements angelegt soweit ich weiß. Selbst die Tags vergeben ist meines Wissenes nach nicht möglich
@@haus_automation: Danke, ich dachte da könnte man selber 1-5 Tags verteilen.
@@andreas1974ac So ist das nicht vorgesehen. Wäre ein Feature-Request.
Schönes Video, konnte einiges für mich mitnehmen.
Aber in einem Punkt kann ich dir nicht zustimmen (vermutlich weil ich kein IT'ler bin), aber die Doku ist für nicht IT'ler einfach nur furchtbar 😂.
Sag Bescheid wenn ich helfen kann
wenn ich jetzt Daten aus dem IoBroker logge die nie ablaufen sollen und Daten habe die nach 30 Tagen gelöscht werden können, brauche ich ja 2 Buckets und 2 InfluxDB Instanzen, richtig? Das ist aber echt umständlich.
Ja, ist leider so. Wäre mal ein cooler Feature Request dass man pro Datenpunkt das Bucket nochmal festlegen kann
Hallo Mathias, was kann ich machen wenn ich die Daten nicht auf dem gleichen Server sondern auf einem anderen speichern möchte, Das heist die primäre Datenbang auf einer Influx dem auf einem Raps und die Langzeitdaten per Task auf einer InfluxDB im Docker einer NAS?
Gruß
Torsten
Wie kann ich eigentlich aus zwei verschiedenen entities addieren wenn ich zB einen HT und NT bei einem Energiezähler habe?
Habe ich doch im Video gezeigt? 🙃 Was fehlt Dir genau an Infos?
ich bin ehrlich und habe es mir bis zur pivot angesehen Aber ich kann es nicht so adaptieren das es funktioniert. Aus Home asisistant habe ich zwei entities (Stromzähler mit HT und separat NT, klar könnte ich die in HomeAssistant addieren) die ich addieren will. Bei mir sind die Werte jeweils immer unter _value.
Dann hast Du ja wahrscheinlich das Problem der unterschiedlichen Zeitstempel pro Eintrag. Das wollte ich ja mit dieser Lösung umgehen.
Planst Du noch zusätzliche Videos zum Thema ? Ich habe Probleme mit den Namen der verschiedenen Daten. Zz habe ich Dashboard auf dem ich max, min und mean Daten von Stromverbrauch und Stromerzeugung darstelle . Und die Labels die Angezeigt werden kann ich nicht unterscheiden. Gibt es da Möglichkeiten ?
zb werden galogende Labels angezeigt
value DailyConsumption
value DailyProduction
value DailyConsumption
value DailyProduction
value DailyConsumption
value DailyProduction
für diese Queries in einem Panel
from(bucket: "nodered")
|> range(start: -24mo)
|> filter(fn: (r) => r["_measurement"] == "DailyConsumption" or r["_measurement"] == "DailyProduction")
|> filter(fn: (r) => r["_field"] == "value")
|> aggregateWindow(every: 1mo, fn:max)
|> yield(name: "max")
from(bucket: "nodered")
|> range(start: -24mo)
|> filter(fn: (r) => r["_measurement"] == "DailyConsumption" or r["_measurement"] == "DailyProduction")
|> filter(fn: (r) => r["_field"] == "value")
|> aggregateWindow(every: 1mo, fn:min)
|> yield(name: "min")
from(bucket: "nodered")
|> range(start: -24mo)
|> filter(fn: (r) => r["_measurement"] == "DailyConsumption" or r["_measurement"] == "DailyProduction")
|> filter(fn: (r) => r["_field"] == "value")
|> aggregateWindow(every: 1mo, fn:mean)
|> yield(name: "mean")
was ich aber bräuchte ist :
Min DailyConsumption
Min DailyProduction
Max DailyConsumption
Max DailyProduction
Mean DailyConsumption
Mean DailyProduction
Hallo, bei mir ist der Punkt load data nicht vorhanden. Was mache ich falsch?
404 Referenz zum Produkt in Beschreibung...
Welchem Produkt?
Query Performance of InfluxDB 2.0 is very low! About 1/10 or 1/100 of the version 1.6 or 1.7.
1/3 or 1/3 of the MySQL.
Telegraf Video +1