Jag har börjat att testa en lokal AI på min dator, Home Assistant med integration LLM Vision som analyserar bilder från mina övervakningskameror.
Jag har installerat en lokal AI på min dator som analyserar bilderna från mina övervakningskameror. Jag får tillbaka en bild med text vad bilden innehåller. Efter att jag lekt och testat inser jag att min nuvarande funktion för övervakning i Home Assistant fick en helt ny dimension 😂. Möjligheterna är otroliga och jag har bara testat en liten bråkdel av LLM vision integrationen i Home Assistant.
Vad LLM vision integrationen gör är att den skickar video eller bild till en AI som analyserar bilden. AI skickar analysen till LLM vision som berättar för mig vad bilden innehåller.
Integrationen LLM vision är skriven av Valentin Fröhlich och jag tycker att denna integration är helt magiskt bra! Länk till githubsidan finns här: GitHub – valentinfrlch/ha-llmvision: Let Home Assistant see!. Hemsidan finns här med väldig bra beskrivning hur man kommer igång och använder integrationen: https://llmvision.org/
Jag har använt en helt lokal funktion där jag har installerat Ollama på min dator. Anledningen är att jag vill hålla min information lokalt och inte skicka upp i ett moln. Dessutom tror jag att jag måste betala för varje förfråga som skickas om jag använder en molntjänst. Nackdelen med att använda en dator är att datorn måste vara på.
Vad använder jag
Jag använder Home Assistant
LLM vision integrationen
LLM vision Blueprint
Ollama körs i min dator
Model i Ollama: llava-phi3
Unifi G5 Turret Ultra
AI körs på min dator
Jag använder Ollama och Ollama har jag installerat på min dator. Datorn har inte några fantastiska specifikationer eller en high end GPU. Grafikkortet som jag använder är ett RTX 2070.
Som modell håller jag på och testar lite olika som LLAMA3.2-vision, MINICPM-V och LLAVA-PHI3. Det lilla test som jag har kört här hemma är att LLAVA-PHI3 presterar bäst på min dator.
Installationen av Ollama på datorn är enkel men jag hade lite bekymmer med att få Home Assistant att snacka med Ollama över nätverket. Tills jag insåg att brandväggen i Windows blockerade porten för Ollama. Mer om min installation av Ollama i Windows 11 finns här: Så här installerade jag Ollama i Windows 11
Blueprint för LLM Vision automationen
Det finns redan en bra skriven automation som tar bilder från kameran som jag har angett. Analyserar och skickar tillbaka svaret. Även den blueprinten finns att ladda ned på https://llmvision.org/. Blueprint är enkel och lätt att använda där jag har gjort följande inställningar:
Camera & Sensor setting har jag lagt till mina kamera strömmar från Unifi protect integrationen. Som triggers använder jag kamerans sensor person detected. På så sätt kommer jag bara detektera människor på bilden. Här fick jag dock modifiera Blueprinten då det finns en funktion som heter Trigger State. Automationen kommer starta direkt när kamera går från idle till recording. Den här tog jag bort och kör bara kamerans sensor som trigger.
AI Settings Lade jag till integrationen Ollama som pekar på min IP adress till datorn. Som model använder jag llava-Phi3 men jag håller även på och testar lite andra modeller.
Notification Settings Här lade jag till min mobiltelefon så jag får en notis till telefonen när jag är utanför hemmet. Längst upp i bueprinten kan jag lägga till ett villkor när automationen ska köras. Jag vill att denna automation bara körs när min grundfunktion Bortaläge är på.
Alla mina grundfunktioner finns att läsa på sidan: Smarta hem funktioner
Tidslinje för dashboard
På sidan hittade jag även en funktion som heter timeline som jag lagt till på min Dashboard. För att få tidslinjen att fungera måste jag lägga till den i integrationen. Här kan jag bestämma hur många bilder som ska visas samt hur länge bilderna ska sparas. Tidslinje är ett kort som jag laddat med på LLM visions githubsida.
Övervakningsfunktion som ger mig notiser
Förra året skapade jag en funktion med mina kameror och Home Assistant som detekterade när någon smyger runt huset. Den funktionen fungerar om Bortaläge är på och jag fick upp en notis att någon går runt huset. Nu med LLM Vision och AI kommer funktionen få en helt annan dimension. Jag kan nu få en beskrivning direkt i notisen med en bild. Klickar jag på notisen i mobilen kommer dne ta mig direkt till kameraströmmarna som jag har lagt till på min Dashboard.
Ska fortsätta testa
Jag ska fortsätta testa olika modeller och se vilken modell i Ollama som passar min dator bäst. Jag ska även fortsätta testa andra funktioner i LLM Vision integrationen. Riktigt spännande!!
Läs mer om vad jag använder i mitt smarta hem system: Smarta hem – Hemautomation – Smart hem system
