Jag har börjat använda LLM Vision integrationen i Home Assistant så att AI kan analysera mina bilder och filmer från kameror
Av en slump snubblade jag över och läste om LLM Vision i Home Assistant. Det är en integration som använder sig av AI för att analysera bilder från kameror som är anslutna till Home Assistant. Efter att ha testat och använt integrationen under en vecka är jag riktigt imponerad.
Så här installerade jag LLM Vision
Innan jag installerade LLM vision funderade jag på vilken AI jag skulle använda. Det finns väl beskrivet vad som fungerar på LLM visions sida. Jag valde att använda en lokal AI som snurrar på min dator här hemma. Som AI använder jag Ollama som jag har installerat på min Windows dator med ett RTX 2070 kort.
Installationen av LLM vision är relativt enkelt. Jag följde instruktionerna som finns på LLM Vision sida som kan hittas här (extern länk): Introduction | LLM Vision | Getting Started
Efter installationen kunde jag börja med att lägga till en post och jag installerade då min AI (Ollama) som körs på min lokala Windows dator.
Jag klickar på Lägg till Post → Väljer Ollama → Bekräfta → IP adressen till min dator → Bekräfta → Klart!!
Ladda ned Blueprint
Nästa steg jag tog var att ladda ned Blueprint som finns på llm vision sida under Blueprint. Med blueprinten var det enkelt att testa och se om jag fick något result från mina kameror. Blueprint laddas ned och heter AI Event Summary och den version jag har är v1.4.3.
Första steget var att implementera kameran jag vill använda
Camera Entities: Här valde jag min kamera
Trigger state: Som standard står den på recording. När kamera går från idle till recording kommer blueprinten triggas
Motion sensor: Jag har AI event i mina Unifi kameror och här lade jag till Person detected.
Duration: Hur länge den ska spela in
Max Frames: Hur många bilder som AI ska analysera. Jag använder det som är standard i denna blueprint. Duration är satt till 5 och Max frames är satt till 3.
Nästa steg var inställningar för AI
Under kamerainställningar finns AI inställningar
Remember: Sparar bilder och event till Timeline. (Timeline måste vara uppsatt i LLM integrationen)
Use Memory: Här kan jag lägga in bilder i minnet för att jämföra bilder (Memory måste vara uppsatt i LLM integrationen)
Prompt: Här instrueras AI vad den ska göra.
Provider: När jag har satt upp Ollama kommer den att finnas med och jag kan välja AI
Model: Vilken Model jag använder. Jag använder Gemma3 så jag skriver in Gemma3:4b
Target With: Bildstorlek
Maximum tokens: Hur långt svaret ska vara
Temperatur: Hur exakt AI ska vara
Notifkationer till mobilen
I blueprinten kan jag även ställa in om jag vill få notifikationer i mobilen.
För att få bilderna på Dashboard
För att få bilderna på Dashboarden använder jag LLM Vision Timeline-kortet. Kortet finns att ladda ned på samma sida som LLM Vision integrationen.
När jag laddat ned och installerat kortet går jag till LLM Vision ingretaionen och lägger till en ny post. Här väljer jag nu Timeline som provider.
I blueprinten ovan klickar jag i valet Remember. Nu kommer alla kort och beskrivningar från AI sparas och läggas ut på min Dashboard.
Klickar jag nu på en bild kommer jag få upp en mer detaljerad beskrivning av händelsen.
Otrolig integration som jag kommer ha mycket kul med
Det här är en otrolig integration som Valentin Fröhlich har skrivit för Home Assistant. Otroligt imponerande!
