Jag har börjat att testa en lokal AI på min dator som analyserar bilder från mina kameror och integration LLM Vision i Home Assistant
Jag har installerat en lokal AI på min dator som analyserar bilderna från mina övervakningskameror. Jag får tillbaka en bild med text vad bilden innehåller. Efter att jag lekt och testat inser jag att min nuvarande funktion för övervakning i Home Assistant fick en helt ny dimension 😂. Möjligheterna är otroliga och jag har bara testat en liten bråkdel av LLM vision integrationen i Home Assistant.
Vad LLM vision integrationen gör är att den skickar video eller bild till en AI som analyserar bilden. AI skickar analysen till LLM vision som berättar för mig vad bilden innehåller.
Integrationen LLM vision är skriven av Valentin Fröhlich och jag tycker att denna integration är helt magiskt bra! Länk till githubsidan finns här: GitHub – valentinfrlch/ha-llmvision: Let Home Assistant see!. Hemsidan finns här med väldig bra beskrivning hur man kommer igång och använder integrationen: https://llmvision.org/
Jag har använt en helt lokal funktion där jag har installerat Ollama på min dator. Anledningen är att jag vill hålla min information lokalt och inte skicka upp i ett moln. Dessutom tror jag att jag måste betala för varje förfråga som skickas om jag använder en molntjänst. Nackdelen med att använda en dator är att datorn måste vara på.
Vad använder jag
Jag använder Home Assistant
LLM vision integrationen
LLM vision Blueprint
Ollama körs i min dator
Model i Ollama: llava-phi3
Unifi G5 Turret Ultra
Blueprint för LLM Vision automationen
Det finns redan en bra skriven automation som tar bilder från kameran som jag har angett. Analyserar och skickar tillbaka svaret. Även den blueprinten finns att ladda ned på https://llmvision.org/
Tidslinje för dashboard
På sidan hittade jag även en funktion som heter timeline.
Förra året skapade jag en funktion med mina kameror och Home Assistant som detekterade när någon smyger runt huset. Den funktionen fungerar om Bortaläge är på och jag fick upp en notis att någon går runt huset. Nu med LLM Vision och AI kommer funktionen få en helt annan dimension. Jag kan nu få en beskrivning direkt i notisen med en bild.
Jag ska fortsätta testa olika modeller och se vilken modell i Ollama som passar min dator bäst. Jag ska även fortsätta testa andra funktioner i LLM Vision integrationen. Riktigt spännande!!
Läs mer om vad jag använder i mitt smarta hem system: Smarta hem – Hemautomation – Smart hem system
