Akıllı bir ev kuran herkes rutini bilir: ışıkları kısmak için bir uygulama, termostatı ayarlamak için diğeri ve sadece tam ifadeyi anlayan bir ses asistanı. Bu sistemler kendilerini akıllı olarak adlandırır, ancak pratikte genellikle katı ve sinir bozucudurlar.
IEEE Kıdemli Üyesi Alakesh Kalita’nın yeni bir makalesi farklı bir yol öneriyor. LLM’leri kenarda IoT ağlarıyla birleştirerek, cihazlar doğal dil komutlarına sezgisel ve koordineli hissedecek şekilde yanıt verebilir. Her bir cihazı ayrı ayrı yönetmek yerine, bir kullanıcı geniş bir komut verebilir ve sistemin ayrıntıları bulmasına izin verebilir.
Önerilen çerçeve, veri toplama, işleme, hızlı oluşturma, yanıt kullanma ve aktüatör yönetimini işleyen çoklu yapılandırılmış modüllere ayrılmıştır.
Geleneksel IoT sistemleri basit komut tabanlı mantığa dayanır. Bir kullanıcı bir ışığı kapatabilir veya tek amaçlı bir uygulama veya sensörle bir termostatı ayarlayabilir. Bu sistemler çalışır, ancak kullanıcıların genellikle birden fazla adımla istediklerini hecelemelerini gerektirirler. Kalita’nın yaklaşımı, LLMS tarafından desteklenen doğal bir dil arayüzü ekleyerek kullanıcıların “Film Gecesi için Kurul” gibi daha geniş, daha esnek komutlar yayınlamalarını sağlıyor. Sistem daha sonra bu isteği yorumlayabilir ve karartma ışıkları, TV’yi açma ve sıcaklığı ayarlama gibi birden fazla cihazı tetikleyebilir.
Modüler, kenar bir ilk çerçeve
Bu çalışmayı pratikte yapmak için, araştırmacı modüler, kenar merkezli bir tasarım sunar. Sınırlı kaynakları nedeniyle pratik olmayan her bir IoT cihazında LLM’leri çalıştırmak yerine, modeller ağın ağ geçidine bağlı daha etkili bir kenar hesaplama cihazında çalışır. Bu kurulum, gecikmeyi azaltan ve gizliliği artıran verileri yerel olarak işler.
Sistem birkaç modüle ayrılmıştır. Hafif bir mesajlaşma protokolü olan MQTT’yi kullanarak sensör verilerini ve kullanıcı komutlarını toplayan IoT veri toplama modülü ile başlar. Ardından, veri işleme modülü bu girişi biçimlendirir ve filtreler. Geçmiş veriler ayrı olarak saklanır ve daha sonra karar verme bağlamı sağlamak için kullanılabilir.
Gerçek inovasyon, sistemin LLM için nasıl istemler yarattığından geliyor. Hızlı Oluşturma modülü, geri alınan bir üretim (RAG) yaklaşımı kullanarak yapılandırılmış bir istem oluşturmak için gerçek zamanlı sensör verilerini depolanmış geçmişle birleştirir. Bu yapılandırılmış giriş, LLM’nin daha doğru, duruma duyarlı yanıtlar sunmasına yardımcı olur.
LLM istemi işledikten sonra, çıkış onu standart bir formata ayıran yanıt işleme modülüne aktarılır. Aktüatör taşıma modülü daha sonra uygun komutları IoT cihazlarına geri gönderir.
Akıllı bir evde yaklaşımı test etmek
Bu kurulumu test etmek için araştırmacılar, kenar cihazı olarak bir Raspberry Pi 5 kullanarak akıllı bir ev prototipi inşa ettiler. ESP8266 mikrodenetleyicileri kullanılarak üç cihaz, bir ışık, TV ve fan bağlandı. İki LLM test edildi: Lama 3 (7b) ve Gemma 2b. Bir metin arayüzü aracılığıyla “Çalışma için Odayı ayarlayın” veya “Şimdi Uyumak İstiyorum” gibi komutlar yayınlandı. Modeller komutları yorumladı, JSON yanıtları oluşturdu ve doğru eylemleri gönderdi.
Lama 3, daha yüksek anlamsal doğrulukla yanıtlar verdi, ancak 208 saniyeye kadar önemli ölçüde daha uzun sürdü. Gemma 2B 30 saniyenin altında çok daha hızlıydı, ancak bazen komutu yanlış anladı. Bu, temel ödünleşimi vurgular. Daha büyük modeller daha doğru ancak daha yavaştır, ancak daha küçük modeller daha hızlıdır, ancak belirli görevler için ayar yapılması gerekebilir.
Kullanım durumlarının genişletilmesi
Yazar ayrıca daha geniş kullanım durumlarını araştırıyor. Endüstriyel ortamlarda, LLM’ler karmaşık sensör modellerini yorumlayarak öngörücü bakımı artırabilir. Sağlık hizmetlerinde, giyilebilir sensör verilerine dayalı olarak gerçek zamanlı izlemeyi ve kişiselleştirilmiş uyarıları destekleyebilirler.
İletişim verimliliği için, kenar devre dışı bırakılmış LLM’ler, ham veri göndermek yerine kompakt, semantik açıklamalar üreterek bant genişliği kullanımını azaltabilir. Bu özellikle 5G ve Future 6G ağlarında alakalı olacaktır.
Kenarda güvenlik endişeleri
LLMS IoT cihazlarını kontrol ettiğinde güvenlik önemli bir husustur. Sumo Logic’teki güvenlik olan Field CTO, Chas Clawson, yardım net güvenliğine, endüstrinin uzun zamandır insan kimliklerini korumaya odaklandığını, ancak şimdi aynı titizliği fiziksel değişimi tetikleyebilecek insan olmayan kimliklere uygulaması gerektiğini söyledi. Araştırmanın, LLM kontrol yollarını daha güvenli ve daha deterministik hale getirmek için korkulukları iyileştirdiğine dikkat çekti, ancak “hala bir güvene ihtiyacımız var, ancak yaklaşımı doğruladık: her eylemi izleme, politika kontrolleri ve kontrol hatalarını veya sınır ihlallerini yakalamak için uyarılarla sarın.”
Uygulamada Clawson, kritik sistemler için kütük yemlerinin merkezileştirilmesini, daha aykırı davranışlar için algılamalar eklemeyi ve telemetrinin birinci sınıf denetim olayları olarak istemleri, model çıktılarını, doğrulayıcı reddi ve aktüatör kararlarını içerecek şekilde genişletilmesini önerir. Ayrıca, güvenlik açıklarının fark edilmeden piyasaya sürülmesini önlemek için uygulama kodu, model ve RAG konfigürasyonlarındaki değişiklikleri ve bir yazılım tedarik zinciri zihniyetiyle dağıtımları izleyerek “daha fazla sol” değiştirilmesini tavsiye etti.
Makale ayrıca zorlukların devam ettiğini de uyarıyor. Hassas veriler LLMS tarafından işlendiğinde gizlilik bir endişe kaynağıdır. Yerel Edge yürütme, bulut tabanlı modellerden daha iyi gizlilik sunar, ancak ölçeklenebilirliği sınırlar. Sağlık veya endüstriyel otomasyon gibi kritik ortamlarda, bir LLM’den gelen hataların fiziksel sonuçları olabilir. Yazar, LLM’lerin kural tabanlı sistemlerle birleştirilmesini ve güvenilirliği artırmak için alana özgü kriterler geliştirmeyi önermektedir.