Bilgisayar programi kullanan robot

Mikro Step

Kıdemli Üye
Katılım
25 Eylül 2022
Mesajlar
5,789
Bir programda bazi kutucuklari tiklayarak ekranda listelenmesi istenen dosyalari tanimliyoruz.

Ardindan da listele diyoruz. Ekranda listelenmis dosyalarin baskisinin alinip alinmadigina dair de yanlarinda minik bir icon oluyor.
Baskisi alinmamis dosyalarin baskisini aliyorum.

Bu is cok aptalca bir is ki fakat hata yapilirsa sonuclari agir olabiliyor.
Dosyayi tanimlarken tiklanmasi gereken kutucuklari dogru tiklamak hayati onemli.

Ben de tutup bir program yazdim. Sadece bir butona tikladigimda program benim adima kutucuklari seciyor secilmis dosyalari ekranda listeletiyor eger baskisi alinmamis dosyalar varsa onlari basiyor.

Boylece dikkat gerektiren oldukca sacma bir isten kurtulmus oluyordum. ustelik sifir hatayla.

Kisaca nasil yaptigima gelirsek, uygulama programina eklenti yapmam mumkun olmadigi icin robot programim ekranin fotografini cekiyor. kutucuklarin pixel olarak koordinatlarini bildigim icin ilgili koordinatlara mouse ile tikler attiriyor gorevi baslatiyor bu esnada yeni bir ekranda gelinceye kadar belirsiz bir zaman gecmesi gerektigi icin gene ekran fotolarini alip beklenen ekran goruntusunun gelip gelmedigini kontrol ediyordum.

Ardindan da baskisi alinmais dosyalarin baski alindi iconlarini gene foto cekme yoluyla ogrenip baskisini aldiracak butonlara mouse ile bastiriyordum

Gelelim simdiki sorunuma.

Cok kisa zaman sonra bilgisayarlara kisisel program yukleme yetkimiz elimizden tamamen alinacak. Yani yeni bilgisayara robot programimi yukleyemeyecegim.

Bu durumda bu otomasyonu yapmamin tek yolu kaliyor.

Ekranin karsisina bir kamera koymak ve bilgisayara robot mousumu takmak.

Robot mouse gene ilgili koordinatlari tiklayip ekranda degisime neden olacak. Kameradaki goruntuden de beklenen ekranin gelip gelmedigini tespit edip istedigim ekran geldi ise gene ozel bazi koordinatlari tiklatmam gerekecek.

Mouse kisminda sorun yok fakat kameradan aldigim goruntude islem yapmak beni zorlayacak. Zira ekran goruntusu mahrem. Ne yapacaksam bunu internetten bagimsiz MCU ile yapmak zorundayim.

Robot yailzim eskiden PC uzerinde kostugu icin 1 pixelin bile yeri kaymiyor nokta atisi ekran goruntusu hakkinda milyonlarca pixelden sadece bir kac tanesini kontrol etmem yetiyordu. Bunun icin ramdeki verileri pixel bazinda analiz etmem yetiyor.

Simdi ise bu kolaylik elimden alinacak. Kamerayi ekranin karsisina koydugumda kameranin acisi, kamera ile ekran arasindaki mesafe, masadaki titresim bile verileri dogru yorumlamami engelleyecek.

Iki sey secenegim var.

Ya cok ciddi goruntu isleme yaptiracagim ki bu konuda cok tecrubem yok. Ya da VGA RGB ve senkron bilgilerinden yararlanarak ramda yeniden kendi ekran verilerimi olusturmak.

Ikinci yontemi uygularsam gene goruntu isleme rutinlerim cok basite indirgenmis olacak.

Farkli bir yontem olarak mesela aklima analog cozumler geldi. RGB sinyallerinin iki VS senkron palsi araliginda integralini alirsam ekranin ortalama parlakligi hakkinda fikir edinmis olurum. Fakat bu ortalamayi ADC ile okumak ve degisime bakmak cok cok sikintili.

Ekran goruntusu degistiginde bu ortalama degisecek. (Ekrandaki goruntu degistigi halde pixel bazinda renkler degismezse yaniltici bir yontem)

En azindan ortalamaya bakarak ekran goruntusu degistimi degismedimi karari verebilirim. Fakat bu ekranda belirli bolgelerde icon varmi yokmu konusundaki sorusuna cevap veremeyecek.

Bu konuda gerek yok soyle soyle yap diyebileceginiz pratik fikirler var mi?
 
Son düzenleme:
Benim birader Kırmızı kurutmalık biberlerin sapını biberinden ayıran uygulama yapmıştı makinasında.
Yanlış hatırlamıyorsam NI nin programını kullanmıştı görüntü işemede.
Biberin önünde de olsa arkasında da olsa kesip sapını başka yere gönderiyordu.
Senin işine çok daha uygun olacağı kanaatindeyim tam olarak hangi program olduğunu öğrenip yazarım.
 
burada bir mcu yerine raspbery pi4 veya jetson nano gibi SBC olursa işler çok daha kolaylaşır. kamera yerine hdmi veya vga capture eden usb kart varsa ve linux için driver mevcutsa bu SBC'ler üzerinde direkt çalışır.
 

Çevrimiçi üyeler

Forum istatistikleri

Konular
6,847
Mesajlar
116,797
Üyeler
2,779
Son üye
Kersoyu

Son kaynaklar

Son profil mesajları

hakan8470 wrote on Dede's profile.
1717172721760.png
Dedecim bu gul mu karanfil mi? Gerci ne farkeder onu da anlamam. Gerci bunun anlamini da bilmem :gulus2:
Lyewor_ wrote on hakan8470's profile.
Takip edilmeye başlanmışım :D ❤️
Merhaba elektronik tutsakları...
Lyewor_ wrote on taydin's profile.
Merhabalar. Elektrik laboratuvarınız varsa bunun hakkında bir konunuz var mı acaba? Sizin laboratuvarınızı merak ettim de :)
Lyewor_ wrote on taydin's profile.
Merhabalar forumda yeniyim! Bir sorum olacaktı lcr meterler hakkında. Hem bobini ölçen hemde bobin direnci ölçen bir lcr meter var mı acaba?
Back
Top