Tefastan Veri Çekme Problemi

[Gokrtl]

Biraz fon yatırımım var. Tek bir yerden takip edebilmek için google tablolarda bir sistem oluşturdum.
Tefas web sitesinden verileri çekiyorum ama bir kaç dakika sonra tefas tarafında ne oluyorsa veri akışı kesiliyor.
Tekrar çekebilmek için hücre den fon kodunu silip tekrar yazıyorum. Ama bunu sürekli yapmak çok sıkıcı oluyor.

Gün boyu yapay zeka dahil bir çok araştırma yaptım ama bir sonuca ulşamadım.
Sorun tefas kaynaklı olduğu için sanırım, hangi kodu denediysem bir süre çalıştıktan sonra sıfırlandı.

Fonun kodunu yazdığım anda tüm bilgileri çekebiliyorum.
Mesela fonun fiyatını şu kod ile çekiyorum:

=DEĞİŞTİR(İNDİS(IMPORTHTML("https://www.tefas.gov.tr/FonAnaliz.aspx?FonKod="&A3;"LIST";5);1);1;15;"")

Olması Gereken

Bir kaç Dakika Sonra Olan

Tefas'a bu konu ile ilgili mail attım ama beni takarlar mı bilemiyorum.
Bu arada mail atarken "konuyla ilgili resim ekte" yazdım ama resmi eklemeden gönder butonuna bastım. Sanırım bu hatayı milyonlarca insan çok sık yapıyordu ki önlem almışlar. Dikkatimi çekti.

 

[clc]

Çok fazla istek gelince engelliyor olabilir. Ben hiç yapmadım ama daha önceden bazı amaçlarla böyle web scraping yöntemleriyle arkadaşlarım çok data çekti. Bir yöntem bulup çalışırsan bile bir süre sonra ya karşı taraf fark edip önlem alıyor ya da otomatize edilmiş sistemler engelliyor.

Eğer yanlış hatırlamıyorsam bir arkadaşım seneler önce ünlü ve sarı renkli bir siteden data çekmenim bir yolunu bulmuştu. O kadar hızlı çekemiyordu ama 5-6 bilgisayardan eş zamanlı açıp saatte ciddi data topluyordu, bulduğu yöntemi 2. Gün fixlemişlerdi. Başka yöntem bulmuştu saatler içerisinde o da engellenmişti. Benzer bir durum tefas içinde olabilir, aynı yerden gelen ardışık requestten anlayıp durduruyordur.

 

[Gokrtl]

Çok fazla istek gelince engelliyor olabilir. Ben hiç yapmadım ama daha önceden bazı amaçlarla böyle web scraping yöntemleriyle arkadaşlarım çok data çekti. Bir yöntem bulup çalışırsan bile bir süre sonra ya karşı taraf fark edip önlem alıyor ya da otomatize edilmiş sistemler engelliyor.

Eğer yanlış hatırlamıyorsam bir arkadaşım seneler önce ünlü ve sarı renkli bir siteden data çekmenim bir yolunu bulmuştu. O kadar hızlı çekemiyordu ama 5-6 bilgisayardan eş zamanlı açıp saatte ciddi data topluyordu, bulduğu yöntemi 2. Gün fixlemişlerdi. Başka yöntem bulmuştu saatler içerisinde o da engellenmişti. Benzer bir durum tefas içinde olabilir, aynı yerden gelen ardışık requestten anlayıp durduruyordur.

Durdurmalarını gerektirecek bir şey yok ki.
Ne bir para alışverişi var ne de ticari bir kaygı. Sadece bilgi amaçlı bir site. Bence yazılımsal bir sorun olmalı. Javascript HTML çakışması gibi bir şey düşünüyorum. Mail attım. Dönüş yaparlarsa anlaycağım.

 

[132kHz]

Eğer veri paketi olarak satıyorlasa engellenmiş olabilir yada botlar siteyi meşgul etmesin diye

 

[taydin]

Eğer veri sayfası, arka planda AJAX veya fetch ile verileri güncelliyorsa, belki de tam güncelleme esnasına denk getirmiş oluyorsun okumayı.

 

[Gokrtl]

Valla bilmiyorum. Bir şeyler oluyor. Maile dönerlerse anlayacağız.

 

[joviden]

Ben excel kullanıyorum. Tüm fonlara ait kodların listesi var. Elimde tuttuğum fonların güncel fiyatlarını bir sorgu fonksiyonuna bağladım. Günde 1 kere güncelliyorum, portföyümün durumunu görüyorum. Bu sabah da güncelleme yaptım, herhangi bir sorun ile karşılaşmadım.

 

[Gokrtl]

E tablolara her yerden ulaştığım için bana çok rahat oluyor. Belki bir refresh komutuyla da çözülebilir. Ona da hiç bakmadım.

 

[taydin]

Şimdi fon sayfasına bakınca verilerin zaten CSV olarak indirilebildiği görülüyor. HTML kodu indirip parse edeceğine doğrudan CSV yi neden indirmiyorsun?

 

[Gokrtl]

Maile dönüş aldım.

Merhaba,

Tefas Fon Bilgilendirme Platformu'nda yer alan veriler, çekince bildirimi kapsamında finsansal okur yazarlığın artırılması amacıyla paylaşılmaktadır.Bu kapsamda Kurumsal politikalarımız gereği API paylaşımı yapılmamaktadır.

Buna ek olarak; Borsa İstanbul tarafından dağıtımı yapılan verilere ilişkin olarak Borsamız Pazarlama ve Satış Direktörlüğünün ilgili birimiyle vyk-marketing@borsaistanbul.com adresi üzerinden iletişime geçebilirsiniz.

Boş bir zamanımda borsaistanbulu bir kurcalayacağım.

Şimdi fon sayfasına bakınca verilerin zaten CSV olarak indirilebildiği görülüyor. HTML kodu indirip parse edeceğine doğrudan CSV yi neden indirmiyorsun?

44086 eklentisine bak

CSV ile hiç çalışmadım. Exel gibi indirip içinden veri mi almak gerekiyor? E-tablolar bunu otomatik yapabilir mi?

 

[taydin]

Excel CSV yi doğrudan yükleyebilir. File -> Open yap, orada desteklenen formatlar arasında CSV mutlaka vardır.

 

[Gokrtl]

Excel CSV yi doğrudan yükleyebilir. File -> Open yap, orada desteklenen formatlar arasında CSV mutlaka vardır.

Bunu her seferinde yapmam mı gerekiyor?
Yani CSV yi bilgisayarıma indireceğim, Exele yükleyeceğim, Sonra fiyatlar her değiştiğinde bunu tekrar yapacağım. Doğru mu anlıyorum?

 

[taydin]

Bir excel makrosu ile de yapılabilmesi lazım. Excel dosyasını açınca, makro çalışacak, CVS'yi indirecek ve ekranda yeni verileri yazdıracak.

 

[Gokrtl]

Bir excel makrosu ile de yapılabilmesi lazım. Excel dosyasını açınca, makro çalışacak, CVS'yi indirecek ve ekranda yeni verileri yazdıracak.

Anladım. Biraz kafa yormak lazım.

 

[slewrate]

Getiriyi görmek için https://www.fonadam.com/ diye bir site var. Portföyünüzün grafiğini de gösteriyor. İllaki kendim yapacağım diyorsan o ayrı tabi.

 

[Gokrtl]

Getiriyi görmek için https://www.fonadam.com/ diye bir site var. Portföyünüzün grafiğini de gösteriyor. İllaki kendim yapacağım diyorsan o ayrı tabi.

Fon adamı beğendim. Gerçekten kâr amacı gütmeyen, reklamsız, ıvır zıvır olmayan çok sade, işlevsel bir tasarımı var. Bir müddet kullanacağım.
Kimseden para almıyor olması sunucu ve domain barındırma gibi konularda inşallah kendisini zorlamaz. Bu tür ücretsiz olma durumlarında hep tırsıyorum. Sonunda kapanabilir diye. Gerçi burada kapansada kaybedeceğimiz bir durum yok. Sadece bilgi takip ediyoruz.

 

[slewrate]

Ben önceleri kullanıyordum bu siteyi. Uzun süredir aktif bir site. Sık sık alım satım yapıyorsanız buraya işlemek gerekiyor bu nedenle pek kullanışlı olmuyor benim için.

 

[Gokrtl]

Ben önceleri kullanıyordum bu siteyi. Uzun süredir aktif bir site. Sık sık alım satım yapıyorsanız buraya işlemek gerekiyor bu nedenle pek kullanışlı olmuyor benim için.

Bende 8 tane fon var. Her ay alım yapıyorum ama 3 ayda bir tek tük satış yapıyorum. Bir süre deneyeyim bakalım.