SetreeBot
SetreeBot je program služby Šetree, ktorý číta nové inzeráty z bazárov, aby mohol používateľom poslať odkaz na tie, ktoré hľadajú. Predstavuje sa vždy rovnako:
Mozilla/5.0 (compatible; SetreeBot/1.0; +https://setree.cz/bot)
Čo číta a ako často
- RSS kanály rubrík, ktoré prevádzkovateľ bazára sám ponúka; každú rubriku najčastejšie raz za minútu, pri pokojných rubrikách zriedkavejšie (až 15 minút).
- Stránku inzerátu len vtedy, keď zodpovedá niečiemu strážcovi (kvôli obci a typu predajcu), každú raz.
- Najviac jedna požiadavka za 3 sekundy na jeden web, nikdy súbežne.
- Rešpektuje robots.txt a odpovede 429/503. Nepoužíva proxy, nemení user-agent a nikdy neobchádza ochranu ani prihlásenie.
Zdroje
| Zdroj | Stav |
|---|---|
| Bazoš.cz | nečítame |
| Bazoš.sk | nečítame |
Prevádzkujete web a nechcete, aby ho SetreeBot čítal?
Napíšte nám na ahoj@setree.cz – čítanie vypneme do 24 hodín. Stačí tiež zakázať SetreeBot v robots.txt. Radi sa dohodneme aj na oficiálnom napojení.