F
findlink
Findlinks web crawler for link discovery
About this crawler
findlink is a web crawler identified by the regular-expression pattern findlink in the User-Agent request header. It is categorised as seo. Use the regex above to detect, log, allow, or block findlink traffic in your web server, CDN edge rules, or robots.txt.
Block-rate · top 25k sites
0.065%
Technical details
- Name
- findlink
- Pattern
findlink- Tags
- seo
- Instances
- 23 known sample(s)
Sample User-Agent strings
findlinks/1.0 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/1.1.3-beta8 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/1.1.3-beta9 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/1.1.5-beta7 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/1.1.6-beta1 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/1.1.6-beta1 (+http://wortschatz.uni-leipzig.de/findlinks/; YaCy 0.1; yacy.net)
findlinks/1.1.6-beta2 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/1.1.6-beta3 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/1.1.6-beta4 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/1.1.6-beta5 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/1.1.6-beta6 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/2.0 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/2.0.1 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/2.0.2 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/2.0.4 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/2.0.5 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/2.0.9 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/2.1 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/2.1.3 (+http://wortschatz.uni-leipzig.de/findlinks/)
findlinks/2.1.5 (+http://wortschatz.uni-leipzig.de/findlinks/)
+ 3 more samples in crawlers.json
Block this crawler
robots.txt — disallow findlink:
User-agent: findlink
Disallow: /
Apache .htaccess — return 403:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} findlink [NC]
RewriteRule .* - [F,L]
Nginx — return 403 inside a server block:
if ($http_user_agent ~* "findlink") {
return 403;
}
← back to all crawlers