سایتی که رفتی سراغش علاقمند نیست که تو همه اش رو به سادگی دانلود کنی. یک فایل robots.txt داره که توش می گه :
....
User-agent: Wget
User-agent: Wget/1.5.3
User-agent: Wget/1.6
....
Disallow: /
User-agent: *
Crawl-delay: 60
یعنی اگر کسی با دبیلو گت (و کلی چیز دیگه) اومد حق نداره چیزی رو به شکل اتوماتیک دانلود کنه. در عین حال اگر هم با چیز دیگه اومد، هر دقیقه فقط یک صفحه رو می تونه بگیره. wget هم به عنوان یک نرم افزار آزاد به این خواسته طرف احترام می ذاره و دانلود رو متوقف می کنه (: