W3CRobot5.4.0 libwww5.4

[입명이]

트래픽 관련 문제 때문에 문의 드립니다.

지금이 새벽이니 어제 제가 html 이 표준에 맞는지 웹 페이지로 검색을 하고,
확인좀 하고 닫았더니, 홈페이지의 트래픽이 거덜나버렸더군요.

그래서 트래픽을 확인하던중,

상위 15 / 35 에이전트

# Hits 에이전트

1 28566 49.76% W3CRobot/5.4.0 libwww/5.4.0
2 9349 16.29% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
3 3107 5.41% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1
4 2861 4.98% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
5 2833 4.94% Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)
6 1419 2.47% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; i-NavFourF
7 1413 2.46% Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; ESB{29B152C0-F
8 1236 2.15% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; FunWebProd
9 859 1.50% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
10 750 1.31% Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; Win 9x 4.90)
11 741 1.29% Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; \xbe\xdc\xc6\x
12 730 1.27% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1
13 679 1.18% Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; IcoMy)
14 517 0.90% Mozilla/5.0 (Windows; U; Windows NT 5.2; ko-KR; rv:1.7.5) Gec
15 509 0.89% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET

이와 같이 저 로봇이 최다 히트를 기록하더군요.
저놈이 트래픽을 유발한건가요?

HTML 표준 확인하려던게~ 무한으로 돌면서 트래픽을 유발한건가요?

궁금해서 여쭤봅니다.
그렇다면 간단한 문제는 아닐듯 한데...