it-swarm-korea.com

전체 웹 사이트를 다운로드하려면 어떻게해야합니까?

웹 사이트에서 모든 페이지를 다운로드하려면 어떻게합니까?

모든 플랫폼이 좋습니다.

346
joe

HTTRACK 은 전체 사이트의 내용을 복사하는 챔피언처럼 작동합니다. 이 도구는 활성 코드 컨텐츠가있는 웹 사이트를 오프라인으로 작동시키는 데 필요한 조각을 잡을 수도 있습니다. 나는 그것이 오프라인으로 복제 할 수있는 물건에 놀란다.

이 프로그램은 당신이 필요로하는 모든 것을 할 것입니다.

행복한 사냥!

323
Axxmasterr

Wget 은 이러한 종류의 작업을위한 고전적인 명령 줄 도구입니다. 그것은 대부분의 유닉스/리눅스 시스템과 함께 제공되며, 당신은 그것을 얻을 수 있습니다 Windows 용 너무. Mac에서는 자작 이 그것을 설치하는 가장 쉬운 방법입니다 (brew install wget).

당신은 다음과 같이 할 것입니다 :

wget -r --no-parent http://site.com/songs/

자세한 내용은 Wget Manual 및 그 를 참조하십시오. 이들:

266
Jonik

Wget 사용 :

wget -m -p -E -k www.example.com

설명 된 옵션 :

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.
143
user9437

Internet Download Manager 에는 많은 옵션이있는 Site Grabber 유틸리티가 있습니다. 원하는 방식으로 원하는 웹 사이트를 완전히 다운로드 할 수 있습니다.

  1. 다운로드 할 페이지/파일의 크기 제한을 설정할 수 있습니다

  2. 방문 할 분기 사이트 수를 설정할 수 있습니다.

  3. 스크립트/팝업/복제본의 동작 방식을 변경할 수 있습니다.

  4. 해당 도메인에서만 도메인을 지정할 수 있습니다. 필요한 설정을 충족하는 모든 페이지/파일이 다운로드됩니다.

  5. 찾아보기를 위해 링크를 오프라인 링크로 변환 할 수 있습니다.

  6. 위의 설정을 선택할 수있는 템플릿이 있습니다.

enter image description here

그러나 소프트웨어는 무료가 아닙니다. 귀하의 필요에 따라 평가판이 사용되는지 확인하십시오.

8
Lazer

Firefox 확장 기능인 ScrapBook 을 살펴보십시오. 심도있는 캡처 모드 가 있습니다.

enter image description here

8
webjunkie

itucks - 그것이 프로그램의 이름입니다!

7
kmarsh

나는 브라우저가 사용하는 온라인 버퍼링을 다룰 것이다 ...

일반적으로 대부분의 브라우저는 탐색 캐시를 사용하여 웹 사이트에서 다운로드 한 파일을 잠시 동안 보관하므로 정적 이미지와 콘텐츠를 반복해서 다운로드 할 필요가 없습니다. 이것은 상황에 따라 약간의 속도를 낼 수 있습니다. 일반적으로 대부분의 브라우저 캐시는 고정 된 크기로 제한되며 그 한계에 도달하면 캐시에서 가장 오래된 파일이 삭제됩니다.

ISP는 ESPN 및 CNN과 같이 자주 액세스하는 웹 사이트의 사본을 보관하는 캐싱 서버를 사용하는 경향이 있습니다. 이렇게하면 네트워크에있는 누군가가이 사이트를 방문 할 때마다이 사이트를 방문하는 수고를 덜 수 있습니다. 이는 ISP에 대한 외부 사이트에 대한 중복 요청 량을 대폭 절감 할 수 있습니다.

5
Axxmasterr

나는 오프라인 탐색기 를 좋아한다.
셰어웨어이지만, 사용하기 쉽고 매우 유용합니다.

5
Eran

나는 수년 동안이 일을하지 않았지만, 여전히 몇 가지 유틸리티가 있습니다. Web Snake 를 시도해 볼 수 있습니다. 나는 몇 년 전에 그것을 사용했다고 믿는다. 나는 당신의 질문을 읽을 때 바로 그 이름을 기억했습니다.

나는 Stecy와 동의한다. 제발 그들의 사이트를 망치로하지 마십시오. 아주 나쁜.

4
Bobby Ortiz

WebZip 도 좋은 제품입니다.

4
Herb Caudill

Linux 및 OS X의 경우 : 전체 웹 사이트를 WARC 파일에 보관하기 위해 grab-site 라고 썼습니다. 이러한 WARC 파일은 브라우징 되거나 추출 될 수 있습니다. grab-site를 사용하면 정규식을 사용하여 건너 뛸 URL을 제어 할 수 있으며 크롤링이 실행 중일 때이를 변경할 수 있습니다. 또한 정크 URL을 무시하기위한 광범위한 기본값 세트 가 제공됩니다.

크롤링을 모니터링하기위한 웹 대시 보드는 물론 특정 크기 이상의 비디오 내용이나 응답을 건너 뛰는 추가 옵션이 있습니다.

3
Ivan Kozik

DownThemAll 은 한 번의 클릭으로 특정 웹 페이지에 대한 모든 콘텐츠 (예 : 오디오 또는 비디오 파일)를 다운로드하는 Firefox 추가 기능입니다. 이것은 전체 사이트를 다운로드하지는 않지만 이것은 문제가 찾고있는 종류 일 수 있습니다.

3
Will M

Teleport Pro 는 대상이 무엇이든간에 모든 파일을 복사하는 또 다른 무료 솔루션입니다 (또한 유료 버전을 사용하면 더 많은 파일을 가져올 수 있습니다 콘텐츠 페이지).

3
Pretzel

시도 백 스트리트 브라우저 .

무료이며 강력한 오프라인 브라우저입니다. 고속, 멀티 스레딩 웹 사이트 다운로드 및보기 프로그램. BackStreet Browser는 여러 개의 동시 서버 요청을함으로써 HTML, 그래픽, Java 애플릿, 사운드 및 기타 사용자 정의 파일을 포함한 전체 웹 사이트 또는 사이트의 일부를 신속하게 다운로드 할 수 있으며 모든 파일을 네이티브 형식으로 하드 드라이브에 저장할 수 있습니다. 또는 압축 된 Zip 파일 및보기 오프라인으로.

enter image description here

3
joe

Venerable FreeDownloadManager.org도이 기능을 제공합니다.

무료 다운로드 관리자는 두 가지 형식의 두 가지 형식으로되어 있습니다 사이트 탐색기와 사이트 스파이더 :

사이트 탐색기
사이트 탐색기를 사용하면 웹 사이트의 폴더 구조를보고 필요한 파일이나 폴더를 쉽게 다운로드 할 수 있습니다.
HTML 거미
HTML Spider를 사용하여 전체 웹 페이지 또는 전체 웹 사이트를 다운로드 할 수 있습니다. 지정된 확장명의 파일 만 다운로드하도록 도구를 조정할 수 있습니다.

사이트 익스플로러는 전체 사이트를 다운로드하려고 시도하기 전에 포함/제외 할 폴더를 확인하는 데 유용합니다. 특히 예를 들어 다운로드하지 않으려는 전체 포럼이 사이트에 숨어있는 경우 특히 그렇습니다.

1

힘 wget

Wget이 이미 언급되었지만,이 리소스와 명령 행은 너무 매끄 럽기 때문에 나는 언급 할 가치가 있다고 생각했다 : wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

이 코드는 explainhell에 설명되어 있습니다

1
Shwaydogg