月下博客

另一种利用Nginx反向代理来简单镜像 HTTP(S)网站 的方法

本文最后更新于 2018年1月12日 17:12 可能会因为没有更新而失效。如已失效或需要修正,请留言!

最近发了几篇镜像谷歌的教程,然后就有人问我镜像其他网站的方法,那我就写个教程吧。

利用nginx的反向代理优势来镜像 HTTP(S)网站。


其他的一些镜像Google的教程:

安装Nginx

 

LNMP一键包方式 安装Nginx

当然,lnmp一键包我还是推荐 军哥的LNMP一键包

点击展开 查看更多

  1. LNMP一键包安装教程
  2. 添加虚拟主机

这种方法适合 懒得折腾的人,虽然因为安装编译的东西很多,时间一般都在半小时以上,如果不急的话,可以使用这个。毕竟这个安装完了,方便管理,而且也不仅仅拿来做镜像用,还可以放其他网站。

注意:军哥的LNMP一键包在编译Nginx的是已经加上 --with-http_sub_module 扩展了,所以可以提换域名,而如果是别的一键安装包或者自己编译Nginx的话,你需要加上这个扩展。

如果,你暂时不需要其他的组件(Mysql php)那就先把他们关闭,只开启Nginx。

lnmp stop
lnmp nginx start

根据这个教程 添加虚拟主机 后,就根据下面的虚拟主机配置文件位置,找到你的配置文件,然后修改。

vi /usr/local/nginx/conf/vhost/www.abc.com.conf
# 自行套用为你的域名
# 打开后按 I键,进入编辑模式,然后套用最下面的配置文件示例,粘贴进去后,按 Esc键 退出编辑模式,然后输入 :wq 保存并退出。

按照下面的示例修改完毕后就重启Nginx

lnmp nginx restart

 

配置文件示例

以下教程 域名以 www.abc.com 为例,被镜像网站以 www.baidu.com 为例

然后访问你的域名看一看是否成功镜像,需要注意的一点是,如果被镜像的网站设置了防盗链,那么静态文件(js/css/图片)可能无法显示,这就没办法了。

参数解释

一般情况下只需要更改这几个参数。

server_name 你的域名;

sub_filter 欲被镜像的域名 你的域名;

proxy_set_header Referer http://欲被镜像的域名;

proxy_set_header Host 欲被镜像的域名;

proxy_pass http://欲被镜像的域名;

HTTP 示例

以下示例是以 www.abc.com 镜像 www.baidu.com 为例。自行替换 其中的参数:

第二段是 屏蔽搜索引擎收录,比如镜像自己的网站,如果不屏蔽会导致 收录流失。

注意:不管你是镜像 www.baidu.com 还是 www.google.com.hk (不要直接使用 .com 会被谷歌自动根据VPS所在地区重定向的),他们两个目前都是强制重定向到 https ,这意味着如果你只配置了 http 反向代理,那么访问反向代理域名后会重定向到 https 的目标域名,所以你也必须配置 https 才行。

# 下面这段代码才是 HTTP 完整示例配置文件,注意使用时修改里面的默认域名等信息。
server
	{
		listen 80;
		server_name www.abc.com;
		
		if ($http_user_agent ~* (baiduspider|360spider|haosouspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
		return  403;
		}
  
		location / {
		sub_filter www.baidu.com www.abc.com;
		sub_filter_once off;
		proxy_set_header X-Real-IP $remote_addr;
		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		proxy_set_header Referer http://www.baidu.com;
		proxy_set_header Host www.baidu.com;
		proxy_pass http://www.baidu.com;
		proxy_set_header Accept-Encoding "";
		}
}

HTTPS 示例

当你要镜像的网站不开放 HTTP或者强制HTTPS 的时候,你就需要加上 SSL 来转成 HTTPS 了。

假设SSL证书文件位置是:/root/ssl.crt

假设SSL密匙文件位置是:/root/ssl.key

第二段的 301 代码是,强制走HTTPS,如果不需要可以去掉。

第三段是 屏蔽搜索引擎收录,比如镜像自己的网站,如果不屏蔽会导致 收录流失。

同时下面这两个选项的记得把 http:// 改成 https://

proxy_set_header Referer https://www.baidu.com;
proxy_pass https://www.baidu.com;
# 下面这段代码才是 HTTP 完整示例配置文件,注意使用时修改里面的默认域名等信息。
server
	{
		listen 80;
		listen 443 ssl;
		ssl on;
		ssl_certificate /root/ssl.crt;
		ssl_certificate_key /root/ssl.key;
		ssl_session_cache shared:SSL:10m;
		ssl_session_timeout  10m;
		server_name www.abc.com;
		add_header Strict-Transport-Security "max-age=31536000";
		
		if ( $scheme = http ){
			return 301 https://$server_name$request_uri;
		}
		
		if ($http_user_agent ~* (baiduspider|360spider|haosouspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
		return  403;
		}
  
		location / {
		sub_filter www.baidu.com www.abc.com;
		sub_filter_once off;
		proxy_set_header X-Real-IP $remote_addr;
		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		proxy_set_header Referer https://www.baidu.com;
		proxy_set_header Host www.baidu.com;
		proxy_pass https://www.baidu.com;
		proxy_set_header Accept-Encoding "";
		}
}

转载请超链接注明:月下博客 » 另一种利用Nginx反向代理来简单镜像 HTTP(S)网站 的方法
责任声明:本站一切资源仅用作交流学习,请勿用作商业或违法行为!如造成任何后果,本站概不负责!