在linux中,curl 命令是一個利用URL規則在命令行下工作的文件傳輸工具。curl 支持文件的上傳和下載,所以是綜合傳輸工具,但習慣性的稱curl為下載工具。作為一款強力工具,curl支持包括HTTP、HTTPS、FTP等眾多協議,還支持 GET、POST、cookies、認證、從指定偏移處下載部分文件、用戶代理字符串、限速、文件大小、進度條等特征,還可以做網頁處理流程和數據檢索自動化。
一、curl命令安裝
默認在linux(ubuntu)下curl沒有安裝,需要輸入sudo apt-get install curl命令安裝
二、curl命令語法
curl [option] [url]
(1)option為操作命令,常用命令有:
-A/--user-agent <string> 設置用戶代理發送給服務器
-b/--cookie <name=string/file> cookie字符串或文件讀取位置
-c/--cookie-jar <file> 操作結束后把cookie寫入到這個文件中
-C/--continue-at <offset> 斷點續轉
-D/--dump-header <file> 把header信息寫入到該文件中
-e/--referer 來源網址
-f/--fail 連接失敗時不顯示http錯誤
-o/--output 把輸出寫到該文件中
-O/--remote-name 把輸出寫到該文件中,保留遠程文件的文件名
-r/--range <range> 檢索來自HTTP/1.1或FTP服務器字節范圍
-s/--silent 靜音模式。不輸出任何東西
-T/--upload-file <file> 上傳文件
-u/--user <user[:password]> 設置服務器的用戶和密碼
-w/--write-out [format] 什么輸出完成后
-x/--proxy <host[:port]> 在給定的端口上使用HTTP代理
-#/--progress-bar 進度條顯示當前的傳送狀態
(2)url為具體的網頁地址
例如://www.gnu.org/software/gettext/manual/gettext.html
三、Curl命令使用方法
1.保存下載文件
(1)下載單個文件
(2)使用-o(小寫)參數,可下載到本地并重命名
(3)使用-O(大寫)參數,將文件保存到本地并命名為gettext.html
(4)使用重定向功能保存
2.斷點續傳
curl能夠從特定的文件偏移處繼續下載,它可以通過指定一個偏移量來下載部分文件:
當文件在下載完成之前結束該進程,使用-C(大寫)參數例如:
當文件在下載完成之前結束該進程:
$ curl -O //www.gnu.org/software/gettext/manual/gettext.html3
############## 20.1%
通過添加-C選項繼續對該文件進行下載,已經下載過的文件不會被重新下載
curl -C - -O //www.gnu.org/software/gettext/manual/gettext.html7
############### 21.1%
3.測試網頁返回值
在腳本中,這是很常見的測試網站是否正常的用
4.指定proxy服務器以及其端口
很多時候上網需要用到代理服務器(比如是使用代理服務器上網或者因為使用curl別人網站而被別人屏蔽IP地址的時候),幸運的是curl通過使用內置option:-x來支持設置代理
curl -x 192.168.100.100:1080 //www.gnu.org/software/gettext/manual/gettext.html
5.cookie
有些網站是使用cookie來記錄session信息。對于chrome這樣的瀏覽器,可以輕易處理cookie信息,但在curl中只要增加相關參數也是。
(1)保存http的response里面的cookie信息,使用-c
有些網站是使用cookie來記錄session信息。對于chrome這樣的瀏覽器,可以輕易處理cookie信息,但在curl中只要增加相關參數也是可以很容易的處理cookie,例如:
Cookiec.txt內容如下:
(2)保存http的response里面的header信息。使用 -D
Cookiec.txt內容如下:
6.從FTP服務器下載文件
curl同樣支持FTP下載,若在url中指定的是某個文件路徑而非具體的某個要下載的文件名,CURL則會列出該目錄下的所有文件名而并非下載該目錄下的所有文件,例如:
列出public_html下的所有文件夾和文件
curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/
下載xss.php文件
curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/xss.php
7.上傳文件到FTP服務器
curl通過 -T 選項可將指定的本地文件上傳到FTP服務器上
# 將myfile.txt文件上傳到服務器
curl -u ftpuser:ftppass -T myfile.txt ftp://ftp.testserver.com
# 同時上傳多個文件
curl -u ftpuser:ftppass -T "{file1,file2}" ftp://ftp.testserver.com
# 從標準輸入獲取內容保存到服務器指定的文件中
curl -u ftpuser:ftppass -T - ftp://ftp.testserver.com/myfile_1.txt
8.詞典
(1)查詢bash單詞的含義
(2)列出所有詞典
9.傳遞請求數據
默認curl使用GET方式請求數據,這種方式下直接通過URL傳遞數據,可以通過 --data/-d 方式指定使用POST方式傳遞數據,例如:
GET:
curl -u username https://api.github.com/user?access_token=XXXXXXXXXX
POST:
curl -u username --data "param1=value1¶m2=value" https://api.github.com
也可以指定一個文件,將該文件中的內容當作數據傳遞給服務器端
curl --data @filename https://github.api.com/authorizations
注:默認情況下,通過POST方式傳遞過去的數據中若有特殊字符,首先需要將特殊字符轉義在傳遞給服務器端,如value值中包含有空格,則需要先將空格轉換成%20,如:
curl -d "value%201" //hostname.com
在新版本的CURL中,提供了新的選項 --data-urlencode,通過該選項提供的參數會自動轉義特殊字符。
curl --data-urlencode "value 1" //hostname.com
除了使用GET和POST協議外,還可以通過 -X 選項指定其它協議,如:
curl -I -X DELETE https://api.github.cim
上傳文件:
curl --form "fileupload=@filename.txt" //hostname/resource