DIV CSS 佈局教程網

 DIV+CSS佈局教程網 >> 網頁腳本 >> JavaScript入門知識 >> 關於JavaScript >> Node.js中Request模塊處理HTTP協議請求的基本使用教程
Node.js中Request模塊處理HTTP協議請求的基本使用教程
編輯:關於JavaScript     

這裡來介紹一個Node.js的模塊——request。有了這個模塊,http請求變的超簡單。

201633195717393.png (391×56)

Request使用超簡單,同時支持https和重定向。

var request = require('request');
request('http://www.google.com', function (error, response, body) {
 if (!error && response.statusCode == 200) {
 console.log(body) // 打印google首頁
}
})

流:

任何響應都可以輸出到文件流。

request('http://google.com/doodle.png').pipe(fs.createWriteStream('doodle.png'))

反過來,也可以將文件傳給PUT或POST請求。未提供header的情況下,會檢測文件後綴名,在PUT請求中設置相應的content-type。

fs.createReadStream('file.json').pipe(request.put('http://mysite.com/obj.json'))
請求也可以pipe給自己。這種情況下會保留原content-type和content-length。

request.get('http://google.com/img.png').pipe(request.put('http://mysite.com/img.png'))
表單:

request支持application/x-www-form-urlencoded和multipart/form-data實現表單上傳。

x-www-form-urlencoded很簡單:

request.post('http://service.com/upload', {form:{key:'value'}})

或者:

request.post('http://service.com/upload').form({key:'value'})

使用multipart/form-data不用操心設置header之類的瑣事,request會幫你解決。

var r = request.post('http://service.com/upload')
var form = r.form()
form.append('my_field', 'my_value')
form.append('my_buffer', new Buffer([1, 2, 3]))
form.append('my_file', fs.createReadStream(path.join(__dirname, 'doodle.png'))
form.append('remote_file', request('http://google.com/doodle.png'))

HTTP認證:

request.get('http://some.server.com/').auth('username', 'password', false);

request.get('http://some.server.com/', {
 'auth': {
 'user': 'username',
 'pass': 'password',
 'sendImmediately': false
}
});

sendImmediately,默認為真,發送一個基本的認證header。設為false之後,收到401會重試(服務器的401響應必須包含WWW-Authenticate指定認證方法)。

sendImmediately為真時支持Digest認證。

OAuth登錄:

// Twitter OAuth
var qs = require('querystring')
 , oauth =
 { callback: 'http://mysite.com/callback/'
 , consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
}
 , url = 'https://api.twitter.com/oauth/request_token'
;
request.post({url:url, oauth:oauth}, function (e, r, body) {
 // Ideally, you would take the body in the response
 // and construct a URL that a user clicks on (like a sign in button).
 // The verifier is only available in the response after a user has
 // verified with twitter that they are authorizing your app.
 var access_token = qs.parse(body)
 , oauth =
 { consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
 , token: access_token.oauth_token
 , verifier: access_token.oauth_verifier
}
 , url = 'https://api.twitter.com/oauth/access_token'
;
 request.post({url:url, oauth:oauth}, function (e, r, body) {
 var perm_token = qs.parse(body)
 , oauth =
 { consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
 , token: perm_token.oauth_token
 , token_secret: perm_token.oauth_token_secret
}
 , url = 'https://api.twitter.com/1/users/show.json?'
 , params =
 { screen_name: perm_token.screen_name
 , user_id: perm_token.user_id
}
;
 url += qs.stringify(params)
 request.get({url:url, oauth:oauth, json:true}, function (e, r, user) {
console.log(user)
})
})
})

定制HTTP header

User-Agent之類可以在options對象中設置。在下面的例子中,我們調用github API找出某倉庫的收藏數和派生數。我們使用了定制的User-Agent和https.

var request = require('request');

var options = {
 url: 'https://api.github.com/repos/mikeal/request',
 headers: {
 'User-Agent': 'request'
}
};

function callback(error, response, body) {
 if (!error && response.statusCode == 200) {
 var info = JSON.parse(body);
 console.log(info.stargazers_count +"Stars");
 console.log(info.forks_count +"Forks");
}
}

request(options, callback);

cookies:

默認情況下,cookies是禁用的。在defaults或options將jar設為true,使後續的請求都使用cookie.

var request = request.defaults({jar: true})
request('http://www.google.com', function () {
request('http://images.google.com')
})

通過創建request.jar()的新實例,可以使用定制的cookie,而不是request全局的cookie jar。

var j = request.jar()
var request = request.defaults({jar:j})
request('http://www.google.com', function () {
request('http://images.google.com')
})

或者

var j = request.jar()
var cookie = request.cookie('your_cookie_here')
j.setCookie(cookie, uri, function (err, cookie){})
request({url: 'http://www.google.com', jar: j}, function () {
request('http://images.google.com')
})

注意,setCookie至少需要三個參數,最後一個是回調函數。

可以用request的pipe方法很方便的獲取圖片的文件流

 var request = require('request'),
 fs = require('fs');
 
 request('https://www.google.com.hk/images/srpr/logo3w.png').pipe(fs.createWriteStream('doodle.png'));

更多使用方法和說明可點擊這裡繼續閱讀:https://github.com/mikeal/request/

示例

這裡寫了一個很簡單的示例,用來抓取去哪兒網的酒店查詢數據(獲取酒店某一時間段內各房型的價格排名):

  

 var request = require('request'),
 fs = require('fs');
 
 
 var reqUrl = 'http://hotel.qunar.com/price/detail.jsp?fromDate=2012-08-18&toDate=2012-08-19&cityurl=shanghai_city&HotelSEQ=shanghai_city_2856&cn=5';
 
 request({uri:reqUrl}, function(err, response, body) {
 
 //console.log(response.statusCode);
 //console.log(response);
 
 //如果數據量比較大,就需要對返回的數據根據日期、酒店ID進行存儲,如果獲取數據進行對比的時候直接讀文件
 var filePath = __dirname + '/data/data.js';
 
 if (fs.exists(filePath)) {
  fs.unlinkSync(filePath);
 
  console.log('Del file ' + filePath);
 }
 
 fs.writeFile(filePath, body, 'utf8', function(err) {
  if (err) {
  throw err;
  }
 
  console.log('Save ' + filePath + ' ok~');
 });
 
 console.log('Fetch ' + reqUrl + ' ok~');
 });

 

這個例子源於一個做酒店業務的朋友,想知道自己在網站上提供給客戶的價格的競爭力:

1、如果提供的價格過低,自己賺到的錢就會少了,所以如果自己價格是最低了,就需要看第二低是多少,然後決定是否調整;

2、如果提供的價格過高,那麼被搜索出來的排名結果就比較靠後,沒什麼客戶來預訂酒店,業務就沒有了

 

因為做的酒店預訂業務很多,比如超過2千家以上,如果一個一個依賴人工去查詢排名就比較被動,而且很難再做大,所以他的這個需求我分析了一下是可行的,而且可以做成一個很好的實時預警系統(當然數據5~10分鐘會自動在頁面刷新一次)。這樣才能保障利潤最大化,提高銷售、客戶部門的工作效率,加快酒店的合作數量和公司的人員擴張:

1、不虧本,虧本的買賣不做;

2、如果發現提供的價格過低或是過高,需要支持調用平台的api接口,直接修改價格;

3、有自動生成分析報表功能,分析競爭對手在價格調整策略上的變化情況;

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved