使用 API 的方式來取得 JSON 資料是現代化系統常見的方式,在接到 JSON 字串資料後,序列化成強型別的物件能讓後續處理變得容易,不過這樣的處理方式在大量資料的情境下,容易因為 JSON 字串資料的關係,造成記憶體耗用的比較兇,畢竟儲存字串本身會佔據記憶體空間。這時候如果在取回 HTTP Response 的時候,直接使用 Stream 的格式來處理 JSON 資料,就能有效的降低記憶體的使用量,這篇文章將會介紹如何使用 Stream 的方式來處理 JSON 資料。
假設我們有個 API 可以取得 JSON 資料,如下:
var jsonFileUrl = "https://blog.poychang.net/apps/json-mock-data/json-array-data-10.json";
並假設我們已經有一個 DataModel
對應上述 API 所提供的 JSON 資料的格式。
過去的處理方式
過去我們會使用 HttpClient
來取得 JSON 資料字串,再交由 Newtonsoft.Json 或 System.Text.Json 來處理反序列化的動作,將 JSON 字串轉換成強型別的物件,程式碼如下:
var httpClient = new HttpClient();
var httpRequest = new HttpRequestMessage(HttpMethod.Get, jsonFileUrl);
using var response = await httpClient.SendAsync(httpRequest);
var dataString = await response.Content.ReadAsStringAsync();
var data = JsonConvert.DeserializeObject<IEnumerable<DataModel>>(dataString);
也就是說,HttpClient
取得 HttpResponseMessage
(也就是上述程式碼的 response.Content
)的之後,使用 ReadAsStringAsync()
將內容以字串的方式讀出來,再使用 JsonConvert.DeserializeObject()
做反序列化成強行別物件。
使用 Stream 的處理方式
然而 HttpClient
有提供另一個讀取資料的方法 ReadAsStreamAsync()
,可以將 HttpResponseMessage
的內容以 Stream
的方式讀出來,這樣就能有效的降低記憶體的使用量,程式碼如下:
var httpClient = new HttpClient();
var httpRequest = new HttpRequestMessage(HttpMethod.Get, jsonFileUrl);
using var response = await httpClient.SendAsync(httpRequest, HttpCompletionOption.ResponseHeadersRead);
var dataStream = await response.Content.ReadAsStreamAsync();
HttpClient 讀取技巧
由於我們是想要使用 Stream 資料流的方式來讀取資料,在讀取的過程中是邊讀邊處理,而非一次取得完整的資料後再進行操作。
因此在過程中,我們可以在 SendAsync()
中加上 HttpCompletionOption.ResponseHeadersRead
參數,讓 HttpClient
在取得 HttpResponseMessage
的 Header 後就表示已經完成呼叫,讓後續要處理的動作可以立刻接續進行,而不用等到 HttpClient 收到完整的回應後再進行後續處理,這樣的好處是效能會稍微好一些,同時因為 HttpClient 不需要對回應內容做 buffer 因此也能降低一些記憶體的使用量。
HttpCompletionOption
有以下兩個列舉值,詳細內容請參考 HttpCompletionOption 列舉官方文件。
ResponseContentRead
在讀取包括內容的完整回應之後,即完成操作。
ResponseHeadersRead
在讀取到可使用的回應 Header 標頭後,就代表完成作業。請注意,這尚未讀取回應內容。
對 Stream 做 JSON 反序列化
在取得到回應的 Stream 資料之後,我們可以使用 Newtonsoft.Json 來對 Stream 的資料做反序列化,程式碼如下:
TResult ReadJsonStream<TResult>(Stream stream)
using var reader = new StreamReader(stream);
using var jsonReader = new Newtonsoft.Json.JsonTextReader(reader);
return new Newtonsoft.Json.JsonSerializer().Deserialize<TResult>(jsonReader)!;
這邊我們使用 Newtonsoft.Json.JsonSerializer()
來對 Stream 的資料做反序列化,這裡會將整個 Stream 視為一個合法的 JSON 物件(Object 或 Array),例如:
{ "id": 1, "name": "Poy" }
// 或是
[{ "id": 1, "name": "Poy" }, { "id": 2, "name": "Chang" }]
而有些情況下,這個 Stream 的資料是會串流多個 JSON 物件,仔細看下面的範例,他們個別都有兩個合法的 JSON 物件,但合併在一起看卻是不合法的 JSON 格式:
{ "id": 1, "name": "Poy" }{ "id": 2, "name": "Chang" }
// 或是
[{ "id": 1, "name": "Poy" }, { "id": 2, "name": "Chang" }][{ "id": 3, "name": "Foo" }, { "id": 4, "name": "Bar" }]
像這樣的 JSON 資料流格式,還是可以使用 Newtonsoft.Json.JsonTextReader
來讀取 Stream 的資料,只要將 JsonTextReader
的 SupportMultipleContent
設定為 true
,並且搭配使用 yield return
來回傳反序列化的結果,就能讓 JsonTextReader
連續讀取到多筆資料,範例程式碼如下:
IEnumerable<TResult> ReadJsonStreamMultipleContent<TResult>(Stream stream)
using var reader = new StreamReader(stream);
using var jsonReader = new Newtonsoft.Json.JsonTextReader(reader)
SupportMultipleContent = true
var serializer = new Newtonsoft.Json.JsonSerializer();
while (jsonReader.Read())
yield return serializer.Deserialize<TResult>(jsonReader)!;
請注意,因為回傳的是”多個” JSON 物件,因此回傳的型別是 IEnumerable<TResult>
,而不是 TResult
。
除了使用 Newtonsoft.Json 來處理 Stream 的 JSON 資料外,我們也可以使用 .NET 內建的 System.Text.Json 來對 Stream 做相同的反序列化操作,程式碼如下: