jsutf8gbk

1. 如何使用Node.js處理前端代碼文件的編碼問題

使用 NodeJS 編寫前端工具時，操作得最多的是文本文件，因此也就涉及到了文件編碼的處理問題。我們常用的文本編碼有 UTF8 和 GBK 兩種，並且 UTF8 文件還可能帶有 BOM。在讀取不同編碼的文本文件時，需要將文件內容轉換為 JS 使用的 UTF8 編碼字元串後才能正常處理。

1、BOM 的移除
BOM 用於標記一個文本文件使用 Unicode 編碼，其本身是一個 Unicode 字元（"uFEFF"），位於文本文件頭部。在不同的 Unicode 編碼下，BOM 字元對應的二進制位元組如下：

3、單位元組編碼
有時候，我們無法預知需要讀取的文件採用哪種編碼，因此也就無法指定正確的編碼。比如我們要處理的某些 CSS 文件中，有的用 GBK 編碼，有的用 UTF8 編碼。雖然可以一定程度可以根據文件的位元組內容猜測出文本編碼，但這里要介紹的是有些局限，但是要簡單得多的一種技術。

首先我們知道，如果一個文本文件只包含英文字元，比如 Hello World，那無論用 GBK 編碼或是 UTF8 編碼讀取這個文件都是沒問題的。這是因為在這些編碼下，ASCII0~128 范圍內字元都使用相同的單位元組編碼。

反過來講，即使一個文本文件中有中文等字元，如果我們需要處理的字元僅在 ASCII0~128 范圍內，比如除了注釋和字元串以外的JS代碼，我們就可以統一使用單位元組編碼來讀取文件，不用關心文件的實際編碼是 GBK 還是 UTF8。

2. js，nodejs如何判斷文件是什麼編碼格式

nodejs編碼只支持utf8的編碼方式，無論是打開某個文件或者寫.js腳本都得以utf8的編碼方式保存，不然程序無法運行，讀出來的文件是亂碼。
如果是在前台，讀取文件是通過FileReader或者FileReaderSync這兩個webAPI和input[type='file']標簽來配合來完成，但是這個兩個API已經包涵了判斷文件的編碼方式的功能，無論是GBK還是utf8編碼的文件都能正確打開不出現亂碼，但是nodejs就會出現這樣的問題，讀取gbk和unicode編碼的文件出現奇怪的亂碼，有一個模塊iconv-lite可以解決搜信編碼問題，但是前提是你得知道這個文件的編碼方式，舉個例子：
有一個gkb的文件叫gbk.txt正確查看它的方式如下：
var icon=require('iconv-lite');
var fs=require('fs'改漏備)
fs.readFile('gbk.txt',function(err,buffer){
var str=iconv.decode(buffer,'gbk')
console.log(str)//得到無亂碼的內容
})
但是如果不知道文件的編碼方式，那有該怎麼辦呢？
那就來聊一聊編碼方式，首先UNICODE編碼，UNICODE編碼的文件無論核毀內容是什麼，前兩個位元組要不是FF FE 或者 FE FF，
utf-8頭兩個位元組是EF BB,至於gbk吧，目前我沒找到判斷方法，只能粗略的判斷如果不是unicode和utf8就認為是GBK，
代碼如下：
var fs=require('fs')
fs.readFile('code.txt',function(err,buffer){
if(buffer[0]==0xff&&buffer[1]==0xfe){
console.log('unicode')
}else if(buffer[0]==0xfe&&buffer[1]==0xff){
console.log('unicode')
}else if(buffer[0]==0xef&&buffer[1]==0xbb){
console.log('utf8')
}else{
console.log('else')
}
})