jsutf8gbk

1. 如何使用Node.js处理前端代码文件的编码问题

使用 NodeJS 编写前端工具时，操作得最多的是文本文件，因此也就涉及到了文件编码的处理问题。我们常用的文本编码有 UTF8 和 GBK 两种，并且 UTF8 文件还可能带有 BOM。在读取不同编码的文本文件时，需要将文件内容转换为 JS 使用的 UTF8 编码字符串后才能正常处理。

1、BOM 的移除
BOM 用于标记一个文本文件使用 Unicode 编码，其本身是一个 Unicode 字符（"uFEFF"），位于文本文件头部。在不同的 Unicode 编码下，BOM 字符对应的二进制字节如下：

3、单字节编码
有时候，我们无法预知需要读取的文件采用哪种编码，因此也就无法指定正确的编码。比如我们要处理的某些 CSS 文件中，有的用 GBK 编码，有的用 UTF8 编码。虽然可以一定程度可以根据文件的字节内容猜测出文本编码，但这里要介绍的是有些局限，但是要简单得多的一种技术。

首先我们知道，如果一个文本文件只包含英文字符，比如 Hello World，那无论用 GBK 编码或是 UTF8 编码读取这个文件都是没问题的。这是因为在这些编码下，ASCII0~128 范围内字符都使用相同的单字节编码。

反过来讲，即使一个文本文件中有中文等字符，如果我们需要处理的字符仅在 ASCII0~128 范围内，比如除了注释和字符串以外的JS代码，我们就可以统一使用单字节编码来读取文件，不用关心文件的实际编码是 GBK 还是 UTF8。

2. js，nodejs如何判断文件是什么编码格式

nodejs编码只支持utf8的编码方式，无论是打开某个文件或者写.js脚本都得以utf8的编码方式保存，不然程序无法运行，读出来的文件是乱码。
如果是在前台，读取文件是通过FileReader或者FileReaderSync这两个webAPI和input[type='file']标签来配合来完成，但是这个两个API已经包涵了判断文件的编码方式的功能，无论是GBK还是utf8编码的文件都能正确打开不出现乱码，但是nodejs就会出现这样的问题，读取gbk和unicode编码的文件出现奇怪的乱码，有一个模块iconv-lite可以解决搜信编码问题，但是前提是你得知道这个文件的编码方式，举个例子：
有一个gkb的文件叫gbk.txt正确查看它的方式如下：
var icon=require('iconv-lite');
var fs=require('fs'改漏备)
fs.readFile('gbk.txt',function(err,buffer){
var str=iconv.decode(buffer,'gbk')
console.log(str)//得到无乱码的内容
})
但是如果不知道文件的编码方式，那有该怎么办呢？
那就来聊一聊编码方式，首先UNICODE编码，UNICODE编码的文件无论核毁内容是什么，前两个字节要不是FF FE 或者 FE FF，
utf-8头两个字节是EF BB,至于gbk吧，目前我没找到判断方法，只能粗略的判断如果不是unicode和utf8就认为是GBK，
代码如下：
var fs=require('fs')
fs.readFile('code.txt',function(err,buffer){
if(buffer[0]==0xff&&buffer[1]==0xfe){
console.log('unicode')
}else if(buffer[0]==0xfe&&buffer[1]==0xff){
console.log('unicode')
}else if(buffer[0]==0xef&&buffer[1]==0xbb){
console.log('utf8')
}else{
console.log('else')
}
})