bom utf8 feff 的烦恼

引用别人的话

BOM头:\xEF\xBB\xBF,PHP4、5尚对BOM无视,所以在解析前直接输出。
对此 w3.org 标准 FAQ 中对此问题有一个专门的描述:

http://www.w3.org/International/questions/qa-utf8-bom

具体如下:

在UCS 编码中有一个叫做”ZERO WIDTH NO-BREAK SPACE”的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传输字符”ZERO WIDTH NO-BREAK SPACE”。这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little- Endian的。因此字符”ZERO WIDTH NO-BREAK SPACE”又被称作BOM。

UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符”ZERO WIDTH NO-BREAK SPACE”的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。

评论

$BOM =

$BOM = chr(0xEF).chr(0xBB).chr(0xBF);
...

$header =

$header = [string]::join("",(get-Content -LiteralPath $file -Encoding byte -TotalCount 3 | % { "{0:X2}" -f $_ }))
if ($header -eq "EFBBBF") { $file }

我前一阵为了要在一对文本文件中找带BOM的UTF-8文件想出来的PoSH的一行(两行),但也管用。

这里改得有些不习惯。

有人写了去除的php脚本

有人写了去除的php脚本,我老实不客气拿来用了 ^_^