凡用到文件读写，输入输出，就得和编码、Unicode 打交道。这系列实验来测试一下 C++ STL 的 IO流 对 ANSI 编码、Unicode 编码的支持特性，看能否找到一个自动识别编码，自动转码的解决方案。从基础开始，一步一步来：

平台 Win32 XP sp3 + VS2008. (+ Boost 1.36.0)

实验 01:

#include <string>
#include <iostream>
#include <locale>

using namespace std;

locale prevloc;
locale loc( "chs" );

string str1( "string class" );
string str2( "汉字与字符" );
wstring wstr1( L"wstring class" ); //去掉L前缀则编译错误
wstring wstr2( L"汉字与字符" );

prevloc = cout.imbue(locale( "" ));
cout<< "Default Locale: " <<prevloc.name()<<endl;
cout<< "System Locale: " <<locale( "" ).name()<<endl;
cout<< "C风格字符串\n" << L"w-string\n "<<str1<< ‘\n’ <<str2<< ‘\n’ <<endl;

prevloc = wcout.imbue(loc); //若去掉此句，则wstr2无法正常输出
wcout<< "Default Locale: " <<prevloc.name().c_str()<<endl; //若不加 .c_str() 则编译错误
wcout<< "chs Locale Name: " <<loc.name().c_str()<<endl;
wcout<< "C-string\n" << "C风格字符串\n" << L"宽字符串\n" <<wstr1<< ‘\n’ <<wstr2<< ‘\n’ <<endl;

1.cout 与 string 配合使用，wcout 与 wstring 配合使用，交错则编译错误(类型问题)
2.wstring 初始化时需用 L"xxx" 的宽字符形式，同样 string 初始化时不能加 L 前缀
3.默认locale ("C")下 cout 可以正常输出 C风格字符串与std::string类型，包括汉字也能正常显示
但对 L"xxx" 宽字符串无能为力
默认locale ("C")下 wcout 不能输出中文，包括C风格字符串、宽字符串与std::wstring
设定系统 locale ("chs")后，正常输出宽字符串与std::wstring，但 C风格字符串 中的汉字无法显示

总之，string cout "C-style 字符串" 自成体系

wstring wcout L"宽字符串" 自成体系，但 wcout 要选择 locale 后才能正常输出中文。

实验 02:

cout.imbue(locale( "" ));
wcout.imbue(locale( "" ));

string  str3 ( "abc汉字" );
wstring wstr3( L"abc汉字" );

cout<< "str1 length: " <<str1.length()<< ‘\n’ ; // 12
cout<< "str2 length: " <<str2.length()<< ‘\n’ ; // 10
cout<< "str3 length: " <<str3.length()<< ‘\n’ ; // 7
cout<<str2[0]<< ‘ ‘ <<str2[1]<< ‘\n’ ; // 输出：?
cout<<endl;

wcout<< L"wstr1 length: " <<wstr1.length()<< ‘\n’ ; // 13
wcout<< L"wstr2 length: " <<wstr2.length()<< ‘\n’ ; // 5
wcout<< L"wstr3 length: " <<wstr3.length()<< ‘\n’ ; // 5
wcout<<wstr2[0]<< ‘ ‘ <<wstr2[1]<< ‘\n’ ; // 输出：汉 字

4.std::string 内部以 char 类型储存字符，当有汉字时以双字节存储，此时 length() 给出
字符串所占字节数而不是字符数
std::wstring 内部以 wchar_t 类型存储字符，字母汉字统一都是双字节，此时 length()
给出是正确的字符数。
5.当std::string中有汉字存在时，通过下标访问不能得到正确的字符。这是显而易见的，
一方面字符宽度不统一无法随机访问，另一方面 std::string[] 返回 char 类型。std::wstring

不存在此问题。

实验 03:

// test.txt 为 ANSI 编码(GB2312)，内容为以上 str1 ~ str3 的3行。

#include <fstream>

string str;
wstring wstr;

ifstream fin( "test.txt" );
//fin.imbue(locale(""));
while (fin>>str)
cout<<str<< ‘\n’ ;
fin.close();

wifstream wfin( "test.txt" );
//wfin.imbue(locale(""));

//wfin.imbue(locale(".936"));
while (wfin>>wstr)
wcout<<wstr<< ‘\n’ ;
wfin.close();

6.std::ifstream 读取 ANSI 编码正常，std::wifstream 读取 ANSI 编码错误…默认 locale("C") 不能识别中文字符
std::wifstream 设置 imbue(locale("")) 或 locale(".936") 后正常读取。936 为 GB2312 的代码页。

实验 04:
test.txt 为 Shift-JIS 编码，内容为
うみねこのなく頃に

程序代码同实验3

ifstream 输出为
偆傒偹偙偺側偔崰偵
wifstream 设定 imbue(locale("")) 后输出相同

7.显而易见的，其他地区的编码无法正确识别。这也是很多日本游戏和文本文件运行
或读取时产生乱码的原因。

实验 05:
test.txt 为 Shift-JIS 编码，内容同上
ifstream 与 wifstream 都添加 imbue(locale("jpn")) 或 locale(".932")

932 为 Shift-JIS 的代码页
输出为：

偆傒偹偙偺側偔崰偵
うみねこのなく頃に

8.这里可以看出一个显著性差异。wifstream 在读取时按照 Shift-JIS 编码将其转换为
Unicode 储存，在 wcout 输出时又按照 ANSI (GB2312) 转换，其结果是 —— 正确显示

了其他地区编码的字符。而 ifstream 与 cout 则缺少那两步转换，结果与上例相同

以后的实验将不再考虑 ifstream 而只实验 wifstream。

实验 06:
test.txt 存为 UTF-16 编码(Win32 默认的 little endian)，内容同上。
wifstream 设定为 imbue(locale(".1200"))
1200 为 UTF-16 的 code page

结果，运行出错…发现是 imbue(locale(".1200")); 这句的问题
试着将 ".1200" 改为 ".936" 则运行正常，输出乱码。(936是 GB2312 的代码页)
翻 MSDN 时在 Code Page 那页1200 UTF-16 后面发现一行小字：
"available only to managed applications"…郁闷
看来用 locale 转Unicode的想法到此结束了？记得 STL 书中貌似说过，locale 的名
字在各平台上是不统一的，因为关系到各平台的支持问题。这样的话，要么自己写
代码，要么就只好用 API 显式转换了：MultiByteToWideChar

另外，在 setlocale 函数说明中也写到，UTF-8 和 UTF-7 等每字符有可能大于2字节
的编码不被支持，所以 UTF-8 也只能用 MultiByteToWideChar 转咯…
目前大概只能得出结论 C++ STL locale 在 Win32 平台上支持不完善吧

实验 07: 用 API 重写读文件部分代码

#include <windows.h>

HANDLE hFile;
if (INVALID_HANDLE_VALUE != (hFile = CreateFileW( L"test.txt",
GENERIC_READ, FILE_SHARE_READ, NULL, OPEN_EXISTING, 0, NULL))){

int iFileLength, iUniTest, i;
iFileLength = GetFileSize(hFile,NULL);
char *pBuffer, *pText;
pBuffer = new char[iFileLength+2];
DWORD dwBytesRead;

ReadFile(hFile,pBuffer,iFileLength,&dwBytesRead,NULL);
CloseHandle(hFile);
pBuffer[iFileLength] = ” ;
pBuffer[iFileLength + 1] = ” ;

iUniTest = IS_TEXT_UNICODE_SIGNATURE | IS_TEXT_UNICODE_REVERSE_SIGNATURE;
if (IsTextUnicode(pBuffer,iFileLength,&iUniTest)){
pText = pBuffer + 2;
iFileLength -= 2;
if (iUniTest & IS_TEXT_UNICODE_REVERSE_SIGNATURE){
for (i = 0;i < iFileLength; i+=2)
swap(pText[i],pText[i+1]);
}
wstr = ( wchar_t *)(pBuffer+2);
}
delete [] pBuffer;

wcout<<wstr<< ‘\n’ ;
}

输出正确。以上程序段自动识别 Unicode 编码文件开头的 0xFFFE 标记判断是 Little Endian 还是

Big Endian 并做相应转换。但是代码量较大，且与 C++ 的 IO流 很不搭调…

9.可以看到，只是把输入内容去掉UTF-16开头的0xFFFE，直接把内存指针改为
wchar_t* 后 std::wstring 即可正确识别，说明程序中的宽字符存储格式实际上用的就是
UTF-16 little endian

实验 08:
不死心又去翻了 boost 库，发现 codecvt_null 这个好东西，看下实现是把文件存储内容
按照 wchar_t 为单位直接读入内存不做任何转换。这其实不正好是 UTF-16 需要做的么
以下把 test.txt 存为 UTF-16 little endian 再次实验

#include <boost/archive/codecvt_null.hpp>

wifstream wfin( L"test.txt" );
locale utf16(loc, new boost::archive::codecvt_null< wchar_t >);
wfin.imbue(utf16);
while (wfin>>wstr){
wcout<<wstr<<endl;

}
wfin.close();

输出正确。

10. 看来可以把 codecvt_null 作为 UTF-16 的 codecvt_facet 读入 locale
来使用，避免使用类似上面 API 那么多代码。

实验 09:
将 test.txt 存为 UTF-16 Big Endian ,内容不变。程序不变

无法输出任何内容。

11. wcout 不认识 big endian 的 wchar_t …

看来想读取 UTF-16 Big Endian，仅靠 codecvt_null 还不够。稍微翻了一下

《C++ 输入输出流与本地化》这本书，现在可以考虑写一个自己的 codecvt_facet

了。有了 codecvt_null 的代码，稍作改动即可用于 UTF-16 big endian。虽说有了

现在的知识自己写个 utf-16 的codecvt_facet 也可以，但效率大概比不上 boost 里的。

代码准备：用类似的方法写出了自己的 codecvt_utf16 和 codecvt_utf16_reverse 两个

codecvt_facet…然后继续实验。自己写的内容放入咱自己的头文件吧：codecvt_utf.h，

内容加入自己的 namespace : tvt

实验 10: 用 codecvt_utf.h 代替 codecvt_null.hpp。用 codecvt_utf16 和
codecvt_utf16_reverse 实现 little endian 与 big endian 的输入。

wifstream wfin( L"test.txt" );
locale utf16(loc, new tvt::codecvt_utf16< wchar_t >);
wfin.imbue(utf16);
while (wfin>>wstr){
wcout<<wstr<<endl;

}
wfin.close();

///////////////////////////////////////

wifstream wfin( L"test.txt" );
locale utf16(loc, new tvt::codecvt_utf16_reverse< wchar_t >);
wfin.imbue(utf16);
while (wfin>>wstr){
wcout<<wstr<<endl;

}
wfin.close();

第一段程序读取 UTF-16 little endian 编码的 text.txt 正确输出

第二段程序读取 UTF-16 big endian 编码的 text.txt 正确输出

UTF-16 的转码顺利完成。下面考虑 UTF-8 ，写法类似。在 boost 库中继续寻找，发现

这个东东 boost/detail/utf8_codecvt_facet.hpp 。看下说明，不支持直接使用此文件，这文件

是专门提供其他 boost 组件使用的。仅 include 它的话编译出问题。再寻找到同名的 cpp 文件

后即可看到 do_in do_out 这两个转码关键的虚函数。有了上面 UTF-16 的基础，我们类似可写

出 UTF-8 的转码 codecvt_facet。我给他起名为 codecvt_utf8, 依然加入 codecvt_utf.h 文件。

现在此文件有一两百行了。经试验可正确输入 UTF-8 编码。

对应编码有了处理方法后，下一个问题是编码识别。

实验 11:

wchar_t wc; 4月 14, 2009 11:45 下午

抱歉很久没注意到有留言上面文件的代码其实基本上都是boost对应文件原内容照搬，只用稍作改动而已。直接贴代码的话总觉得不是自己写的拿不出手，找个空间上传算了http://www.fileden.com/files/2008/5/10/1904760/codecvt_utf.zip由于我不是经常要和unicode打交道，所以测试得并不多，只是前一段写一个程序用了一下，至今使用没发现什么问题而已啦注意点是 1.把文件分为h和cpp两部分避免多次使用时重编译，直接在项目中加入两个文件使用即可。2. 未考虑不同平台下 wchar_t 大小不同的问题，我默认是按 win32 下双字节来写的，在linux下大概会有问题。现在自己水平还很有限，很多地方没照顾到呢……