动态修改.Net StreamReader Encoding编码

原文网址：http://www.blogwind.com/Wuvist/42999.shtml

在.Net framework中StreamReader的使用encoding必须在构造器中指定，而且中途完全不可以更改。

在一般的情况下，这不会造成什么问题。一般若是从硬盘读取文件，单一文件内的编码一般都是统一的。即便是发现读错，亦可以关闭StreamReader，重启使用新的编码读取。

偏偏偶最近遇到了需要修改编码的需求，而且，我的程序没有关闭重读的机会。因为偶使用的StreamReader的BaseStream是一个Network Stream，我不可以关闭它……但是Network Stream传过来的东西很可能包涵不同的编码……GB2312，Big5，UTF8，ISO-8859-1等等……虽然是先得到编码信息，然后再读具体内容，但是，一开始使用的Stream Reader编码一旦错了，读出来的东西便再也无法恢复……会丢字之类的……

我也不可以在获得编码信息之后，重新建立一个新的Stream Reader，因为具体内容已经被原来的Stream Reader给缓冲掉了……

唯一的解决方法，便是自己实现一个可以改变CurrentEncoding属性的Stream Reader了……

全部从头写起非常不实际，偶是先当了mono的源码，从mono的Stream Reader实现代码做修改。

Stream Reader其实很简单，它内部有两个Buffer，一个是input buffer，一个是decoded buffer，前者用于缓存从base stream读过来的原始数据，后者用于缓存根据原始数据解码出来后的东西……只要看明白mono的实现中ReadBuffer这个方法，要动态修改CurrentEncoding也就不是太难了……

我需要处理的网络协议是一个行协议……偶在程序中只调用了StreamReader的Readline方法，而完全没有使用Read的两个方法，这也使得偶动态修改编码容易了许多……

偶的做法是每次调用Readline的时候，不仅移动decoded buffer的游标（pos），同时也移动input buffer一个新的游标（pos_input），做法很简单，Readline方法需要调用FindNextEOL移动游标查找换行符号……我在FindNextEOL方法添加多一行：
int FindNextEOL ()
{
FindNextInputEOL();
....

而FindNextInputEOL这个新的函数，完全是FindNextEOL的翻版，只是前者处理input buffer，而后者处理decoded buffer……

如此一来，我便可以知道每次Readline之后，input buffer中还没有被上层读到的原始数据有哪些了……

然后，再把CurrentEncoding属性添加Set的方法：
set
{
encoding=value;
decoder = encoding.GetDecoder();
decoded_count = pos decoder.GetChars (input_buffer, pos_input, cbEncoded , pos_input, decoded_buffer, pos);
}

设定新编码时，程序便根据input buffer的游标（pos_input）把没有被读到的原始数据重新decode一次，并且替换掉decoded buffer中的内容。

然后，事情就搞定了……甚至不需要对Readline方法做任何修改……除了把cbEncoded这个变量放到全局里面外……

但是，偶这个修改使得Read的两个方法变得完全不可以用……一旦调用了……便会使得input buffer与decoded buffer里面两个游标不同步……下面附上完整的代码，还望有大侠可以帮忙把Read的两个方法也给搞定了…… 先谢过……

/
// System.IO.StreamReader.cs
//
// Author:
// Dietmar Maurer (dietmar@ximian.com)
// Miguel de Icaza (miguel@ximian.com)
//
// (C) Ximian, Inc. http://www.ximian.com
// Copyright (C) 2004 Novell (http://www.novell.com)
//

//
// Copyright (C) 2004 Novell, Inc (http://www.novell.com)
//
// Permission is hereby granted, free of charge, to any person obtaining
// a copy of this software and associated documentation files (the
// "Software"), to deal in the Software without restriction, including
// without limitation the rights to use, copy, modify, merge, publish,
// distribute, sublicense, and/or sell copies of the Software, and to
// permit persons to whom the Software is furnished to do so, subject to
// the following conditions:
//
// The above copyright notice and this permission notice shall be
// included in all copies or substantial portions of the Software.
//
// THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
// EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
// MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
// NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
// LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
// OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
// WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
//

using System;
using System.Text;
using System.Runtime.InteropServices;

namespace System.IO
{
[Serializable]
public class DynamicStreamReader : TextReader
{

const int DefaultBufferSize = 1024;
const int DefaultFileBufferSize = 4096;
const int MinimumBufferSize = 128;

//
// The input buffer
//
byte [] input_buffer;

//
// The decoded buffer from the above input buffer
//
char [] decoded_buffer;

//
// Decoded bytes in decoded_buffer.
//
int decoded_count;

//
// Current position in the decoded_buffer
//
int pos;

//
// Current position in the input_buffer
//
int pos_input;

//

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有