来源：http://www.cnblogs.com/kwklover/archive/2007/01/24/628501.html

概要：
1，通过分析Header提取编码
2，通过分析BOM(Byte Order Mark)提取编码
3，通过分析页面的meta提取编码
4，通过字节流分析检测编码

正文：
总结一下。目前有四种方法
1,通过分析Header提取编码。
 这个也是比较简单。也是大家常用的，不过既然是总结。那还是帖一下代码吧。

 WebRequest webRequest = WebRequest.Create(url) ;
 HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse() ;
 Regex reg_charset = new Regex(@"charset\b\s*=\s*(?<charset>[^""]*)") ;
 WebHeaderCollection headers = webResponse.Headers ;
 string encodingName = string.Empty;
 string contentType = headers["Content-Type"];
 if (contentType.IndexOf("charset") > 0 && reg_charset.IsMatch(ContentType))
 {
     encodingName = reg_charset.Match(contentType).Groups["charset"].Value;
 }

通过BOM检测编码
string encodingName = string.Empty;
            WebRequest webRequest = WebRequest.Create(url);
            HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
            Stream stream = webResponse.GetResponseStream();
            byte[] htmlByte = GetByteContent(stream);
            string codingName = string.Empty;

            Encoding encoding = Encoding.UTF8;
            byte[] bomByte = encoding.GetPreamble();
            if (htmlByte.Length > bomByte.Length && htmlByte[0] == bomByte[0] && htmlByte[1] == bomByte[1] && htmlByte[2] == bomByte[2])
            {
                codingName = "utf-8";
            }

            encoding = Encoding.Unicode;
            bomByte = encoding.GetPreamble();
            if (codingName == string.Empty && htmlByte.Length > bomByte.Length && htmlByte[0] == bomByte[0] && htmlByte[1] == bomByte[1])
            {
                codingName = "unicode";
            }
            
            encoding = Encoding.UTF32 ;
            bomByte = encoding.GetPreamble();
            if (codingName == string.Empty &&  htmlByte.Length > bomByte.Length && htmlByte[0] == bomByte[0] && htmlByte[1] == bomByte[1]
                && htmlByte[2] == bomByte[2] && htmlByte[3] == bomByte[3])
            {
                codingName = "utf-32";
            }

            encoding = Encoding.BigEndianUnicode ;
            bomByte = encoding.GetPreamble();
            if (codingName == string.Empty && htmlByte.Length > bomByte.Length && htmlByte[0] == bomByte[0] && htmlByte[1] == bomByte[1])
            {
                codingName = "utf-16";
            }

通过Meta提取编码
string encodingName = string.Empty ;
 WebRequest webRequest = WebRequest.Create(url);
 HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
 Stream stream = webResponse.GetResponseStream();
 byte[] htmlByte = GetByteContent(stream); 
 stream.Close();
 string temp = Encoding.GetEncoding("utf-8").GetString(htmlByte) ;
 string reg_charset = "(<meta[^>]*charset=(?<charset>[^>'\"]*)[\\s\\S]*?>)|(xml[^>]+encoding=(\"|')*(?<charset>[^>'\"]*)[\\s\\S]*?>)";
 Regex r = new Regex(reg_charset, RegexOptions.IgnoreCase);
 Match m = r.Match(temp);
 encodingName = (m.Captures.Count != 0) ? m.Result("${charset}") : "";

 string html = Encoding.GetEncoding(encodingName).GetString(htmlByte) ;
 //GetByteContent函数
 private byte[] GetByteContent(Stream stream)
 {
        ArrayList arBuffer = new ArrayList();

        byte[] buffer = new byte[1024];
        int offset = 1024;
        int count = stream.Read(buffer, 0, offset);
        while (count > 0)
        {
            for (int i = 0; i < count; i++)
            {
                arBuffer.Add(buffer[i]);
            }
            count = stream.Read(buffer, 0, offset);
        }

       return (byte[])arBuffer.ToArray(System.Type.GetType("System.Byte"));
 }