Java程序员遇上字符乱码2-容易混淆的两种编码类别

《来自罗志晓的笔记:http://note.youdao.com/notesh...
我们平时老说的编码解码,很多人都只知道 字符集编码解码。其实除了字符集编码解码,常见的还有另一类,如 Url编码解码、Base64编码解码。
这两类编码的原理是完全不一样的,如果没有了解到这个分类以为编码都是字符集编码,那么你会无法理解那些解释编码的博文,会疑问:怎么说的都不一样啊,久之真的会怀疑人生。可恨的是,很多博文在关键环节上 对这两个概念 都是统一用 “编码解码” 四字一笔带过。

字符集编码: 就是对字符 根据不同字符集中对应的格式 进行编码解码,这个大家都好理解。
而另一类别编码解码出现的意义并不是 为在不同字符集之间对字符进行格式转换,而是为了别的原因,例如:将不安全字符转化、原内容不可见以提高安全性、和 便于网络传输。
下面详细说说,以Base64编码解码Url 编码解码为例。

Base64编码解码

生活中的场景:
我们平时接收发送邮件所使用的SMTP协议,是基于文本的协议,也就是说只能处理常见字符。可是我们为何还可以发送接收图片、视频、压缩包等二进制文件?这就是Base64编码解码 出现的意义了。我们发送邮件前,客户端会将 图片等进行Base64编码,于是整张图片变成了 人类可读的常见字符,然后在发送出去。接收方客户端接收到后,再 Base64解码还原成图片呈现给我们。
原理过程:
简单来说,Base64就是一种用 64个Ascii字符来表示任意二进制数据的方法,或者简单的说将二进制数据编码成Ascii字符。
这 64个Ascii字符如下:
图片描述
ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/

一眼看去就知道是26个字母大小写和数字和+/ 。

没错,别惊讶,你没理解错,上面的64个字符真的可以表示任意的二进制文件数据。那么是怎么操作的呢?过程如下:
以3个字节为一组(24位),按每6位高位补0扩展成8位得到4个字节(32位)。
(一)图片举例
假如一张图片只有四个字节:11101111 11011011 11101111 11011011

以3个字节为一组:(剩余的字节不足3个字节的话则补0凑够) 11101111 11011011 11101111 11011011 00000000 00000000

  1. 每组 按 6bit 划分成 4小分组 111011 111101 101111 101111 110110 110000 000000 000000

  2. 每个小分组高位补0 以凑够 8bit,即一个字节 00111011 00111101 00101111 00101111 00110110 00110000 00000000 00000000
    [这里你可能会容易认为:每个新的字节 映射 到一个Ascii字符集中的字符,然而你又错了!]

  3. 上述的每个新的字节 其实是 上表格的字符集合的索引下标(位置序号)而已,并非映射到原生Ascii字符集。如下图,我们将新的字节用 十进制 展示:
    图片描述

  4. 根据索引做转换:[这里注意:凡是后面补0 的字节,只能算映射到 = ]
    59 ---> 7 61---> 947---> v 47---> v 54---> 2 48--->w 0---> = 0---> =
    即:
    图片描述
    因此最后这张图片变成:79vv2w== ,即Ascii字符,这样就可以符合SMTP文本协议了。

(二)字符举例
图片的话,我们是着眼其 字节 的 。字符也是如此。首先我们要 根据字符集 找出字符对应的二进制字节,然后按照上面的过程编码。下面 以“你a”为例

  • UTF-8

      ‘你’ :   `0xE4BDA0` 即   `111001001011110111000000`    
      ‘a’  :   `0x61` 即`01100001`  合起来就是: `11100100101111011100000001100001`
      计算后得到结果: `5L2gYQ==`    
      
  • GBK

      ‘你’  :   `0xC4E3` 即   `1100010011100011`   
      ‘a’   :   `0x61`即 `01100001`  合起来就是:`110001001110001101100001` 
      计算后得到结果就和上面不一样了。
    

Tips:

  1. 其实网上好多Base64在线编码器,如工具网址:http://www.qqxiuzi.cn/bianma/...我们可以很方便地Base64编码:【注意:在网页上输入框输入的字符都是 根据 响应头中的ContentType指定的字符集编码进行编码的】

Base64编码的优缺点:

  1. 优点:可以将二进制数据转换成可打印Ascii字符,方便传输数据;对数据进行简单的加密,肉眼不可识别。

  2. 缺点:内容编码后的体积会变大,编码和解码需要额外的工作量。

常见运用场景:(来自网络)

  1. 将图片等资源文件以Base64编码形式直接放于代码中,使用的时候反Base64后转换成Image对象使用;

  2. 有些文本协议不支持不可见字符的传递,只能转换成可见字符来传递信息;

  3. 有时在一些特殊的场合,大多数消息是纯文本的,偶尔需要用这条纯文本通道传一张图片之类的情况发生的时候,就会用到Base64。

注意:

  1. Base64 不是什么实质意义上的加解密算法,不过的确可以将 原内容 ”改头换面“,人们往往将这理解成 加密 了。

你可能感兴趣的