字符编码原理的理解
创始人
2024-03-05 20:43:49

1.位,字节,字符

位 (bit):  是指二进制中的一位,是二进制最小的信息单位。

字节 (byte):是计算机信息技术用于计量存储容量的一种计量单位。

字 (word): 是计算机进行数据存储和数据处理的运算单位。对于32位计算机与64位计算机,字的大小往往不同。32位计算机:1字=32位=4字节。64位计算机:1字=64位=8字节

字符 (character) : 是指计算机中使用的字母,数字,汉字和符号等

一个字节等于8位,而8位的字节一共可以组合256(2的8次方)种不同状态

 2.字符集与字符编码

字符集:顾名思义,字符的集合。比如:中文字符的集合

字符编码:就是一套字符集的映射关系,比如ASCII编码

不同的国家使用不同的字符编码:

比如美国使用的ASCII编码(American Standard Code for Information Interchange)

由于一开始计算机只在美国使用,而8位的字节一共可以组合出256(2的8次方)种不同的状态。他们把其中的0到32幢状态规定成了特殊用途,一旦终端,打印机遇上了约定好的这些字节,就要做一些约定的动作。比如遇上00x10,终端就换行,遇上0x07,终端就向人们嘟嘟叫...而这些字节状态被称为控制码。另外,他们又把所有的空格,标点符号,数字,大小写字母分别用连续的字节状态表示,一直编到了第127号,这样计算机就能存储英文了,大家觉得这个方案可行,于是就称之为ASCII编码

 

欧洲人的编码:ISO-8859-1

ISO-8859-1编码是单字节编码,向下兼容ASCII,是ASCII的扩展的一种,该字符集支持部分欧洲使用的语言,Latin1是ISO-8859-1的别名,有些环境下写作Latin-1

中国大陆的汉字编码

GBK跟GB2312,GBK兼容了更多汉字

《信息交换用汉字编码字符集》是由中国国家标准总局1980年发布,1981年5月1日开始实施的一套国家标准,标准号为GB 2312-1980

集合多个国家的编码:Unicode

总数已经超过了65535,所以2个字节的数字是不够用的。Unicode编码系统为表达任意语言的字符而设计。它使用4字节的数字来表达每个字母,符号,或者表意文字

Unicode还在不断扩增,每个新版本插入更多新的字符

Unicode是字符集,utf-32/utf-16/utf-8是三种字符编码方案

3.区位码,国标码,与机内码

区位码:比如在GBK的编码表中,实际上是由94个区组成的,每个区有94个位(编号由01到94)的汉字字符集,于是这些区跟位就组成了区位码

国标码:由区位码稍作转换得到的,是一个汉字国家标准的二进制编码  (区位码[转换成十六进制]+2020H=国标码)

机内码:国标码+8080H=机内码

关于输入拼音得出汉字:其实就是提前用拼音做好了排序

 

4. Unicode编码与UTF

一个字符的Unicode编码是确定的,但是在实际传输过程中,由于不同系统平台的设计不一致,以及处于节省空间的目的,对Unicode编码的实现方式有所不同。

总的来说:ucs或unicode只是定义了从0到11141112这些数字各自对应是什么字符,而计算机上是如何实现的就是utf决定的

utf-8 , utf-16,utf-32等都是Unicode的编码实现方式

utf-16和上面提到的Unicode本身的编码规范是一致的。所有的字符编码长度为16位,也即2个字节。对ASCII字符来说,存储空间浪费严重。不兼容ASCII

UTF的字节序和BOM

由于UTF-16编码每个字符占用了两个字节,在MAC机和PC机上,对字节顺序的理解是不一致的,所以该如何避免同一个文件造成错乱呢。

Unicode规范中推荐的标记字节顺序是BOM(byte Order Mark)

utf-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式

相关内容

热门资讯

猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...