首页 > > 程序设计 > C/C++ >

Visual Studio 默认保存为UTF8编码

2018-06-18 04:04:39来源：未知阅读 ()

引言　　-　　一种更好的方式

　　其实不管什么语言, 开发框架都会遇到序列化问题. 序列化可以理解为A 和 B 交互的一种协议.

很久以前利用 printf 和 scanf 的协议实现过一套序列化问题.

　　C基础数据序列化简单使用和讨论

本文在上面基础上运用一种新的尝试. 具体的思路是利用编译器对结构的统一内存编码方式.

具体实现通过进出栈宏 #pragma pack(push, 1) ... #pragma pack(pop) 设置结构体编译器的编码方式.

#pragma pack(push, 1)
struct person {
    int id;
    char sex;
    int age;
    char name[65];
    double high;
    double weight;
};
#pragma pack(pop)

当编译器解析 struct person 的时候, 采用1字节对齐. 保证结构体编解析后二进制数据是一样的(VS 和 GCC测试过).

这是不同系统间通信的不变量之一. 通过这种序列化的思路. 不妨设计一个验证的Demo如下

window 生产者代码

    // 设置数据, 开始写到测试文件中,再去读取
    struct person per = {
        1, 1, 19, "simplec王志", 179.0, 70.1 
    };

    // 这里开始写数据到文件中. 
    const char * path = "person.txt";
    FILE * txt = fopen(path, "wb");
    if (NULL == txt)
        exit(EXIT_FAILURE);
    fwrite(&per, sizeof(struct person), 1, txt);

    fclose(txt);

linux 使用者代码

    const char * path = "person.txt";
    FILE * txt = fopen(path, "rb");
    if (NULL == txt)
        exit(EXIT_FAILURE);
            
    struct person np; 
    fread(&np, sizeof(struct person), 1, txt);
        
    printf("[%d, %d, %d, %s, %lf, %lf]\n",
        np.id, np.sex, np.age, np.name, np.high, np.weight);
    
    fclose(txt);

实际运行的结果展示.

不知道你是否感到好奇, 为啥最终结果不对呢. 这就扯出了, 编程开发中所有老鸟都必须要面对的坑. "编码统一的坑".

　　为了将问题表述的更明白, 再来个Demo. sizeofname.c

#include <stdio.h>
#include <wchar.h>

int main(int argc, char * argv[]) {

    // 系统默认编码, 一共 2 + 3 + 7 + 1 = 13 个 字符
    char as[] = "王志 - simplec";

    // 采用宽字节, 2字节表示一个字符
    wchar_t bs[] = L"王志 - simplec";

    // 采用UTF-8编码, 重要 ☆
    char cs[] = u8"王志 - simplec";

    printf("sizeof as = %zu.\n", sizeof as);
    printf("sizeof bs = %zu.\n", sizeof bs);
    printf("sizeof cs = %zu.\n", sizeof cs);

    return 0;
}

在window 上运行结果如下, 我的系统默认是gbk编码(ascii码扩充版). 如果装英文版window默认是utf-8.

中间扯个淡. 我的VS设置中默认是 unix utf-8 有 BOM 文件编码格式. 详细配置可以参照这篇博客 - Visual Studio 默认保存为UTF8编码

在linux上测试结果如下, linux默认UTF-8编码

通过上面你也可以看出来, 主要问题是编码不一致导致了乱码. 最终使fread解析出错. 那么随后就开始解决这个问题.

前言总结

　　1. #pragma pack(push, 1) ... #pragma pack(pop) 是一种 C/C++ 系统间直接序列化的一种高效手段

　　2. 系统编码推荐统一采用 UTF-8. linux 默认就是, window 中文版是gbk.

下面将提出一种编码统一的方案. 到这里基本可以了, 后面可以选看. O(∩_∩)O哈哈~

前言　　-　　需要一些帮助,刚好我已经做了

　　以前有个GNU 的 libiconv 跨平台的库可以解决不同平台的编码问题. 其最近版本对window不再提供直接支持了.

这里我将其继续拉取到window上了搞了一通,最终生成libiconv.lib. 具体可以看下面项目

　　libiconv-for-window https://github.com/wangzhione/libiconv-for-window

工程详细的配置步骤如下

========================================================================
    静态库：libiconv for window 项目概述
========================================================================

/////////////////////////////////////////////////////////////////////////////

当前移植项目基于 GNU 项目 libiconv-1.15 | http://www.gnu.org/software/libiconv/

移植到平台 window 10 14393.953 | Visual Studio 2017 

项目发起人 : simplec - wz | wangzhione@163.com

/////////////////////////////////////////////////////////////////////////////

具体操作思路:
    1. 从官网下载资源 libiconv压缩包, 并解压 [xxx = 解压后的详细path]

    2. 在 $(ProjectDir) 项目目录下, 新建 include 目录
        2.1 将压缩包中 xxx/include/iconv.h.build.in 复制到 include 目录下, 并重名为 iconv.h
        2.2 将 xxx/onfig.h.in 复制到 include 下, 名为 config.h
        2.3 将 xxx/lib 下 所有 *.h and *.def 文件复制到 include 目录下
        2.4 将 xxx/libcharset/include/localcharset.h.build.in 复制到 include 目录下, 并改名

    3. 将 xxx/libcharset/lib/localcharset.c 拷贝到 $(ProjectDir) 目录下

    4. 将 xxx/lib/iconv.c 拷贝到 $(ProjectDir) 目录下

    5. 将 localcharset.c iconv.c iconv.h localcharset.h config.h 添加到项目中

    6. VC++ 目录 -> 包含目录 add [$(ProjectDir)include] 进去

    7. C/C++ -> 预处理器 -> add _CRT_SECURE_NO_WARNINGS 去掉不安全的调用

    8. 常规 -> 生成目标名 -> 改成 libiconv , Debug下为 libiconvd

详细编译修改步骤:
    1. iconv.h 修改
        1.1 25 - 29 行 删掉, 30行删除无效宏
        1.2 55 - 61 行 删掉
        1.3 后面所有的 LIBICONV_DLL_EXPORTED 删掉 , 可以用全部替换
        1.4 把后面所有的 @ICONV_CONST@ 删掉
            1.4.1 全局删除 ICONV_CONST
        1.5 后面遇到 @xxx@ 大段大段的删除
        1.6 详细参照我最终的文件底版
        1.7 将这个文件编码改成 UTF-8 有 BOM 模式, 我是用NotePad++转换的

    2. localcharset.c 修改
        2.1 79 - 83 行 删掉

    3. localcharset.h 修改
        3.1 20 - 26 行删除
        3.2 31 行 无效宏删除

    4. config.h 修改
        4.1 28 - 30 行 删除, 回归 EILSEQ

    5. 解决百个警告 
        5.1 我这个代码可以做1.15 window lib 库源码项目集

/////////////////////////////////////////////////////////////////////////////

通过上面操作, 基本上window上libiconv 项目就搞定差不多了. 后面简单扯个淡. iconv 一共有下面常用的三个接口

/* Allocates descriptor for code conversion from encoding ‘fromcode’ to
   encoding ‘tocode’. */
extern iconv_t iconv_open (const char* tocode, const char* fromcode);

/* Converts, using conversion descriptor ‘cd’, at most ‘*inbytesleft’ bytes
   starting at ‘*inbuf’, writing at most ‘*outbytesleft’ bytes starting at
   ‘*outbuf’.
   Decrements ‘*inbytesleft’ and increments ‘*inbuf’ by the same amount.
   Decrements ‘*outbytesleft’ and increments ‘*outbuf’ by the same amount. */
extern size_t iconv (iconv_t cd, char* * inbuf, size_t *inbytesleft, char* * outbuf, size_t *outbytesleft);

/* Frees resources allocated for conversion descriptor ‘cd’. */
extern int iconv_close (iconv_t cd);

上面函数英文解释的很详细, 更加详细的可以参看编码实现细节.

再扯一点的是, iconv 的 outbytesleft 输出的是 inbuf 接口已经转换的编码字节数.

说真的iconv linux上提供的接口设计很丑陋, 很恶心. linux的信号软中断, 真的是强奸我们的代码.

后面也提供了一个不是很漂亮的sciconv.h 帮助接口

#ifndef _H_SIMPLEC_SCICONV
#define _H_SIMPLEC_SCICONV

#include <iconv.h>
#include <stdbool.h>

//
// iconv for window helper
//        by simplec wz
//

//
// si_isutf8 - 判断当前字符串是否是utf-8编码
// in        : 待检测的字符串
// return    : true表示确实utf8编码, false不是
//
extern bool si_isutf8(const char * in);

//
// si_iconv - 将字符串 in 转码, from 码 -> to 码
// in        : 待转码的字符串 
// len        : 字符数组长度
// from        : 初始编码字符串
// to        : 转成的编码字符串 
// rlen        : 返回转换后字符串长度, 传入NULL表示不需要
// return    : 返回转码后的串, 需要自己销毁 
//
extern char * si_iconv(const char * in, const char * from, const char * to, size_t * rlen);

//
// si_iconv - 将字符串数组in 转码, 最后还是放在in数组中. 
// in        : 字符数组
// from        : 初始编码字符串
// to        : 转成的编码字符串 
// return    : void
// 
extern void si_aconv(char in[], const char * from, const char * to);

//
// si_gbktoutf8 - 将字符串数组in, 转成utf8编码
// in        : 字符数组
// len        : 字符数组长度
// return    : void
//
extern void si_gbktoutf8(char in[]);

//
// si_utf8togbk - 将字符串数组in, 转成gbk编码
// in        : 字符数组
// len        : 字符数组长度
// return    : void
//
extern void si_utf8togbk(char in[]);

#endif

方便协助开发. 到这里万事具备了.下面就开始搞了.

正文　　-　　解决国际化(编码)问题

　　上面已经解决了库的问题. 那我们开始搞一个demo 试试吧. 我们还是用上面的window生产者代码搞搞.

#include <stdio.h>
#include <stdlib.h>
#include <sciconv.h>

#pragma pack(push, 1)
struct person {
    int id;
    char sex;
    int age;
    char name[65];
    double high;
    double weight;
};
#pragma pack(pop)

//
// 测试数据序列化新思路,采用位对齐
//
int main(int argc, char * argv[]) {
    // 设置数据, 开始写到测试文件中,再去读取
    struct person per = {
        1, 1, 19, "simplec王志", 179.0, 70.1
    };
    // 打印一下数据
    printf("[%d, %d, %d, %s, %lf, %lf]\n",
        per.id, per.sex, per.age, per.name, per.high, per.weight);

    // 这里开始写数据到文件中. 
    const char * path = "person.txt";
    FILE * txt = fopen(path, "wb+");
    if (NULL == txt)
        exit(EXIT_FAILURE);
    si_gbktoutf8(per.name);
    fwrite(&per, sizeof(struct person), 1, txt);
    fclose(txt);

    return EXIT_SUCCESS;
}

上传person.txt 到 linux上测试一下. linux 测试详细代码如下 personread.c

#include <stdio.h>
#include <stdlib.h>
#include <iconv.h>

#pragma pack(push, 1)
struct person {
    int id; 
    char sex;
    int age;
    char name[65];
    double high;
    double weight;
};
#pragma pack(pop)

//
// 测试数据序列化新思路,采用位对齐
//
int main(int argc, char * argv[]) {
    struct person np; 
    // 这里开始写数据到文件中. 
    const char * path = "person.txt";
    FILE * txt = fopen(path, "rb");
    if (NULL == txt)
        exit(EXIT_FAILURE);
    fread(&np, sizeof(struct person), 1, txt);
    fclose(txt);
    
    // 打印一下数据
    printf("[%d, %d, %d, %s, %lf, %lf]\n",
        np.id, np.sex, np.age, np.name, np.high, np.weight);

    return EXIT_SUCCESS;
}