Shaoqun Liu's Blog

REST Resource Representation Compression REST API 可以通过 XML, JSON, HTML 甚至超文本等多种格式来返回一个资源的表述层。所有的返回数据格式均可以被压缩以节省网络带宽。不同的协议使用不同的技术来启用压缩并且告诉客户端其使用何种压缩方式，以便客户端可以在使用这些资源表述层之前解压它们。 压缩，或者加密，往往发生在表述层转移中，并且在客户端使用资源表述层的之前将其解压（或解密） HTTP 是目前 REST 使用最广泛的协议，所以在这里将用压缩 HTTP 响应来举个例子。 Compression Related Request/Response Headers Accept-Encoding 当请求一个资源表述层的时候，随着客户端发出一个 HTTP 请求，Accept-Encoding 请求头就会指示客户端可以接受哪种压缩算法。 Accept-Encoding 两个标准值为 compress 和 gzip。 一个带有 accept-encoding 请求头的示例请求如下： 1234GET /employees HTTP...

Caching REST API Response 缓存是服务端在请求 - 响应路径中用来存储一份经常访问的数据的副本的功能。当一个用户请求一个资源的表现层时，请求通过缓存或多级缓存（本地缓存、代理缓存、反向代理）走向托管资源的服务。如果任何一级缓存拥有请求路径的资源表现层的新鲜副本的话，那么这份副本将会用来响应这个请求。如果所有缓存都不能满足这个请求，这个请求将一路传送至服务层（源服务器）。 在 HTTP 请求头中，源服务器说明一个响应是不是可缓存的，如果是的话，由谁来缓存，缓存的有效期是多少。在响应路径中，缓存可以将响应信息做一个副本，当然前提是缓存数据的 metadata 允许他们这么做。 可以使用如下的方法来使用缓存优化网络来提高整体的服务质量 减少带宽 降低延迟 减轻服务器负载 隐藏网络失败 译者注： 此处的减少带宽指的是，减少数据传输量（带宽使用）以提升服务的质量。 具体做法可参考文章 Bandwidth and Data Transfer 摘抄其中一段： How can I reduce my “bandwidth usage”? 我怎么样才能降低我的带宽使用呢？ You ...

REST Resource Naming Guide 在 REST 中，主要的数据表现层称之为资源。使用一个健壮以及坚持使用同一个 REST 资源命名策略将是一个长期的最佳的设计决策。 在 REST 中，对于信息最关键的抽象即为资源。任何信息都可以被称为一个资源：一份文档或图像，一个临时的服务（例如：今天洛杉矶的天气），一个其他资源的集合，一个非虚拟化的物体（例如一个人）等等。换句话来说，任何可能成为作者超文本引用目标的概念都必须符合资源的定义。一个资源在概念上可映射为一组实体，而不是与任何特定时间点相映射的对应实体。 –Roy Fielding 的博士论文 任何资源都可以是单个或者多个（一个集合）。就比如，对银行系统来说，一群顾客就是一个集合资源，一个顾客就是一个单个的资源。我们可以使用 URI /customers 来标识一群顾客，同样可以使用 URI /customers/{customerId} 来标识一个顾客。 一个资源同样可以包含子资源。例如，同样对银行系统来说，一个顾客（资源）可能含有多个银行账户（子资源），这些账户可以通过 URN /customers/{customerId...

What is REST REST 是 REpresentational State Transfer（表述性状态传递）的缩写，是 2000 年由 Roy Fielding 在他论文中提出的一种适用于分布式超媒体系统（distributed hypermedia systems）的体系结构。 像任何其他架构风格一样，REST 也有它自己的 6 个指导性约束，如果接口需要被称为 RESTful，则必须满足这些约束。这些原则列在下面。 Guiding Principles of REST 客户端服务器模式（Client–server）：通过将用户界面问题与数据存储问题分离开来，我们可以提升跨多个平台的用户界面的可移植性，并通过简化服务器组件来提高可伸缩性。 无状态（Stateless）：从客户端到服务器的每个请求都必须包含处理请求所需的所有信息，并且不能利用服务器存储任何的上下文，因此，会话状态需要完全保留在客户端上。 可缓存（Cacheable）：缓存约束要求对请求响应中的数据隐式或明确标记为可缓存或不可缓存。如果响应是可缓存的，则客户端缓存有权重用该响应数据以用于以后等效的请求。 统...

REST Architectural Constraints REST 代表了 Representational State Transfer（表述性状态传递）, 一个由 Roy Fielding 在 2000 年创造的名词，是一种通过 HTTP 用来设计松散耦合应用的设计体系风格，通常被用来开发 web service。REST 并不强制任何有关如何在底层实现的规则，它仅仅提出了高层设计的方针并且让开发者去思考如何去实现。 在我最近一次的工作中，我为一家电信公司设计了 2 年的 RESTful API、在这篇文章里，我将会分析我的一些从实际开发经验中总结的一些思考。你可能不同意其中的几点，但是这没关系，我乐意以开放的心态来与你讨论这些事。 让我们从标准设计的具体内容开始，来理解 Roy Fielding 到底想让我们如何去做。然后再来讨论一些我的想法使得你的 RESTful API 设计更加精益求精。 Architectural Constraints REST 定义了 6 个可用于任何 web 服务（一个真正的 RESTful API）的体系约束 统一接口 客户端 - 服务器模式 无状态 可缓存 分层系统 写满足需求的代码（...

0x00 原则 更小的通常更好，更小的数据类型占用更少的磁盘空间、内存和 CPU 缓存，就比如说要存储性别，可以使用 unsigned tinyint 类型，没必要使用 int 简单就好，整数操作往往比字符操作或浮点数计算代价更低，比如我们要存银行卡余额，就尽量用整数，以分做单位，就比如 56.89 元存成 int 型写作 5689 分钱，浮点数要考虑精度，就上面银行卡余额的例子，如果存成 double 类型，精度丢失就容易导致钱对不上 不要用 NULL，而且必须把字段定义为 NOT NULL 并且提供默认值，原因如下 如果定义表时没有指定 NOT NULL，那么默认都是允许 NULL 的 处理 NULL 值只能采用 IS NULL 或 IS NOT NULL，而不能采用 =、in、<、<>、!=、not in 这些操作符号，例如：where name!=’Jack’，如果存在 name 为 NULL 值的记录，查询结果就不会包含 name 为 NULL 值的记录 NULL 值需要更多的存储空间且会拉低数据库的处理性能，无论是表还是索引中每行中的 NULL 的列都需要额外的空间来标识，增加数据库处理记录的复杂性，同等条件下，表中有...

0x00 基准测试的目的及策略 基准测试（benchmark）主要用来观察系统在不同压力下的行为，评估系统的容量，就像你新买了个电脑或手机总要跑跑分跟别人比一比这样。 0x00 目的 重现异常行为 测试系统当前的运行状况和分析系统性能 模拟更高的负载，以确定当前系统会不会承受未来业务的增长 优化/调整后的性能对比，例如：新的索引会不会比旧的索引要快 0x01 策略 主要有两种策略集成式（full-stack）和单组件式（single-component） 集成式测试所应用的场景： 想知道整个系统真实的性能表现，比如一整套的 web 服务，到底当前的配置可以支撑得了多少的并发访问量 想知道某个应用具体是哪一部分拖累了性能，因为 MySQL 并不总是某个应用性能的瓶颈，有可能是你后端代码写的不行等等 单组件式测试所应用的场景： 调整/优化了一些代码，想快速知道调整后的效果 针对某一具体问题的测试 需要对不同的查询进行性能比较 测试对象： 如果能够在真实的数据集上执行重复的查询，那么得到的 MySQL 基准测试结果就应该是真实的，换句话说就是采用真实生产环境上的数据快照，当然这是不太可...

0x00 剖析查询性能 0x00 使用 SHOW PROFILE SHOW PROFILE 命令是从 MySQL 5.1 之后的版本引入的，这个工具默认是禁用的，可以使用如下命令将其打开 1SET profiling = 1; 这个工具会在服务器执行一条查询的时候，将性能信息记录到一张临时表，并且会记录你的 SQL 语句，并为其赋予一个单独的从 1 开始的整数标识符 首先我们执行一条查询 12mysql> select * from Country limit 20;.. 查询结果略.. 然后使用 SHOW PROFILES 语句来查看查询信息 123456789mysql> show profiles;+----------+------------+--------------------------------+| Query_ID | Duration | Query |+----------+------------+--------------------------------+| 1 | 0.0004290...

0x00 前言 之前的服务器一直使用的 lnmp 自动化安装脚本来安装 nginx, php-fpm 等服务器环境，lnmp 脚本有个缺点就是你可以一次性安装 nginx, php-fpm, MySQL，但是你不能去分别安装这些服务，而且 nginx 貌似还不能自己加模块的样子。所以，喜欢瞎折腾的我边学边试了一把自己编译安装这些环境，记录一下，以便备忘。 0x01 编译安装 php-fpm 因为从网上看到 php7 的执行效率比 php5 高了一倍的消息，所以给我的网站马上换上了 php7，在这里编译安装的是 php7.1.3 下载并解压 php7 12wget http://cn2.php.net/get/php-7.1.3.tar.bz2/from/this/mirrortar xvf mirror && cd php-7.1.3 安装所必须的依赖 123456789101112131415apt-get install libkrb5-dev \libc-client2007e \libc-client2007e-dev \libcu...

0x00 前言 之前的服务器一直使用的 lnmp 自动化安装脚本来安装 nginx, php-fpm 等服务器环境，lnmp 脚本有个缺点就是你可以一次性安装 nginx, php-fpm, MySQL，但是你不能去分别安装这些服务，而且 nginx 貌似还不能自己加模块的样子。所以，喜欢瞎折腾的我边学边试了一把自己编译安装这些环境，记录一下，以便备忘。 0x01 编译安装 Nginx 安装所必需的依赖： 12apt-get update && apt-get upgrade # 更新源和升级软件 apt-get install gcc g++ make openssl libssl-dev libpcre3-dev # 安装必需的依赖 下载 Nginx 及 ngx_cache_purge 缓存模块（非必需）： 123456789cd ~ # 切换目录# 下载并解压 nginx-1.10.3wget http://nginx.org/download/nginx-1.10.3.tar.gztar zxvf nginx-1.10.3.tar.gzcd nginx-1.10.3# 下载并解压 ngx...