当问及年龄时，他的网友说：
“我的年龄是个2位数，我比儿子大27岁,
如果把我的年龄的两位数字交换位置，刚好就是我儿子的年龄”

请你计算：网友的年龄一共有多少种可能情况？

提示：30岁就是其中一种可能哦.

请填写表示可能情况的种数。
注意：你提交的应该是一个整数，不要填写任何多余的内容或说明性文字。

某君从某年开始每年都举办一次生日party，并且每次都要吹熄与年龄相同根数的蜡烛。

现在算起来，他一共吹熄了236根蜡烛。

请问，他从多少岁开始过生日party的？

请填写他开始过生日party的年龄数。
注意：你提交的应该是一个整数，不要填写任何多余的内容或说明性文字。

（如果显示有问题，也可以参看【图1.jpg】）

填入0~9的数字。要求：连续的两个数字不能相邻。
（左右、上下、对角都算相邻）

一共有多少种可能的填数方案？

请填写表示方案数目的整数。
注意：你提交的应该是一个整数，不要填写任何多余的内容或说明性文字。

方法一：将该10个格子按顺序拉成一个一维数组，然后将十个数字填进去(全排列)，填完之后进行判断即可。

方法二：在原图的基础上加一圈，然后判断。这个方法的check函数较为简洁。初始化可以不是-10，只要不与0-9相差±1即可。如图：

排序在各种场合经常被用到。
快速排序是十分常用的高效率的算法。

其思想是：先选一个“标尺”，
用它把整个队列过一遍筛子，
以保证：其左边的元素都不大于它，其右边的元素都不小于它。

这样，排序问题就被分割为两个子区间。
再分别对子区间排序就可以了。

下面的代码是一种实现，请分析并填写划线部分缺少的代码。

注意：只填写缺少的内容，不要书写任何题面已有代码或说明性文字。

思路：我们发现在partition函数中，是以a[p]为标尺，在[p, r]中比a[p]大的和比a[p]小的做交换，那么完成之后就是：a[p]，小，小，大，大，大。a[p]显然是要与一个数交换的，那么是i，还是j呢(可以输入i，j输出看一下)。因为我们这个partition函数是要求吧所有小于a[p]的数字放到左边，大于的放到右边，而下标i所指的数是大于a[p]的，与其交换就无法满足要求，所以是与j交换。

下面的代码把一个整数的二进制表示的最右边的连续的1全部变成0
如果最后一位是0，则原数字保持不变。

如果采用代码中的测试数据，应该输出：

请仔细阅读程序，填写划线部分缺少的代码。

注意：只填写缺少的内容，不要书写任何题面已有代码或说明性文字。

思路：很显然两个输出是一样的，改变的关键就是我们填空的地方。那就用到了位运算'&'-按位与：如果两个相应的二进制位都为1，则该位的结果值为1，否则为0。看下图

现在小学的数学题目也不是那么好玩的。

请填写表示方案数目的整数。
注意：你提交的应该是一个整数，不要填写任何多余的内容或说明性文字。

思路：其实也是全排列问题，把12个格子看成一维数组，然后填充，最后判断。值得注意的是13!很大，直接跑大约需要一分钟左右，这是填空题所以没什么事。但是我们可以添加几个优化。第22行加的语言可以排除很多无用的排列，大大的提高了效率。

如【图1.jpg】, 有12张连在一起的12生肖的邮票。
现在你要从中剪下5张来，要求必须是连着的。
（仅仅连接一个角不算相连）
比如，【图2.jpg】，【图3.jpg】中，粉红色所示部分就是合格的剪取。

请你计算，一共有多少种不同的剪取方法。

请填写表示方案数目的整数。
注意：你提交的应该是一个整数，不要填写任何多余的内容或说明性文字。

思路：直接搜索是不大可能的，我们可以把它转变成全排列问题。因为一共12张，需要5张，我们可以创建一个数组，存放5个1和7个0，然后对其进行全排列(这里值得注意的是普通的全排列对重复的数字会产生重复的全排列，简单起见，我们使用c++里面STL中的next_permutation())，然后将其转化成二维数组，然后用dfs搜索看看有几个连通块，只有一个连通块就是一个可行的方案。

四平方和定理，又称为拉格朗日定理：
每个正整数都可以表示为至多4个正整数的平方和。
如果把0包括进去，就正好可以表示为4个数的平方和。

对于一个给定的正整数，可能存在多种平方和的表示法。
并对所有的可能表示法按 a,b,c,d 为联合主键升序排列，最后输出第一个表示法

要求输出4个非负整数，按从小到大排序，中间用空格分开

请严格按要求输出，不要画蛇添足地打印类似：“请您输入...” 的多余内容。

所有代码放在同一个源文件中，调试通过后，拷贝提交该源码。

注意: main函数需要返回0
注意: 只使用ANSI C/ANSI C++ 标准，不要调用依赖于编译环境或操作系统的特殊函数。
注意: 所有依赖的函数必须明确地在源文件中 #include <xxx>， 不能通过工程设置而省略常用头文件。

提交时，注意选择所期望的编译器类型。

方法二：我们可以事先处理c*c+d*d，把结果存起来，用map把结果与c或者d形成映射。然后再枚举a、b，用N-a*a-b*b来得到c*c+d*d，判断预处理里面有没有，有的话在N-a*a-b*b-c*c开方求出d即可。

X星球的考古学家发现了一批古代留下来的密码。
这些密码是由A、B、C、D 四种植物的种子串成的序列。
仔细分析发现，这些密码串当初应该是前后对称的（也就是我们说的镜像串）。
由于年代久远，其中许多种子脱落了，因而可能会失去镜像的特征。

给定一个现在看到的密码串，计算一下从当初的状态，它要至少脱落多少个种子，才可能会变成现在的样子。

输入一行，表示现在看到的密码串（长度不大于1000）
要求输出一个正整数，表示至少脱落了多少个种子。

0

请严格按要求输出，不要画蛇添足地打印类似：“请您输入...” 的多余内容。

所有代码放在同一个源文件中，调试通过后，拷贝提交该源码。

注意: main函数需要返回0
注意: 只使用ANSI C/ANSI C++ 标准，不要调用依赖于编译环境或操作系统的特殊函数。
注意: 所有依赖的函数必须明确地在源文件中 #include <xxx>， 不能通过工程设置而省略常用头文件。

提交时，注意选择所期望的编译器类型。

方法一：爆搜，两端若不相等就分别往左、右添加，代码很简短，但时间复杂度数2^n，是会T的。

方法二：要求是对称，那我我们把原串翻转一下，在进行对比可以发现两串有3个不同的字母，那么我们添加这三个字母不就好了。所以答案就是长度-LCS(最长公共子序列)。

X星球的某个大奖赛设了M级奖励。每个级别的奖金是一个正整数。
并且，相邻的两个级别间的比例是个固定值。
也就是说：所有级别的奖金数构成了一个等比数列。比如：

现在，我们随机调查了一些获奖者的奖金数。
请你据此推算可能的最大的等比值。

第一行为数字 N (0<N<100)，表示接下的一行包含N个正整数
第二行N个正整数Xi(Xi<1 000 000 000 000)，用空格分开。每个整数表示调查到的某人的奖金数额

一个形如A/B的分数，要求A、B互质。表示可能的最大比例系数

测试数据保证了输入格式正确，并且最大比例是存在的。

请严格按要求输出，不要画蛇添足地打印类似：“请您输入...” 的多余内容。

所有代码放在同一个源文件中，调试通过后，拷贝提交该源码。

注意: main函数需要返回0
注意: 只使用ANSI C/ANSI C++ 标准，不要调用依赖于编译环境或操作系统的特殊函数。
注意: 所有依赖的函数必须明确地在源文件中 #include <xxx>， 不能通过工程设置而省略常用头文件。

提交时，注意选择所期望的编译器类型。

条款07：为多态基类声明virtual析构函数

     这样做的原因是，用父类指针指向子类时，如果没有在父类定义的virtual析构，不能保证指向的子类能正确的被销毁，可能调用的还是父类的析构。

条款08：别让异常逃离析构函数

     C++不喜欢析构函数吐出异常。原因是当C++遇到两个以上的异常同时存在时不是结束执行就是导致不明确行为。而出现两个以上的异常在容器成员要析构时要吐出异常的话可能就是一系列的异常，于是就出现了C++不允许的情况了。（个人理解，其实感觉还是没说清）

条款09：绝不在构造和析构过程中调用virtual函数

 这里应该针对的是子类没有定义构造函数，直接继承父类构造函数的情况，原因是子类在继承父类的构造函数后其调用的顺序是先调用父类的，再调用子类的，然后这里的问题是，如果是先调用父类的话，子类中的成员变量是被编译器认为是没有定义的（包括virtual函数的定义），因此是调用不了的。同样的析构函数在被调用时，是先把子类的成员变量空间都释放了，然后再调用父类的，此时对于父类而言，子类中的定义都是不可知的（包括virtual函数的定义），因此也并没有调用理想中的函数。

     直接在构造或者析构中放virtual是比较明显的错误，但是当在virtual函数之外再定义一个非virtual的函数，这样的错误就很隐蔽了，不可不防。

条款11：在operator=中处理“自我赋值”

条款14：在资源管理类中小心copying行为

     这里主要是针对RAII对象，因为RAII对象是资源管理的脊柱（书是这么写的。）。设计好自己的RAII对象的COPYING行为，一般是禁止复制或者是引用计数。还有一些就是复制底部资源以及转移底部资源的拥有权（如auto_ptr）。

条款15：在资源管理类中提供对原始资源的访问

     RAII对象把资源保护得好好的，但是有些函数却需要直接用到RAII对象所保护的对象，如auto_ptr里的指针是A* a，但是我函数f(A* a)要接收的参数类型是A*，那样是不可能把auto_ptr传递给函数f的，这时候就需要一个获取原始资源的接口了。这种访问可能经由显式转换（即通过get()成员函数）或者是隐式转换（即定义operator

     显式转换比较安全，因为它将“非故意的类型转换”的可能性最小化了。但使用不太方便，因为看着太长太烦了。

条款16：成对使用new和delete时要采取相同形式

     这里主要强调的是new时用的[]，delete别忘了[]。没有的当然就不用加了。因为数组的new是带数组长度的。

条款17：以独立语句将已new的对象置入智能指针

     这里的问题是不知道编译器的处理顺序（这个问题只能怪编译器，特别是各种不同标准的C++编译器。），理想顺序应该是先new A，然后把它传给shared_ptr，然后再执行func()，最后再赋给process。或者是先执行func()，然后再new A，然后blabla。这样都没有问题。

条款18：让接口容易被正确使用，不易被误用

     一方面是促进正确使用，这里提到的主要是接口的一致性，以及与内置类型的行为兼容。

     这里说的例子还是日期，月份只有12个，别的都是错的，为了防止用户出错，我们可以限制它的值，于是Month类可以这么写：

     书中列的一系列注意问题，没细讲，都列出来吧

条款22：将成员变量声明为private

     首先是代码的一致性（调用public成员时不用考虑是成员还是函数）。

     其次封装性，都写成函数进行访问可以提供以后修改访问方法的可能性，而不影响使用方法。另外，public影响的是所有使用者，而protected影响的是所有继承者，都影响巨大，所以都不建议声明成员变量。

     书中展开讨论的是这个情况，当你有一个类这么写的：

     而这个作者也有一套关于封装性的解释，作者通过计算能够访问对象内数据的函数数量，大概计算封装性。原则就是越多函数能访问，封装性越低。

     当然C++是不会阻止大家把函数都写成member函数的，java/c#使用者不用担心。只是针对以上情况，C++的写法一般是写在namespace里面（其实我觉得是不是可以写成static的member函数呢？）

     namespace是可以分好几个文件写的，不受约束，而且可扩充，当然它不是一个可能实例化的存在。

     class的声明必须得一起写，要扩充也只能继承，但问题是，不是所有的类都设计用于继承的。不过class是一个可以实例化的，就是数据是有自己的私有空间的，可能带着周围跑的。

条款24：若所有参数皆需类型转换，请为此采用non-member函数

     这个operator*的特点就是，两个变量其实都有类型转换的需要，如果是写成member函数，那么左操作符就不能进行类型转换了。而non-member函数就能满足这一需求了。

条款25：考虑写出一个不抛出异常的swap函数

     首先要明白，swap函数用处很大，在之前的条款11中就用于处理自我赋值可能性上，而在条款29（往后看吧）将会说到与异常安全性编程相关的用法。总之很重要，同时很复杂。

     试想如果没有的话，可能就只能找到你自己的小空间里的swap函数了，然而T本身是不受约束的，你自己的命名空间内的swap是不够用的。

     再想想，如果特定约束为std::swap(a, b)，则问题就是只能找到std内对应的swap版本，却找不到你自己定义的更高效的实现版本。

条款26：尽可能延后变量定义式的出现时间

     主要是延后到要用时才定义，延后到你愿意赋初值时才定义。

     另外有个问题就是应该把变量定义在循环体内还是体外，这得看情况。

     copy赋值开销低于构造+析构开销，且效率要求高，则建议定义在循环体外，否则定义在循环体内（主要考虑便于管理）。

条款27：尽量少做转型动作

     1. 转型不会改变待转型对象的值，只是产生一个转型后的副本。

条款28：避免返回handles指向对象内部成分

条款29：为“异常安全”而努力是值得的

     3. 不抛保证：保证不抛出异常，这与带着空白的异常明细的函数不一样，带着空白异常明细的函数是指一旦抛出异常，将是严重错误。

          b) 另外，不是所有函数都能实现的，特别是有嵌套的保证需求的时候。比如，要实现强烈保证，函数内调用的函数也同样需要强烈保证，而就算保证了调用的函数都能做到强烈保证，其调用带来的状态改变也有可能是不能复原的。

     3. “异常安全保证”服从木桶原理，决定异常安全的关键在于最薄弱的“异常安全保证”

条款30：透彻了解inlining的里里外外

     1. inline函数的调用，是对函数本体的调用，是函数的展开，使用不当会造成代码膨胀。

     3. inline函数只代表“函数本体”，并没有“函数实质”，是没有函数地址的。

     1. 构造函数与析构函数往往不适合inline。因为这两个函数都包含了很多隐式的调用，而这些调用付出的代价是值得考虑的。可能会有代码膨胀的情况。

     2. inline函数无法随着程序库升级而升级。因为大多数都发生在编译期，升级意味着重新编译。

6. 继承与面向对象设计

条款31：将文件间的编译依存关系降至最低

     这个问题产生是源于希望编译时影响的范围尽量小，编译效率更高，维护成本更低，这一需求。

     实现这个目标首先第一个想到的就是，声明与定义的分离，用户的使用只依赖声明，而不依赖定义（也就是具体实现）。

     但C++的Class的定义式却不仅仅只有接口，还有实现细目（这里指实现接口需要的私有成员）。而有时候我们需要修改的通常是接口的实现方法，而这一修改可能需要添加私有变量，但这个私有变量对用户是不应该可见的。但这一修改却放在了定义式的头文件中，从而造成了，使用这一头文件的所有代码的重新编译。

     这里会有个有意思的地方，为什么用的是指针，而不是具体对象呢？这就要问编译器了，因为编译器在定义变量时是需要预先知道变量的空间大小的，而如果只给一个声明而没有定义的话是不知道大小的，而指针的大小是固定的，所以可以定义指针（即使只提供了一个声明）。

     这样把实现细节隐藏了，那么实现方法的改变就不会引起别的部分代码的重新编译了。而且头文件中只提供了impl类的声明，而基本的实现都不会让用户看见，也增加了封装性。

条款32：确定你的public继承塑模出is-a关系

条款33：避免遮掩继承而来的名称

     这个问题来源是变量的有效区域引起的，而引入到继承，就是子类与基类同名函数的关系问题了。

     2. 当子类重载基类的函数的时候，基类所有同名函数均不会被继承，即被遮掩了。

     既然是继承，那就是is-a关系了，没有基类的被重载函数一般情况是不合适的。

条款34：区分接口继承和实现继承

     pure virtual，只能继承接口。若被继承，则必须提供实现方案，基类也可以实现默认方案（函数名同名），只是不会被继承，要调用必须得inline调用（类似Base::func()这样的形式）。

     impure virtual，继承接口与缺省实现。基类提供默认实现方案，可被子类继承，也可被重写，继承时要搞清楚是否需要继承缺省实现。

条款35：考虑virtual函数以外的其他选择

     这条款谈了两种设计模式，鼓励我们多思考的。

     以游戏中的人物设计继承体系为例子，不同的人物有不同的计算健康指数的方法，就叫healthValue函数吧，很自然的就会想到设计一个基类，把healthValue函数设计为virtual的用于继承。

     2. Strategy模式，这一模式令实现方法是个变量，就算是同一个对象在不同的时段也可以有不同的实现方法。但这里都有个约束，就是对私有成员变量的访问限制。

条款36：绝不重新定义继承而来的non-virtual函数

     继承non-virtual函数的后果是，最终函数的实现效果不由声明时的类型决定，而是由使用时用的指针或者引用类型决定。简单些用代码表达如下：

条款37：绝不重新定义继承而来的缺省参数值

     另外，对应的，静态类型就是在声明时所采用的类型，动态类型就是目前所指对象的类型。

     而这条款讨论的是更细的一层，“继承带有缺省参数值的virtual函数”。（因为条款36说过了，绝不继承non-virtual函数）

     这里的问题是C++编译器对缺省参数是静态绑定的（出于效率考虑），virtual函数却是动态绑定的。因为这样的设定就会可能会导致调用的不一致（当用到多态时），看以下代码：

条款39：明智而审慎地使用private继承

     2. private继承可能会增加编译依存关系。因为一般可以通过只在class内包含一个仅仅是声明而没有实现的类型的指针，实现对用户是不可见的方式（可以是在别的cpp文件中public继承）去替代private继承。这就涉及到条款31提到的编译依存性最小化的问题了。

 还有一种情况就是需要对象尺寸最小化时。当一个类里面没有non-static的数据时，C++编译器认为对象都应该有非零大小，因此，当用包含的方式（当为对象中的成员变量）时，没有non-static的数据仍然会被分配空间（至少char的大小，虽然没有意义），而如果是private继承就不会增加空间开销的。当然这种基类就是一般只有一些typedef或者non-virtual的函数，没有任何可能带来空间花销的成员。

条款40：明智而审慎地使用多重继承

     使用多重继承就要考虑歧义的问题（成员变量或者成员函数的重名）。

     复杂一点的，就可能会出现“钻石型多重继承”，以File为例：

     2. virtual继承会非常复杂（编写成本），因为无论是间接还是直接地继承到的virtual base class都必须承担这些bases的初始化工作，无论是多少层的继承都是。针对这一特性，可以让class实现类似java的final功能，这就不是这一条款涉及的内容了，这里只贴代码跟说明吧：

     最后总结就是，能用单一继承尽量使用单一继承，而多继承在审慎考虑过后也要大胆使用，如之前提到的is-a与is-implemented-in-terms-of两个关系分别与两个base class相关时，只要审慎考虑过了再使用就可以了。

条款41：了解隐式接口和编译期多态

     隐式接口，就是例子中类型T的变量w使用到的所有相关的函数。就是要求使用时调用的类型T必须具备的接口。

     编译期多态，就是通过不同的template参数（T）导致不同的调用结果，而这些发现在编译期。

条款43：学习处理模板化基类内的名称

     C++编译时，如果继承的是模板化的基类，那么像普通的基类继承那样直接调用基类的函数是不合法的。本条款说到的原因是，模板化的基类是可以被特化的（可以参考条款33），而特化后的基类是可以不具备某一函数的，而这一函数也许就是你继承时需要调用的。把书中的代码敲一下看看吧：

条款44：将与参数无关的代码抽离templates

     （其实这条款没有太多的实际代码参考，将懂不懂吧，直接把最后的总结抄了下来）

     类型参数造成的代码膨胀，往往可降低，做法是让带有完全相同的二进制表述的具现类型共享实现码。

条款45：运用成员函数模板接受所有兼容类型

条款46：需要类型转换时请为模板定义非成员函数

     说到这里应该明白我不同意此条款的翻译的原因吧。

     2. 以上为什么会有继承关系？或者更进一步问，为什么需要继承关系？

     先说说第3个问题的个人理解，因为这只涉及有类型信息，没有不可被用户所知的私有信息，因此struct合适。

     至于第1、第2个问题先不具体回答，但首先我们明确的一点是这些classes是为类型区分服务的。

     这里就需要一个能够得到类型信息的方法，也就是我们要提到的traits。

     由以上分析可知，traits class内包含信息的方法是不可取的（内置类型做不到），因此就必然用templates的方法实现并为传统类型提供特化版本（不太明白的话，往下看就明白了）。当然一般也是struct的：

     1. 因为如果用enum或者const这种方式，相应的类型判断就应该用if，而if判断只能在运行期，不是最好方案，而用class的形式就可以借助重载函数的选择过程中进行类型判断的这一特性了，并且这一切都发生在编译期。

     2. 这个继承关系无疑是正确的，都是is-a关系。除了明确关系外，这样做其实是有好处的，细心的同学可能会发现这里没有实现std::forward_iterator_tag版本的重载函数，但事实上只需要std::input_iterator_tag的重载函数就足够了，因为两者是is-a关系。

     4. 为需要兼容的类型提供特化版本，如上例对指针的特化。

     然后书中就列了几个TMP的应用例子，没有代码实现（失望。得自己去找找看了），我就抄一下吧：

     TMP很酷，不过很不直观，而且资料还很少，虽不能成为主流，但不可缺少。

     最后就是重头戏new了，这个函数为什么也是static呢？这是要被全局调用的，而且如果不是static，对象还不存在，又如何调用new呢？所以static也可以理解，但可能一些事多的同学（如我）可能会发现，在实际操作时，我们不加static的声明，其实效果也是一样的！为什么呢？其实是这样的，在C++的标准里面说到：

     对Widget这个类来说，支持设置自己的new_handler的功能算是实现好了，很明显这样的代码是可以复用的，怎么复用呢？这段代码有个核心问题就是需要同样的class（不是对象）共享相同的currentHandler，很自然就会想到使用base classes的templates。

条款50：了解new和delete的合理替换时机

条款51：编写new和delete时需固守常规

调用标准的new } 大概这样的形式。另外提醒下sizeof的返回不可能为0的（条款39），因此当size为0（0 byte的请求）时，就一定会交给大括号内的内容，这里就是标准的new去处理了。

     当分配到了内存，但是Widget的构造函数出错时，那么就需要做到分配的内存取消掉，并恢复原样。在这里，这个任务就交给了正常operator new对应的operator delete（注意是对应的）。到这里我们需要认识下这些正常的东西的函数签名式：

     而这里讨论的主要是那个比较小众的版本：带任意额外参数的new。我就继续抄书中的代码了（做过整合的）。

     另外，还有一个问题，就是函数名被掩盖的问题。因为所有（不同版本）的operator new重写都会掩盖global版本和继承而得的operator new！就像刚才写的Widget，没有写正常的new版本，然后

这一部分以提醒介绍为主，没有太多的代码。作者说很重要。不过我是看过就算了。把各条款的总结抄一下吧。

条款53：不要轻忽编译器的警告

     1. 严肃对待编译器发出的警告信息，努力争取无任何警告。

     2. 不要过度依赖编译器的报警能力，因为编译器是有可能变的。

条款54：让自己熟悉包括TR1在内的标准程序库

条款55：让自己熟悉Boost

，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

三、当前用于分析大数据的工具主要有开源与商用两个生态圈

2、. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

Apache软件基金会（也就是Apache Software Foundation，简称为ASF），是专门为支持开源软件项目而办的一个非盈利性组织。在它所支持的Apache项目与子项目中，所发行的软件产品都遵循Apache许可证（Apache License）。

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念”Map（映射）”和”Reduce（归约）”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。

CRM即客户关系管理，是指企业用CRM技术来管理与客户之间的关系。在不同场合下，CRM可能是一个管理学术语，可能是一个软件系统。通常所指的CRM，指用计算机自动化分析销售、市场营销、客户服务以及应用等流程的软件系统。它的目标是通过提高客户的价值、满意度、赢利性和忠实度来缩减销售周期和销售成本、增加收入、寻找扩展业务所需的新的市场和渠道。CRM是选择和管理有价值客户及其关系的一种商业策略，CRM要求以客户为中心的企业文化来支持有效的市场营销、销售与服务流程。

computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。 为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。

NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

结构化数据（即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据）而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集XML、HTML、各类报表、图像和音频/视频信息等等。

结构化分析方法（Structured Method，结构化方法）是强调开发方法的结构合理性以及所开发软件的结构合理性的软件开发方法。结构是指系统内各个组成要素之间的相互联系、相互作用的框架。结构化开发方法提出了一组提高软件结构合理性的准则，如分解与抽象、模块独立性、信息隐蔽等。针对软件生存周期各个不同的阶段，它有结构化分析（SA）和结构化程序设计（SP）等方法。

和普通纯文本相比，半结构化数据具有一定的结构性，但和具有严格理论模型的关系数据库的数据相比。OEM(Object exchange Model)是一种典型的半结构化数据模型。

在做一个信息系统设计时肯定会涉及到数据的存储，一般我们都会将系统信息保存在某个指定的关系数据库中。我们会将数据按业务分类，并设计相应的表，然后将对应的信息保存到相应的表中。比如我们做一个业务系统，要保存员工基本信息：工号、姓名、性别、出生日期等等；我们就会建立一个对应的staff表。

但不是系统中所有信息都可以这样简单的用一个表中的字段就能对应的。

非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。

数据库是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。

数据挖掘（英语：Data mining），又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

可视化（Visualization）是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。它涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。目前正在飞速发展的虚拟现实技术也是以图形图像的可视化技术为依托的。

数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。

数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息。但是，这并不就意味着，数据可视化就一定因为要实现其功能用途而令人感到枯燥乏味，或者是为了看上去绚丽多彩而显得极端复杂。为了有效地传达思想概念，美学形式与功能需要齐头并进，通过直观地传达关键的方面与特征，从而实现对于相当稀疏而又复杂的数据集的深入洞察。然而，设计人员往往并不能很好地把握设计与功能之间的平衡，从而创造出华而不实的数据可视化形式，无法达到其主要目的，也就是传达与沟通信息。

产品数据管理（Product Data Management）是基于分布式网络、主从结构、图形化用户接口和数据库件管理技术发展起来的一种软件框架（或数据平台），PDM对并行工程中的人员工具、设备资源、产品数据以及数据生成过程进行全面管理。

二十四：DSP（需求方平台）

DSP（Demand-Side Platform），就是需求方平台。这一概念起源于网络广告发达的欧美，是伴随着互联网和广告业的飞速发展新兴起的网络广告领域。它与Ad Exchange和RTB一起迅速崛起于美国，已在全球快速发展，2011年已经覆盖到了欧美、亚太以及澳洲。在世界网络展示广告领域，DSP方兴未艾。DSP传入中国，迅速成为热潮，成为推动中国网络展示广告RTB市场快速发展的动力之一。

二十五：DMP（数据管理平台）

DMP(Data-Management Platform)数据管理平台，是把分散的第一、第三方数据进行整合纳入统一的技术平台，并对这些数据进行标准化和细分，让用户可以把这些细分结果推向现有的互动营销环境里。

DMP的核心元素包括：

·数据整合及标准化能力：采用统一化的方式，将各方数据吸纳整合。

·数据细分管理能力：创建出独一无二、有意义的客户细分，进行有效营销活动。

·功能健全的数据标签：提供数据标签灵活性，便于营销活动的使用。

·自助式的用户界面：基于网页web界面或其他集成方案直接获取数据工具，功能和几种形式报表和分析。

·相关渠道环境的连接：跟相关渠道的集成，包含网站端、展示广告、电子邮件以及搜索和视频，让营销者能找到、定位和提供细分群体相关高度的营销信息。

二十六：CPA（广告术语）

CPA（每次行动成本，Cost Per Action）计价方式是指按广告投放实际效果，即按回应的有效问卷或定单来计费，而不限广告投放量。CPA广告是网络中最常见的一种广告形式，当用户点击某个网站上的cpc广告后，这个站的站长就会获得相应的收入。

二十七：CPT（广告术语）

按时长计费是包时段投放广告的一种形式，广告主选择广告位和投放时间，费用与广告点击量无关。采用这种方式出售广告，网站主决定每一个广告位的价格，广告主自行选择购买时间段，目前可按周或按天购买，成交价就是网站主标定的价格。

二十八：CTR（广告点击率）

CTR（Click-Through-Rate）互联网广告常用的术语，指网络广告（图片广告/文字广告/关键词广告/排名广告/视频广告等）的点击到达率，即该广告的点击量（严格的来说，可以是到达目标页面的数量）除以广告的浏览量（PV- Page View）。
CTR是衡量互联网广告效果的一项重要指标。

算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。如果一个算法有缺陷，或不适合于某个问题，执行这个算法将不会解决这个问题。不同的算法可能用不同的时间、空间或效率来完成同样的任务。一个算法的优劣可以用空间复杂度与时间复杂度来衡量。

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

它是的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

人工智能（Artificial Intelligence） ，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

OpenStack是一个由NASA（美国国家航空航天局）和Rackspace合作研发并发起的，以Apache许可证授权的自由软件和开放源代码项目。

OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。

software(托管软件)所具有相似的含义。它是一种通过Internet提供软件的模式，厂商将应用软件统一部署在自己的服务器上，客户可以根据自己实际需求，通过互联网向厂商定购所需的应用软件服务，按定购的服务多少和时间长短向厂商支付费用，并通过互联网获得厂商提供的服务。

PaaS是Platform-as-a-Service的缩写，意思是平台即服务。 把服务器平台作为一种服务提供的商业模式。通过网络进行程序提供的服务称之为SaaS(Software as a Service)，而云计算时代相应的服务器平台或者开发环境作为服务进行提供就成为了PaaS(Platform as a Service)。

所谓PaaS实际上是指将软件研发的平台（计世资讯定义为业务基础平台）作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。在2007年国内外SaaS厂商先后推出自己的PAAS平台。

消费者通过Internet 可以从完善的计算机基础设施获得服务。这类服务称为基础设施即服务。基于 Internet 的服务（如存储和数据库）是 IaaS的一部分。Internet上其他类型的服务包括平台即服务（Platform as a Service，PaaS）和软件即服务（Software as a Service，SaaS）。PaaS提供了用户可以访问的完整或部分的应用程序开发，SaaS则提供了完整的可直接使用的应用程序，比如通过 Internet管理企业资源。

以提供的Hadoop作为一种服务（HAAS）

HaaS（Hardware-as-a-service）的意思是硬件即服务。HaaS概念的出现源于云计算，现在被称作基础架构即服务（IaaS）或基础架构云，使用IaaS，各企业可通过Web将更多的基础架构容量作为服务提供。“通过Web”分配更多的存储或处理容量当然要比供应商在基础环境中引入和安装新硬件要快得多。HaaS还具有另外一层含义是针对嵌入式设备而言的，目的在于建立通过互联网（Web）进行嵌入式设备统一管理服务的模式。在这种情况下，HaaS类似于SaaS，对于嵌入式设备使用者来说，无需对所需嵌入式设备进行一次性购买，仅需按照设备使用量或其它标准支付设备的服务费及维护费即可。

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。

数据聚类 (英语 : Cluster analysis) 是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集（subset），这样让在同一个子集中的成员对象都有相似的一些属性，常见的包括在坐标系中更加短的空间距离等。

给定一个用户的查询串，相对于该串存在一个包含所有相关文档的集合。我们把这样的集合看作是一个理想的结果文档集，在给出理想结果集后，我们能很容易得到结果文档。这样我们可以把查询处理看作是对理想结果文档集属性的处理。问题是我们并不能确切地知道这些属性，我们所知道的是存在索引术语来表示这些属性。由于在查询期间这些属性都是不可见的，这就需要在初始阶段来估计这些属性。这种初始阶段的估计允许我们对首次检索的文档集合返回理想的结果集，并产生一个初步的概率描述。

贝索斯定律是指在云的发展过程中，单位计算能力的价格大约每隔3年会降低50%。

analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

基于内容的信息推荐方法的理论依据主要来自于信息检索和信息过滤，所谓的基于内容的推荐方法就是根据用户过去的浏览记录来向用户推荐用户没有接触过的推荐项。主要是从两个方法来描述基于内容的推荐方法：启发式的方法和基于模型的方法。启发式的方法就是用户凭借经验来定义相关的计算公式，然后再根据公式的计算结果和实际的结果进行验证，然后再不断修改公式以达到最终目的。而对于模型的方法就是根据以往的数据作为数据集，然后根据这个数据集来学习出一个模型。

八叉树是一种用于描述三维空间的树状数据结构。八叉树的每个节点表示一个正方体的体积元素，每个节点有八个子节点，将八个子节点所表示的体积元素加在一起就等于父节点的体积。

红黑树（Red Black Tree） 是一种自平衡二叉查找树，是在计算机科学中用到的一种数据结构，典型的用途是实现关联数组。

红黑树和AVL树类似，都是在进行插入和删除操作时通过特定操作保持二叉查找树的平衡，从而获得较高的查找性能。

它虽然是复杂的，但它的最坏情况运行时间也是非常良好的，并且在实践中是高效的： 它可以在O(log n)时间内做查找，插入和删除，这里的n 是树中元素的数目。

散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。

给定表M，存在函数f(key)，对任意给定的关键字值key，代入函数后若能得到包含该关键字的记录在表中的地址，则称表M为哈希(Hash）表，函数f(key)为哈希(Hash) 函数。

在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合

本地数据库是指驻留于运行客户应用程序的机器的数据库。本地数据库提供最快的响应时间。因为在客户(应用程序和服务器之间没有网络转输。本地数据库的例子有Borland的Paradox.Microsoft的Access和Oracle的Personal Oracle。

本地数据库位于本地磁盘或局域网上。如果有几个用户同时访问数据库．本地数据库采取攘于文件的锁定策略。因此，本地数据库义叫基于文件的数据库。典型的本地数据库有Paradox、dBASE、FoxPro和ACCCSS。

数据采集是指将被测对象的各种参量通过各种传感器做适当转换后，再经过信号调理、采样、量化、编码、传输等步骤传递到控制器的过程。

各类数据采集系统的数据采集过程基本相同，一般都包括这样几个步骤：

①用传感器感受各种物理量，并把它们转换成电信号；
②通过A／D转换，模拟量的数据转变成数字量的数据；
③数据的记录，打印输出或存入磁盘文件。

各种数据采集系统所用的数据采集程序有：

①生产厂商为该采集系统编制的专用程序，常用于大型专用系统；
②固化的采集程序，常用于小型专用系统；
③利用生产厂商提供的软件工具，用户自行编制的采集程序，主要用于组合式系统。

数据模型是现实世界数据特征的抽象，用于描述一组数据的概念和定义。数据模型是数据库中数据的存储方式，是数据库系统的基础。在数据库中，数据的物理结构又称数据的存储结构，就是数据元素在计算机存储器中的表示及其配置；数据的逻辑结构则是指数据元素之间的逻辑关系，它是数据在用户或程序员面前的表现形式，数据的存储结构不一定与逻辑结构一致。

数据整理是对调查、观察、实验等研究活动中所搜集到的资料进行检验、归类编码和数字编码的过程。它是数据统计分析的基础。

在二十世纪90年代中晚期，为了揭示一些隐含数据性质、趋势和模式，很多商家开始探讨把传统的统计和人工智能分析技术应用到大型数据库的可行性问题，这些探讨最终发展成为基于统计分析技术的正规数据整理工具。

数据处理是指对数据（包括数值的和非数值的）进行分析和加工的技术过程。也就是对数据的采集、存储、检索、加工、变换和传输，将数据转换为信息的过程。数据处理离不开软件的支持，数据处理软件包括：用以书写处理程序的各种程序设计语言及其编译程序，管理数据的文件系统和数据库系统，以及各种数据处理方法的应用软件包。为了保证数据安全可靠，还有一整套数据安全保密的技术。包括对各种原始数据的分析、整理、计算、编辑等的加工和处理。比数据分析含义广。

五十五：范式（数据库术语）

范式是符合某一种级别的关系模式的集合。关系数据库中的关系必须满足一定的要求，满足不同程度要求的为不同范式。

范式（数据库设计范式，数据库的设计范式）是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则。在关系数据库中，这种规则就是范式。关系数据库中的关系必须满足一定的要求，即满足不同的范式。

目前关系数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、Boyce-Codd范式（BCNF）、第四范式（4NF）和第五范式（5NF）。

数据压缩是以尽可能少的数码来表示信源所发出的信号，减少容纳给定的消息集合或数据采样集合的信号空间。这里讲的信号空间，就是被压缩的对象，是指某信号集合所占的时域、空域和频域。信号空间的这几种形式是相互关联的，存储空间的减少，意味着信号传输效率的提高，所占用带宽的节省。只要采取某种方法来减少某个信号空间，就能够压缩数据。

数据压缩是信息论中一个很重要的概念。从信息论的角度来看，信源编码的一个最主要的目的，就是要解决数据的压缩问题。这一点，反映在整个通信过程中。

数据恢复是指由于各种原因导致数据损失时，把保留在介质上的数据重新还原。即使数据被删除或硬盘出现故障，在介质没有严重受损的情况下，数据均有可能被无损恢复。

格式化或误删除引起的数据损失情况，大部分数据仍未损坏，只要用软件重新恢复连接环节，即可重读数据。如果硬盘因硬件损坏而无法访问时，只要更换发生故障的零件，即可恢复数据。但在介质严重受损或数据被覆盖时，数据将极难恢复。

数据集成就是将若干个分散的数据源中的数据，逻辑地或物理地集成到一个统一的数据集合中。数据集成的核心任务是要将互相关联的分布式异构数据源集成到一起，使用户能够以透明的方式访问这些数据源。集成是指维护数据源整体上的数据一致性、提高信息共享利用的效率；透明的方式是指用户无需关心如何实现对异构数据源数据的访问，只关心以何种方式访问何种数据。实现数据集成的系统称作数据集成系统(见下图)，它为用户提供统一的数据源访问接口，执行用户对数据源的访问请求。

数据迁移是数据系统整合中保证系统平滑升级和更新的关键部分。在信息化建设过程中，随着技术的发展，原有的信息系统不断被功能更强大的新系统所取代。从两层结构到三层结构，从Client／Server到Browser／Server。在新旧系统的切换过程中，必然要面临一个数据迁移的问题。

数据元即数据元素，是通过定义、标识、表示和允许值等一系列属性描述的数据单元，在一定语境下，构建一个语义正确、独立且无歧义的特定概念语义的信息单元。数据元可理解为数据的基本单元，将若干具有相关性的数据元按一定次序组成一个整体结构，即数据模型。

数据冗余是指同一个数据在系统中多次重复出现。在文件系统中，由于文件之间没有联系，有时一个数据在多个文件中出现；而数据库系统则克服了文件系统的这种缺陷，但仍然存在数据冗余问题。消除数据冗余的目的是为了避免更新时可能出现的问题，以便保持数据的一致性。

数据抽取是从数据源中抽取数据的过程。数据抽取是指从源数据源系统抽取目的数据源系统需要的数据。实际应用中，数据源较多采用的是关系数据库。

结构化数据抽取(Structured Data Extraction)的目标是从Web页面中抽取结构化数据。这些结构化数据往往存储在后台数据库中，由网页按一定格式承载着展示给用户。例如论坛列表页面、Blog页面、搜索引擎结果页面等。

信息集成(Information integration)是针对结构化数据而言的。其目标是将从不同网站中抽取出的数据统一化后集成入库。其关键问题是如何从不同网站的数据表中识别出意义相同的数据并统一存储。

数据标准化是指研究、制定和推广应用统一的数据分类分级、记录格式及转换、编码等技术标准的过程。

数据备份是把文件或数据库从原来存储的地方复制到其他地方的活动，其目的是为了在设备发生故障或发生其他威胁数据安全的灾害时保护数据，将数据遭受破坏的程度减到最小。取回原先备份的文件的过程称为恢复数据。

1.完全备份(Full Backup)。这种备份策略的优点是当发生数据丢失的灾难时．可以迅速恢复丢失的数据。不足之处是每天都对整个系统进行完全备份．造成备份的数据大量重复。对于业务繁忙、备份时间有限的用户，选择这种备份策略是不明智的。

2.增量备份(Incremental Backup)。先进行一次完全备份，在接下来的时间里只对当天新的或被修改过的数据进行备份。这种备份策略的优点是节省了磁盘空间，缩短了备份时间；缺点是当灾难发生时，数据的恢复比较麻烦．备份的可靠性也很差。

Backup)。先进行一次系统完全备份，在接下来的几天里．再将当天所有与备份不同的数据(新的或修改过的)备份到磁盘上。差分备份策略在避免了以上两种策略的缺陷的同时．又具有了其所有优点。首先，它无须每天都对系统做完全备份，因此所需的备份时间短，并节省了磁盘空间。其次，它的灾难恢复也很方便．一旦发生问题，用户只需使用完全备份和发生问题前一天的备份就可以将系统恢复。

贪心算法（又称贪婪算法）是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。

贪心算法不是对所有问题都能得到整体最优解，关键是贪心策略的选择，选择的贪心策略必须具备无后效性，即某个状态以前的过程不会影响以后的状态，只与当前状态有关。

在计算机科学中，分治法是一种很重要的算法。字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。这个技巧是很多高效算法的基础，如排序算法(快速排序，归并排序)，傅立叶变换(快速傅立叶变换)。

optimality)，把多阶段过程转化为一系列单阶段问题，利用各阶段之间的关系，逐个求解，创立了解决这类过程优化问题的新方法——动态规划。1957年出版了他的名著《Dynamic Programming》，这是该领域的第一本著作。

所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。排序算法，就是如何使得记录按照要求排列的方法。排序算法在很多领域得到相当地重视，尤其是在大量数据的处理方面。一个优秀的算法可以节省大量的资源。在各个领域中考虑到数据的各种限制和规范，要得到一个符合实际的优秀算法，得经过大量的推理和分析。

迭代法也称辗转法，是一种不断用变量的旧值递推新值的过程，跟迭代法相对应的是直接法，即一次性解决问题。迭代法又分为精确迭代和近似迭代。“二分法”和“牛顿迭代法”属于近似迭代法。迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点，让计算机对一组指令（或一定步骤）进行重复执行，在每次执行这组指令（或这些步骤）时，都从变量的原值推出它的一个新值。

分枝定界法是一个用途十分广泛的算法，运用这种算法的技巧性很强，不同类型的问题解法也各不相同。分支定界法的基本思想是对有约束条件的最优化问题的所有可行解（数目有限）空间进行搜索。该算法在具体执行时，把全部可行的解空间不断分割为越来越小的子集（称为分支），并为每个子集内的解的值计算一个下界或上界（称为定界）。在每次分支后，对凡是界限超出已知可行解值那些子集不再做进一步分支。这样，解的许多子集（即搜索树上的许多结点）就可以不予考虑了，从而缩小了搜索范围。这一过程一直进行到找出可行解为止，该可行解的值不大于任何子集的界限。因此这种算法一般可以求得最优解。

所谓“割圆术”，是用圆内接正多边形的面积去无限逼近圆面积并以此求取圆周率的方法。

Recommendation）是以关联规则为基础，把已购商品作为规则头，规则体为推荐对象。关联规则挖掘可以发现不同商品在销售过程中的相关性，在零售业中已经得到了成功的应用。管理规则就是在一个交易数据库中统计购买了商品集X的交易中有多大比例的交易同时购买了商品集Y，其直观的意义就是用户在购买某些商品的时候有多大倾向去购买另外一些商品。比如购买牛奶的同时很多人会同时购买面包。

2、基于效用的推荐（Utility-based Recommendation）是建立在对用户使用项目的效用情况上计算的，其核心问题是怎么样为每一个用户去创建一个效用函数，因此，用户资料模型很大程度上是由系统所采用的效用函数决定的。基于效用推荐的好处是它能把非产品的属性，如提供商的可靠性（Vendor Reliability）和产品的可得性（Product

3、基于知识的推荐（Knowledge-based Recommendation）在某种程度是可以看成是一种推理（Inference）技术，它不是建立在用户需要和偏好基础上推荐的。基于知识的方法因它们所用的功能知识不同而有明显区别。效用知识（Functional Knowledge）是一种关于一个项目如何满足某一特定用户的知识，因此能解释需要和推荐的关系，所以用户资料可以是任何能支持推理的知识结构，它可以是用户已经规范化的查询，也可以是一个更详细的用户需要的表示。

由于各种推荐方法都有优缺点，所以在实际中，组合推荐（Hybrid Recommendation）经常被采用。研究和应用最多的是内容推荐和协同过滤推荐的组合。最简单的做法就是分别用基于内容的方法和协同过滤推荐方法去产生一个推荐预测结果，然后用某方法组合其结果。尽管从理论上有很多种推荐组合方法，但在某一具体问题中并不见得都有效，组合推荐一个最重要原则就是通过组合后要能避免或弥补各自推荐技术的弱点。

在组合方式上，有研究人员提出了七种组合思路：

1）加权（Weight）：加权多种推荐技术结果。
2）变换（Switch）：根据问题背景和实际情况或要求决定变换采用不同的推荐技术。
3）混合（Mixed）：同时采用多种推荐技术给出多种推荐结果为用户提供参考。
4）特征组合（Feature combination）：组合来自不同推荐数据源的特征被另一种推荐算法所采用。
5）层叠（Cascade）：先用一种推荐技术产生一种粗糙的推荐结果，第二种推荐技术在此推荐结果的基础上进一步作出更精确的推荐。
6）特征扩充（Feature augmentation）：一种技术产生附加的特征信息嵌入到另一种推荐技术的特征输入中。
7）元级别（Meta-level）：用一种推荐方法产生的模型作为另一种推荐方法的输入。

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

普里姆算法（Prim算法），图论中的一种算法，可在加权连通图里搜索最小生成树。意即由此算法搜索到的边子集所构成的树中，不但包括了连通图里的所有顶点（英语：Vertex (graph theory)），且其所有边的权值之和亦为最小。该算法于1930年由捷克数学家沃伊捷赫·亚尔尼克（英语：Vojtěch Jarník）发现；并在1957年由美国计算机科学家罗伯特·普里姆（英语：Robert C. Prim）独立发现；1959年，艾兹格·迪科斯彻再次发现了该算法。因此，在某些场合，普里姆算法又被称为DJP算法、亚尔尼克算法或普里姆－亚尔尼克算法。

在机器学习领域，支持向量机SVM(Support Vector Machine）是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。

SVM的主要思想可以概括为两点：⑴它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而 使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；

七十八：Floyd算法

Floyd算法又称为插点法，是一种用于寻找给定的加权图中多源点之间最短路径的算法。该算法名称以创始人之一、1978年图灵奖获得者、斯坦福大学计算机科学系教授罗伯特·弗洛伊德命名。

辛普森悖论亦有人译为辛普森诡论，为英国统计学家E.H.辛普森（E.H.Simpson）于1951年提出的悖论，即在某个条件下的两组数据，分别讨论时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结论。

当人们尝试探究两种变量是否具有相关性的时候，比如新生录取率与性别，报酬与性别等，会分别对之进行分组研究。辛普森悖论是在这种研究中，在某些前提下有时会产生的一种现象。即在分组比较中都占优势的一方，会在总评中反而是失势的一方。该现象于20世纪初就有人讨论，但一直到1951年E.H.辛普森在他发表的论文中，该现象才算正式被描述解释。后来就以他的名字命名该悖论。

为了避免辛普森悖论的出现，就需要斟酌各分组的权重，并乘以一定的系数去消除以分组数据基数差异而造成的影响。同时必需了解清楚情况，是否存在潜在因素，综合考虑。

熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵的概念由鲁道夫·克劳修斯（Rudolf Clausius）于1850年提出，并应用在热力学中。1948年，克劳德·艾尔伍德·香农（Claude Elwood Shannon）第一次将熵的概念引入信息论中。

甘特图（Gantt chart）又叫横道图、条状图(Bar chart)。以提出者亨利·L·甘特先生的名字命名。

甘特图内在思想简单，即以图示的方式通过活动列表和时间刻度形象地表示出任何特定项目的活动顺序与持续时间。基本是一条线条图，横轴表示时间，纵轴表示活动（项目），线条表示在整个期间上计划和实际的活动完成情况。它直观地表明任务计划在什么时候进行，及实际进展与计划要求的对比。管理者由此可便利地弄清一项任务（项目）还剩下哪些工作要做，并可评估工作进度。

帕累托图（Pareto chart）是以意大利经济学家V.Pareto的名字而命名的。

帕累托图又叫排列图、主次图,是按照发生频率大小顺序绘制的直方图，表示有多少结果是由已确认类型或范畴的原因所造成。它是将出现的质量问题和质量改进项目按照重要程度依次排列而采用的一种图表。可以用来分析质量问题，确定产生质量问题的主要因素。

八十三：SWOT分析法

SWOT分析法又称为态势分析法，它是由旧金山大学的管理学教授于20世纪80年代初提出来的，SWOT四个英文字母分别代表：优势（Strength）、劣势（Weakness）、机会（Opportunity）、威胁（Threat）。

PageRank，网页排名，又称网页级别、Google左侧排名或佩奇排名，是一种由[1] 根据网页之间相互的超链接计算的技术，而作为网页排名的要素之一，以Google公司创办人拉里·佩奇（Larry Page）之姓来命名。Google用它来体现网页的相关性和重要性，在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。Google的创始人拉里·佩奇和谢尔盖·布林于1998年在斯坦福大学发明了这项技术。

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。

贝叶斯分类是一系列分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。朴素贝叶斯算法（Naive Bayesian) 是其中应用最为广泛的分类算法之一。

朴素贝叶斯分类器基于一个简单的假定：给定目标值时属性之间相互条件独立。

搜索算法是利用计算机的高性能来有目的的穷举一个问题解空间的部分或所有的可能情况，从而求出问题的解的一种方法。

搜索算法实际上是根据初始条件和扩展规则构造一棵“解答树”并寻找符合目标状态的节点的过程。所有的搜索算法从最终的算法实现上来看，都可以划分成两个部分——控制结构（扩展节点的方式）和产生系统（扩展节点），而所有的算法优化和改进主要都是通过修改其控制结构来完成的。

模式识别（英语：Pattern Recognition），就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。

信息检索（Information Retrieval）是指信息按一定的方式组织起来，并根据信息用户的需要找出有关的信息的过程和技术。狭义的信息检索就是信息检索过程的后半部分，即从信息集合中找出所需要的信息的过程，也就是我们常说的信息查寻（Information Search 或Information Seek）。

网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。网络爬虫为搜索引擎从万维网下载网页。一般分为传统爬虫和聚焦爬虫。

九十一：防爬虫：KS-WAF将爬虫行为分为搜索引擎爬虫及扫描程序爬虫，可屏蔽特定的搜索引擎爬虫节省带宽和性能，也可屏蔽扫描程序爬虫，避免网站被恶意抓取页面。

九十二：R（统计应用软件）

R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。

C++是在C语言的基础上开发的一种通用编程语言，应用广泛。C++支持多种编程范式 －－面向对象编程、泛型编程和过程化编程。最新正式标准C++14于2014年8月18日公布。 其编程领域众广，常用于系统开发，引擎开发等应用领域，是至今为止最受广大受用的最强大编程语言之一,支持类：类、封装、重载等!

九十四：java（计算机编程语言）

Java是一种可以撰写跨平台应用软件的面向对象的程序设计语言。Java 技术具有卓越的通用性、高效性、平台移植性和安全性，广泛应用于个人PC、数据中心、游戏控制台、科学超级计算机、移动电话和互联网，同时拥有全球最大的开发者专业社群。

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。

分词就是具有动词及形容词二者特征的词，尤指以-ing或-ed,-d,-t,-en或-n结尾的英语动词性形容词，具有形容词功能，同时又表现各种动词性特点，如时态、语态、带状语性修饰语的性能及带宾词的性能。分词分为现在分词和过去分词两种，是一种非谓语动词形式。现在分词和过去分词主要差别在于：现在分词表示“主动和进行”，过去分词表示“被动和完成”（不及物动词的过去分词不表示被动，只表示完成）。分词可以有自己的状语、宾语或逻辑主语等。

部分DNA序列或基因序列使用一串字母表示的真实的或者假设的携带基因信息的DNA分子的一级结构。

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着的来临，大数据分析也应运而生。

数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。一个优秀的数据科学家需要具备的素质有：懂数据采集、懂数学算法、懂数学软件、懂数据分析、懂预测分析、懂市场应用、懂决策分析等。

行处理是计算机系统中能同时执行两个或更多个处理机的一种计算方法。处理机可同时工作于同一程序的不同方面。并行处理的主要目的是节省大型和复杂问题的解决时间。为使用并行处理，首先需要对程序进行并行化处理，也就是说将工作各部分分配到不同处理机中。而主要问题是并行是一个相互依靠性问题，而不能自动实现。此外，并行也不能保证加速。但是一个在 n 个处理机上执行的程序速度可能会是在单一处理机上执行的速度的 n 倍。

本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流，内容版权归原作者所有，如涉作品、版权和其他问题请给「」留言处理。