欢迎来到千学网!
您现在的位置:首页 > 实用文 > 其他范文

集群存储系统数据安全研究论文

时间:2023-08-01 08:39:08 其他范文 收藏本文 下载本文

下面小编为大家带来集群存储系统数据安全研究论文,本文共12篇,希望能帮助大家!

集群存储系统数据安全研究论文

篇1:集群存储系统数据安全研究论文

集群存储系统数据安全研究论文

借鉴P2P的思想实现了一个基于集群的安全存储系统,并介绍了构建在该存储体系结构之上的一种数据安全存取方案。引入基于共享鉴别密钥的鉴别机制,以确保用户数据的授权访问,防止未授权用户的阅读和修改。系统采用广泛用于加/解密技术中的SHA-1算法作为密码校验函数,与采用数字签名鉴别机制相比,该算法具有较高的性能。初步分析和实验表明,该系统在现实条件下,在消耗较低的维护带宽的同时维持了较高的可靠性,并提供了较好的读写性能。

近几年来,基于P2P技术的分布式存储系统[1,2]已经成为一个研究热点。广域网中的分布式文件存储系统能够更好地为用户提供文件存储服务,使用户可以随时随地访问存放在网上的数据,并且能够为文件共享、多用户之间的协作提供支持。基于P2P构建的分布式文件存储系统,一般都是面向广域网提供大规模网络存储服务,利用其分布在广域网上的大量服务器为用户提供安全的、可靠的和高效的存储访问服务。P2P强调的是对等服务,不区分服务器和客户端,每个节点在索取其他节点服务的同时,也与其他节点相配合提供相同的服务,每个参与节点的位置均相等。借鉴P2P技术的思想,采用高速网络将普通PC机相连成一个可扩展集群存储系统方案[3~B6]相对于价格昂贵的大型磁盘阵列,具有极高的性能价格比。

基于以上现状,本文提出了一个基于集群的安全存储系统设计[3]。在以前的研究工作中[7]解决了集群存储系统的数据容错问题。本文致力于解决集群存储系统的信息安全性问题,保证存储系统中的数据只被合法用户读写。

1系统架构

集群存储系统将局域网内单个PC上的存储资源整合成具有统一逻辑视图的高性能存储系统。如图1所示,系统中的存储节点是一台PC机,每个节点运行Linux操作系统,通过局域网将各个节点连接起来,构成一个存储实体,对外提供存储服务。图中LAN1的主要功能是实现节点之间的数据备份和恢复,以及节点的全局管理等;LAN2则起到用户之间进行数据交换的作用。LAN通过高速以太网连接,采用通用的TCP/IP协议通信形成一个集群存储系统。

在图1的体系结构中,本地主机上装有存储虚拟化的客户端存储代理软件SA(storage agent)。用户的请求由驻留在客户端的这些SA截获,并将请求发送给适当的存储节点。应用程序访问数据对象的步骤如下:a)将用户可理解的数据对象的名字通过一个目录服务器解析为数据对象的惟一标志DOID(data object identification);b)将DOID作为伪随机函数的种子提交给本地客户端存储代理SA,返回数据对象的位置;c)用户直接与选中的存储节点连接,完成数据的读写请求。

2安全存取机制

系统数据安全性的增强主要取决于存储在各个节点的数据对象的安全性,只有授权的合法用户有权存取数据。假设用户从密钥对象中得到了对称加密密钥(RC5密钥),安全数据对象包含了足够的信息来保护其所包含数据的保密性和完整性。这就意味着即使恶意用户能够得到存储节点中的所有数据,或是嗅探到所有在网络上传输的数据,仍能够维持数据的保密性和完整性。

2.1主要数据结构

系统中主要有三个基本的数据结构,即安全数据对象包括加密的用户数据和元数据;密钥对象与一个或一组文件相关,保存各个用户用于解密文件数据的密钥;认证对象存储在每个存储节点上,用于决定一个特定的用户能否从一个数据对象中写或删除数据。

1)安全数据对象每个数据对象由两部分组成,即用户数据和元数据,如图2所示。用户数据是加密存储的。元数据包括文件id、用户id、文件相对应密钥文件id。HMAC(hashed message authentication code)字段用于证明数据的完整性和鉴别用户的合法性;IV(初始向量)用于防止相同数据在相同密钥加密时密文相同;timestamp字段用于防止hacker用一个已经存储过的文件来覆盖新的文件。

2)密钥对象每个密钥对象如图3所示,包括两种类型的信息。密钥对象的头部:key file id是系统中惟一的文件标志;用户标志域(uid)是指出最后一个修改密钥对象的用户。当用户修改了密钥对象后,对整个密钥对象用自己的私钥签名,将结果存放在signature中,这种机制能够防止非授权用户非法修改密钥文件。密钥对象主体信息是一组三元组,包括uid、encrypted key和权限位。Uid不仅可以是一个用户,还可以是几个用户或是一个用户组;encrypted key是一个对称密钥用于加解密文件,由用户的公钥加密;权限位类似于UNIX系统的权限位。一个密钥对象可以不仅仅对应一个文件,也可以是一组文件,这样这组文件都用同样的密钥加/解密。

3)认证对象每个存储节点包含一个认证对象,如图4所示。存储节点利用认证对象来鉴别用户,作出是否授权该用户的写操作的判断。KeyMAC是一个共享密钥,以密文形式存储,用于HMAC生成及用户与存储节点之间的验证。当存储节点启动时,将认证对象调入内存,keyMAC被解密缓存在内存中。KeyPUB是用户的公钥,存储用户的公钥主要是为方便查找用户的公钥,而不用去求助于一个集中的密钥服务器。时戳字段在一个文件块被写入时更新,用于防止重演攻击。

uidkeyPUBkeyMACtimestamp

uidkeyPUBkeyMACtimestamp

gidkeyPUBkeyMACtimestamp

2.2鉴别机制

系统的主要目标是提供鉴别和加密的存储服务。加密和解密由客户端来完成,尽管不容易减少加/解密的时间开销,但是采用对称加密算法时间相对要快一些。目前的主要鉴别方法在安全性和速度上均有差别,最常用的是采用数字签名机制。但是数字签名是一个相对比较慢的操作,对用户和存储节点的CPU有较高的要求。本文提出一种基于密钥的哈希散列方法来保证整个系统的数据完整性。与数字签名方案相比,该方法具有相对较快的鉴别速度。

如图5所示,在读或写操作时,存储节点需要完成用户身份的鉴别。在本系统中,每个存储节点存有一个认证对象,其中存有各个用户的用户标志、公钥以及由存储节点加密的共享鉴别密钥所得的密文keyMAC和时戳信息。每个用户均与存储节点有一个共享鉴别密钥,这个鉴别密钥仅由用户和存储节点两方知道,用来完成用户身份的鉴别。每当一个新用户加入系统时,可以通过RSA加密机制将用户的鉴别密钥发送到每个存储节点,存储节点在收到加密的密文keyMAC之后,在认证对象中,为该用户添加一行信息。

在这种方案中并没有采用数字签名机制,而只是在写数据时计算HMAC散列来鉴别写者。HMAC不同于数字签名之处,在于用户端可以验证一个基于密钥的散列也可以创建这个散列。写操作需要客户端加密安全数据对象,并且计算HMAC,然后将这些信息发送给存储节点。存储节点使用存储在认证对象中的共享鉴别密钥重新计算HMAC来鉴别发送者的身份。如果通过鉴别,客户有权修改或创建安全数据对象,存储节点完成写操作,并更新相应的数据结构。注意存储节点并不存储HMAC。如果读数据的用户不是创建这个数据对象的用户,那么需要重新计算一个新的HMAC。

2.3数据读写过程

数据的读写过程大致相同,首先用户将与存储节点共享的鉴别密钥私钥提供给客户端,这可以通过要求用户输入密码形式或是鉴别服务器来完成。对于每一个文件,通过文件的放置与定位算法找到相应的存储节点,完成存储节点鉴别用户的.合法性。如果鉴别用户有权对此文件读或写操作,打开文件,获得相应的密钥文件标志,然后去读密钥文件,得到该文件的加/解密密钥。如果是写操作,这个密钥用于加密数据;如果是读操作,用于解密数据。

2.4数据对象的复制机制

随着系统规模的扩大,节点失效和磁盘损坏现象不可避免,因此考虑到数据对象的冗余是很有必要的。数据对象标志符DOID由事先定义好的函数,根据文件在其名字空间的全路径和名字空间的标志生成。将数据对象的全局统一标志DOID作为SHA-1算法的输入,产生一个160 bit的消息摘要x;将160 bit的消息摘要x分成五个32 bit伪随机数k1~k5。如果需要更多的随机数,可以将x作为SHA-1算法的输入,产生另外五个32 bit伪随机数k6~k10。假定系统要求的副本数量是k,需要产生三倍于k的伪随机数,再根据这些伪随机数将数据对象散列到不同的磁盘上。产生三倍于k的伪随机数降低了3k个伪随机数全部散列到同一个磁盘的概率。

2.5数据对象的修复机制

系统在运行一段时间后,存储在系统中的数据副本可能会因为某些不可预知的原因而丢失或者被损坏,从而降低了存储在系统中数据对象的可靠性。单独使用冗余机制无法有效地提高分布式存储系统中数据存储的可靠性。对于高可靠性的存储系统,设计并实现一个简单而且高效的修复算法相当重要。在分布式文件存储系统中存在三种基本的修复机制,即本地数据维护、被动检测和主动扫描。文献[8]中详细叙述了在OceanStore中如何应用这三种修复机制以及相应的性能分析。

考虑到系统实现的复杂性及性能,本文设计了简单的数据对象副本修复机制。系统中每个存储节点定期扫描存储在本地的文件元数据信息,并检查在其他副本存储节点上的元数据信息,在多于quorum个(包括quorum)元数据信息中找出具有最大时间戳的元数据信息,并覆盖其他副本。

3性能分析

3.1修复算法的可行性

首先分析修复算法的可行性,包括带宽消耗和文件的可靠性。假定副本的死亡分布服从负指数分布,即Pdeath(t)=1-eλt。其中1/λ是副本的寿命期望。下面是推导过程中用到的其他符号的定义:bandwidth为系统节点的带宽;N为系统的节点数目;F/N是每个节点保存在系统中文件的平均数目;filesize为系统中文件的平均大小;uptime为每个节点每天的平均在线时间;T为系统的修复周期;R为一个文件的副本数。

假如没有修复,一个文件经过T时间后它存活的可能性为Pliving(1)=1-PRdeath(T)。文件的修复是需要时间的,修复文件所需时间的上界是一个节点修复所有丢失的副本所需的时间,即T2R=(filesize×R)/bandwidth。一个节点进行修复时可能由于下线等原因导致修复失败,可以假定修复在上线期间是均匀进行的,则修复失败的上限为T2r/uptime。如果修复时文件还存活,从这一时刻往前看:如果修复成功,死亡分布的无记忆性,文件将以概率1存活下去;否则,文件以Pliving(T)的概率继续存活。由此可以得到文件存活的递推公式:

3.2系统的可扩展性分析

系统所采用的鉴别机制中,在客户端和存储节点执行的操作分工如表1所示。值得一提的是这种方案不需要产生签名或验证签名,而在读和写操作时,存储节点均要计算一次HMAC。因为加密比散列需要更长的时间,存储节点的工作量还不到客户端完成工作量的1/2,这将保证系统能够扩展到更大规模。存储节点的瓶颈主要是在网卡,因为完成散列的操作要比在100 Mbps链路上传送包所花费的时间少得多。

4结束语

集群存储是一种网络存储体系结构,本文重点介绍了构建在该存储体系结构上的一种数据安全存取方案。它采用基于共享鉴别密钥的鉴别机制,防止未授权用户的阅读和修改,并且对上层应用透明。系统采用广泛用于加/解密技术中的SHA-1算法作为密码校验函数,与采用数字签名鉴别机制相比,该算法具有较高的性能。系统修复机制能够自动地修复系统中存在错误的数据对象,保证了系统的高可靠性。通过分析推导,证明系统的自动修复机制是可行的。通过比较客户端和存储节点所执行的任务,存储节点的工作量不到客户端的一半,从而保证系统能够扩展到更大规模。

篇2:云计算环境数据安全研究论文

云计算环境数据安全研究论文

云计算是网格计算、分布式计算、效用计算等技术发展融合的产物,如今普及速度非常快。亚马逊、谷歌、微软等企业向用户提供了在云环境中开发应用和远程访问应用的功能。由于云环境的数据托管给服务商存储在远程服务器中,且应用数据通过互联网传输,数据存储和传输安全是一个重要的问题。在实现云计算之前,首先应该解决由此带来的安全问题。论文描述了云计算中数据安全相关的挑战,研究了对于数据安全不同层面的解决方案。

1 引言

云计算是基于下一代互联网的计算系统,提供了方便和可定制的服务供用户访问或者与其他云应用协同工作。云计算通过互联网将云应用连接在一起,向用户提供了在任意地点通过网络访问和存储数据的服务。

通过选择云服务,用户能够将本地数据副本存储在远端云环境中。在云环境中存储的数据能通过云服务提供商提供的服务进行存取。在云计算带来方便的同时,必须考虑数据存储的安全性。如今云计算安全是一个值得注意的问题。如果对数据的传输和存储不采取合适的手段,那么数据处于高风险的环境中,关键数据泄露可能造成非常大的损失。由于云服务向公共用户群提供了访问数据的功能,数据存储可能存在高风险问题。在后续章节中,本文首先介绍了云计算模型,然后针对云计算本身的属性带来的信息安全问题,研究了已有数据安全解决方案的应用范围。

2 云计算应用模式

云计算的应用模式主要有软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)等。在SaaS中,厂商提供服务供客户使用,客户使用服务在云基础架构中运行应用。SaaS相对比较简单,不需要购买任何硬件,使用容易。但是数据全部保存在云端,且存放方式不受用户控制,存在安全隐患。PaaS则通过使用云计算服务商提供的中间件平台开发和测试应用,例如谷歌的App Engine。由于不同的中间件平台提供的API不一样,同一个应用不能再不同的平台通用,存在一定的兼容性问题。在IaaS模型中,用户可以控制存储设备、网络设备等基础计算架构,或者直接使用服务商提供的虚拟机去满足特定的软件需求,灵活性高但是使用难度也比较大。

随着云计算的蓬勃发展,云计算安全作为不能忽视的层面,应该引起足够的重视。如果对数据的传输和存储不采取合适的手段,那么数据将处于高风险的环境中。由于云计算向用户群提供了访问数据的功能,不论采用三种主要应用模式的任意一种,数据都存储在公共平台中,由此带来了数据存储和传输的安全问题。

3 数据安全挑战

3.1 数据保障

当多个用户共享同一个资源的时候存在资源误用的风险。为了避免这个风险,有必要对数据存储、数据传输、数据处理等过程实施安全方面的措施。数据的保护是在云计算中最重要的挑战。为了加强云计算的安全,有必要提供认证授权和访问控制的手段确保数据存储的安全。数据安全的主要几个方面:健壮性——使用测试工具检查数据的'安全脆弱性,查看云计算应用是否有常见的漏洞,比如跨站脚本、SQL注入漏洞等;保密性——为了保护客户端数据的安全,应当使用资源消耗少的瘦客户端,尽量将客户端的功能精简,将数据的运算放置在云服务端完成;可用性——数据安全中最重要的部分,具体实施情况由厂商和客户直接协商决定。以上措施决定了数据的可用性、可靠性和安全性。

3.2 数据正确性

在保证数据安全的同时也要保证数据的正确性。每个在云计算中的事务必须遵守ACID准则保持数据的正确性。否则会造成数据的“脏读”,“幻读”等现象,造成数据的不准确,事后排查花费的代价高。大多数Web服务使用HTTP协议都面临着事物管理的问题。HTTP协议本身并不提供事务的功能,事务的功能可以使用程序内部的机制解决。

3.3 数据访问

数据访问主要是指数据安全访问管理机制。在一个公司中,应根据公司的安全条例,给予不同岗位职工特定数据的访问权限,保证该数据不能被公司的其他员工访问。可以使用加密技术保证数据传输安全,采取令牌管理手段提升用户密码的猜解复杂程度。

3.4 保密性

由于在云环境中,用户将文本、视频等数据存储在云端,数据保密性成为了一个重要的需求。用户应该了解保密数据的存放情况和数据的访问控制实施情况。

3.5 数据隔离

云计算的重要特征之一是多用户租用公共服务或设备。由于公用云向所有用户提供服务的特点,存在数据入侵的可能。通过注入代码等手段,可能造成云端存储的数据被非授权获取。所以有必要将用户数据和程序数据分开存储,增加数据被非授权获取的难度。通常可以通过SQL注入、数据验证等方式验证潜在的漏洞是否存在。

3.6 数据备份

云端数据备份主要目的是在数据意外丢失的情况下找。数据丢失是一个很普遍的问题,一份的调查表明,66%的被访者声称个人电脑的文件存在丢失情况。云端数据备份还可以方便将数据恢复到某个时期的版本。云计算作为公用服务,已有大量用户使用网盘将数据副本存储在云端,但是还有很多应用的业务数据未在用户本地设备中存储。无论云端存储数据的性质,云端都应定时将存储的数据备份,保障云服务的正常运行。

3.7 法律法规风险

在云计算中,数据有可能分布存储在不同的国家和地区中。当数据被转移到其他的国家和地区中后,必须遵守当地的法律法规。所以在云计算中,存在数据放置地理位置的问题,客户应当知晓数据存储的地理位置防范风险。

4 数据安全解决方案

对于数据安全问题,需要方案解决云环境中数据潜在的风险。其中由于云环境的公用特性,数据保密应当作为主要解决目标。针对上节的数据保障、正确性、访问等问题,多位云计算安全专家在不同层面已先后提出了几套完整的解决方案,其目标主要是保证云环境中数据共享的安全性。在不可信的公共云环境中,数据共享的同时保证数据对第三方的保密性。

4.1 基本方案

数据加密是一个比较好的保证数据安全的方案。在云端存储数据之前最好能先加密数据。数据的拥有者能将数据的访问权给予特定的用户群体。应当设计一个包括认证、数据加密、数据正确性、数据恢复等功能的模型去保证数据在云端的安全。

为了保证数据不能被非授权访问,将数据加密使其完全对于其他用户无法解析是一个比较好的方法。在上传数据到云端之前,建议用户验证数据是否在本地有完整的备份,可以通过计算文件的哈希值来验证数据是否一致。数据传输应当采用加密方式,防止敏感信息被中间人监听。SaaS要求必须在物理层面和应用层面将不同用户的数据隔离。可以使用采用基于角色的访问控制或者是自主访问控制,以及分布式的访问控制架构控制云计算中的数据访问。一个设计良好的访问控制机制可以极大地保护数据的安全,还可以采用入侵防御系统实时监测网络入侵。入侵防御系统主要功能为识别可疑行为,记录行为的详细信息并试图阻止。

上述基本方案可以解决数据保障、数据正确性、数据访问及保密性等问题。但是,在实际应用中没有考虑效率,仅仅作为基本手段不能满足用户云环境数据共享的特定需求。

4.2 属性基加密

属性基加密(Attribute-based Encryption)相对于传统的公用密钥加密具有很大的优势。传统的公用密钥加密采用公私钥对,公钥加密的信息只能用私钥解密,保证了仅有接收人能得到明文;私钥加密的信息只能用公钥解密,保证了信息的来源。公钥基础设施体系和对称加密方式相比,解决了信息的保密性、完整性、不可否认性问题。属性基加密则在公用密钥加密的基础上,更多考虑了数据共享和访问控制的问题。在属性基加密系统中,密钥由属性集合标识。仅当公私钥对指定的属性相同或者具有规定的包含关系时,才能完成解密密文。例如,用户如果为了数据安全将文档加密,但是需要同公司的人能解密该密文,那么可以设置密钥的属性位“组织”,只有属性位“组织”为该用户公司的密钥才能将该密文解密,不满足条件的密钥则不能解密,如图1所示。

属性基加密分为密钥策略(KP-ABE)和密文策略(CP-ABE)。KP-ABE模式中,密文具有属性集合,解密密钥则和访问控制策略关联。加密方定义了能成功解密密文的密钥需要满足的属性集合。KP-ABE模式适用于用户查询类应用,例如搜索、视频点播等。CP-ABE模式中,加密方定义了访问控制策略,访问控制策略被包含在密文内,而密钥仅仅是属性的集合。CP-ABE模式主要适用于访问控制类应用,例如社交网站、电子医疗等。

属性基加密方式,不仅可以应用在云存储共享中,在审计日志共享方面也有很广泛的应用。审计日志共享大都存在时间段的限制,属性基加密方式可以在密文中添加时间属性位和用户属性,提供对不同用户共享不同时间段日志的功能。属性基加密紧密结合了访问控制的特性,在传统公用密钥的基础上,提高了数据共享的方便程度。

属性基加密虽然提高了数据共享的方便程度,但是没有从根本上解决云环境数据加解密过程中,解密为明文导致的敏感数据泄露问题。

4.3 代理重加密

由于云环境是公用的,用户无法确定服务提供商是否严格的将用户资料保存,不泄露给第三方。所以,当用户之间有在云环境中共享资料的需求时,必须考虑资料的保密性问题。

用户A希望和用户B共享自己的数据,但是不希望直接将自己的私钥Pa给B,否则B能直接用Pa解密自己采用私钥加密的其他数据。对于这种情况,有一些解决方案。

(1)用户A将加密数据从云端取回,解密后通过安全方式(例如采用用户B的公钥加密)发送给用户B。这种方式要求用户A必须一直在线,存在一定的局限性,并且数据量比较大时,本地耗费的计算量可能非常大。

(2)用户A可以将自己的私钥给云服务提供商,要求提供数据共享的服务。在这种情况中,用户A必须相信云端不会将私钥泄露。

(3)用户A可以采用一对一加密机制。A将解密密钥分发给每个想共享数据的用户,A必须针对每个用户生成并存储不同的加密密钥和密文。当新用户数量很多时,这个方案造成了磁盘空间的大量占用,存储数据冗余度高。

代理重加密(Proxy Re-Encryption)手段可以很好的解决云环境数据共享的问题。代理重加密手段设立了一个解密代理。首选A由私钥Pa和B的公钥Pb计算出转换密钥Rk。转换密钥可以直接将由私钥Pa加密的密文转加密为由公钥Pb加密的密文。在转换过程中,A的原始密文不会解密为明文,而转加密后的密文也只能由用户B解密。当用户B想访问A共享的资料时,只需要解密代理使用Rk将A的密文转换为只有B能解密的密文即可。这种机制保证了包括云在内的所有第三方都不能获取A共享给B的明文,如图2所示。

代理重加密解决了云环境中数据共享而不泄露明文的基本问题,侧重于数据的保密。该技术手段关注数据的保密性,未考虑实际应用中数据共享方便程度等其他问题。

4.4 基于代理重加密的属性基加密方法

代理重加密技术可以和在云存储中使用的属性基加密机制结合,属性基加密侧重于加密方面的访问控制,而代理重加密从加密手段上保证了数据的隐秘性。通过将这两种机制结合,用户可以更加高效的分享数据。数据拥有者可以根据新的访问控制规则生成转换密钥,然后将转换密钥上传至云服务器,服务器将原有的密文转加密为新的密文。新的密文在不影响原有用户解密的情况下,可以使新用户成功解密。而在转换原有密文的整个过程中,服务器无法将密文解密为明文。

该类加密方法既保证了转换效率,又保证了数据的保密性。此类方法中,不考虑抗选择密文攻击的算法计算转换密钥的资源消耗相对较小,考虑了抗选择密文攻击的算法资源消耗量和密钥属性基的大小正相关。

5 结束语

虽然云计算是一个带来了很多益处给用户的新兴技术,但它也同时面临着很多安全方面的挑战。本文说明了云计算方面的安全挑战和对应的解决方案,从而降低云计算可能带来的安全风险。为了保证云存储的安全访问,在技术层面,可以采用健壮的数据加密机制;在管理层面,采用合适的令牌管理机制,分发令牌给用户从而保证数据只能被授权的访问。随着云计算的普及,相信云服务提供商和用户对于云环境数据安全方面会越来越重视。在相关安全策略实施后,云计算能在提供良好服务的同时,让用户使用更加放心。

篇3:大数据环境下的数据安全研究论文

大数据环境下的数据安全问题是信息化时代必须解决的问题。文章阐述了大数据的概念及特点以及其存在的一些问题,再来分析大数据环境下影响信息安全的因素,最后对如何保证大数据环境下的数据安全提出一些方法。

大数据就是指数据信息量的规模非常巨大,从而导致无法以当前的主流工具在合理时间内进行正常的收集处理。它是一种数据量大且数据形式多样化的数据。随着大数据环境下的数据安全问题越来越突出,如何保证大数据环境下的数据安全对建设大数据环境具有重大的意义。

1 大数据的概念及特点

大数据就是指数据信息量的规模非常巨大,从而导致无法以当前的主流工具在合理时间内进行正常的收集处理。它是一种数据量大且数据形式多样化的数据。通过对它概念的研究可以得出它具有以下几个特点:(1)数据量大。大数据是数据信息来那个超大的资料,每天都会产生无数的数据,而且信息数据级别也越来越高。统计数据的级别PB的级别甚至更高。(2)形式多样。形式多样主要是指它的数据类型呈现出多样化的特点。随着信息技术的发展,越来越多的数据以非结构化的形式出现。比如视频、音频、图片等。据统计,非结构化数据在数据中的比重已经超过了80%。(3)价值密度低。大数据在运行过程中会产生大量有价值的信息,这些信息对于生产生活会产生非常大的帮助。但是大数据由于数据信息量太大,也就存在着价值密度低的特点。在很大一个数据统计中,可能有价值的信息只有很少一部分。

2 大数据环境下存在的问题

大数据环境下的数据存在以下几个关键问题。

2.1 可表示问题

大数据环境下的一些非结构化数据呈几何的形式在增长,数据的规模巨大,形式多样化使得用户对于数据的需求也呈现出多样化的趋势。数据的不断增大导致数据运行的效率却越来越低。对于这些多而杂的非结构化数据,如何表示将是一个非常重要的问题。

2.2 可靠性问题

大数据环境是一个非常庞大的网络环境,在网络开放和共享的时代,计算机数据面临着安全性和可靠性的考验。在大数据环境下,数据的收集和发布方式比以前更加的灵活,但一些不确定的数据将很有可能会造成数据的`失真,在网络开放的环境下,失真的数据就会影响巨大的负面影响。因此大数据环境下的数据的可靠性将是一个急需解决的问题。

2.3 可处理问题

由于目前的数据信息每天都以成千上万的形式增长,现有水文计算机处理能力已经很难有效地对其进行处理,在进行数据分析的过程中,需要研究一种新型的数据分析方法,将多种学科的计算方式相结合,对数据信息进行规律性的研究。

篇4:大数据环境下的数据安全研究论文

4.1 建立大数据信息安全体系

大数据的应用规划以及它的信息安全应要提高到发展战略的高度,对大数据进行系统的分类,明确一些重点的保障对象,强化对数据的监控管理。大数据环境是一个庞大的数据信息系统,要确保数据信息的安全性,需努力建立起一个完整的数据信息安全体系。

4.2 进行数据安全删除

当今信息安全技术当中一个极为关键的问题。所谓的数据安全删除指的就是对数据恢复正常的条件进行破坏,使数据在删除之后无法恢复,无法逆转。相对于部分敏感数据而言,数据安全删除是十分关键的。众所周知,普通文档实行删除操作仅仅是对其标记进行删除;高级格式化同样无法对数据区内的数据信息进行覆盖处理,因此不能将其叫做安全删除。

4.3 对动态数据进行安全监控

相对与静态的信息数据,动态的信息数据更容易产生安全问题。因此需要对动态数据进行安全监控,完善对于动态数据的安全监控机制。在对动态数据进行监控的过程中,必须要对分布式计算系统进行健康监控,以保证其健康运行。在一些大规模的分布式计算中,要对动态数据的细粒度进行安全监控和分析,对大数据分布式进行实时监控。

5 结语

随着信息化时代的到来,如今大数据环境下的数据不断增长。在大数据环境下的数据信息的安全性成为信息化时代的一个重要问题。对数据的安全性采取保障措施对整个大数据环境下的信息化发展具有非常大的意义。

篇5:大数据环境下的数据安全研究论文

3.1 自然灾害

自然灾害这里主要是指台风、龙卷风、飓风、地震、洪水、火灾等。随着信息技术的发展,网络已经成为世界人民生活中不可或缺的一部分。人们在使用计算机网络的过程中,有很多数据存储在服务器之中,并且经常与它们实时交互。在运营过程中,因为各种灾害例如火灾、停电、地震以及数据传送时线路的突然中断,将造成各种数据的丢失。

3.2 网络硬件

在信息化快速发展的今天,硬件虽然更新换代很快,但数据量的增长速度却是爆炸性的增长,进而造成以前的存蓄环境不能满足当前海量数据的需要,因此,应该对存储环境进行优化升级,使其能满足现今对数据存储的需要。在传输数据的过程中如果数据量过于庞大,而硬件设备由于老化导致传输速率的降低,那么网络的延迟可能会导致系统崩溃造成数据丢失,影响数据存储过程的安全。

3.3 操作失误

数据管理人员不管是面对怎样的应用软件,都有可能出现操作不当的情况。任何一个人在开展工作时都有可能会误删除系统的重要文件,或者修改影响系统运行的参数,以及没有按照规定要求或操作不当导致的系统宕机,尤其是进行数据库管理的工作人员,面对的数据量比较大,系统的运作也极为复杂,这都将导致操作不当或失误情况的发生,进而威胁到系统数据的完整性与安全性。

3.4 管理不善

由于存储系统越来越复杂,对管理维护人员的素质要求也越来越高,因管理不善而造成数据丢失的可能性会大大增加[2]。比如计算机网络中终端用户随意增减调换,每个终端硬件配备(CPU、硬盘、内存等)肆意组装拆卸、操作系统随意更换、各类应用软件胡乱安装卸载,各种外设(软驱、光驱、U盘、打印机、Modem等)无节制使用。

篇6:产业集群和高新技术创新研究论文

产业集群和高新技术创新研究论文

摘要:可持续发展的传统产业集群和高新技术创新之间往往存在一种相互影响、相互促进的互动关系。一方面,传统产业集群为创新活动提供了市场需求和有力保障,并成为高新技术创新重要的应用平台,加速了技术转移和扩散的进程;另一方面,高新技术创新对传统产业集群的形成、产业结构的优化、集群竞争力的提升、产业集群可持续发展等方面都具有重要意义。加快我国传统产业集群与高新技术产业结合,促进传统产业转型升级,实现经济发展方式由投资驱动向创新驱动转变,是我国经济持续健康发展的关键环节。

关键词:传统产业集群;高新技术创新;互动关系

根据OECD的相关研究,高新技术产业的产出只占国民经济增加值的3%,即使将汽车等“中等技术行业”也包括进来,这一比重也只达到8.5%。量大面广的传统产业依然是现代工业经济中最主要的构成部分。因此,开展传统产业集群和高新技术创新互动关系的研究,对培育国家创新体系,提升国家竞争力具有十分重要的意义。

一、传统产业集群为高新技术创新提供了市场需求

虽然很多传统产业已经发展的相当成熟,但它们早期仍是技术创新的重要来源,特别是通过在大规模生产中的技术开发来提高投入产出率和机器性能,以减少生产成本和时间。同时,为新市场开发新产品是传统产业得以存在和发展的重要方式。传统产业面对的市场需求一般是缺乏弹性或无弹性,因为传统企业生产的产品一般属于“必需品”,且随着消费者收入的提高,他们已经满足了对这些产品绝大部分的需求。因此,为了克服这一“需求满足”,迫使传统产业集群内的企业必须不断通过高新技术创新来开发出新产品和新服务,以满足消费者新的需求,或通过生产差异化的产品来创造新的细分市场。因此,高新技术创新成为传统产业弥补老产业成熟所带来的衰退的重要举措,从这一点来看,传统产业比高新技术产业对技术创新的需求更加迫切。同时,传统产业集群内企业之间存在的竞争协作机制,使传统产业集群成为高新技术创新的天然“栖息地”。一方面,企业的空间集聚使同行竞争日趋激烈,为保持竞争优势、占领更多的市场份额,促使企业充分挖掘潜在的知识资源和存量资本进行技术创新和组织管理创新来降低生产成本和提高经济效益。同时,由于在产业集群内,企业的创新活动更容易被竞争对手所模仿而失去竞争优势,为保持持续的竞争优势促使企业不断创新。可以说,这种竞争普遍存在于集群的各个角落,竞争使企业时刻保持对技术创新的高度警觉性和灵敏性。另一方面,集群内企业之间又存在着各种正式或非正式的合作,如联合开发产品、共同攻克技术难关、合作建立上下游产业链等等。这种协作机制,可以使集群内企业在技术研发、产品设计、市场营销、产业配套等方面形成高效的网络化互动与合作,更好地克服企业内部规模不经济的劣势,并在此基础上形成集体行动,顺畅信息流通,加快知识、技术和市场信息传播,节约信息和运输成本。

二、传统产业集群是高新技术扩散的重要渠道

正因为中低技术产业在经济体中占据了90%以上的比例(OECD的口径),因此高新技术创新必须通过有效的技术扩散才能充分地实现其技术潜能、实现其经济可行性并获得可持续的发展。技术创新在传统产业集群中的扩散效应主要集中在以下四方面:一是传统产业中通用技术的导入和利用。传统产业中的某些通用性技术可以从它原来所在的行业中溢出并被其他的传统产业所导入和重新利用,通用性技术这一“侵略”的特性,使其逐步渗透和占领不同的产业,并使技术创新在不同产业中扩散。从某种程度上说,通用性技术成为了产业革命的重要促成因素之一。比如,第一次工业革命中的蒸汽机、机床等;第二次工业革命中的化工、内燃机等;以及第三次工业革命中的信息通信技术、生物技术,等等。二是“干中学”经验的获取。在传统产业集群中通常缺乏正式的科学和技术学习,而更多的是通过“干中学”、“用中学”等过程中开展高新技术创新和吸纳的学习活动,即传统产业集群通过掌握技术、应用技术和开展各类开发性互动活动来实现经验的积累。同时,这一技术扩散应用又与企业特有的吸收能力密切相关,吸收能力的获取不仅来自企业内部正式的R&D活动,还来自更为广泛的创新活动。三是传统产业集群存在的垂直整合和垂直分离特性促进了高新技术的扩散。在产业集群内,不同的企业只负责生产的某一阶段,由此上下游企业形成了完整的一条产业链。其中部分企业获取了某些技术能力,并最终使这些企业剥离出一些部门形成新的企业。这些剥离出来的企业会通过垂直的产业链与其他剥离企业产生互动作用,从而促进高新技术的扩散。例如,在工业革命的早期,织布的机械化促进了布匹的生产,这迫使纺纱工人加速纱的生产,并促进了纺纱的机械化;同时,纺纱的机械化又反过来促使织布部门开发更先进的织布机。四是集群内的高等院校和科研机构作为知识和技术传播的源头,不仅创造新知识和新技术,还通过教育培训和成果转化,促进知识、技术在集群内的扩散,中介机构将科技信息及时有效的在集群内企业传播,使各种显性或隐性知识的扩散速度远快于非集群企业。

三、传统产业集群是高新技术应用的重要平台

首先,传统产业在国民经济中所占的绝对比重这一现实,要求高新技术创新必须与传统产业相结合,才能发挥它们对经济整体发展的贡献。在不同的时代,重大的高新技术对产业发展的根本意义在于它们有效地更新了原有的产业结构,并使产业的技术构成和组织模式获得了结构性的提升。例如,在第一次工业革命中,自动纺织机、蒸汽机等的发明与应用革新了冶金业、采矿业、纺织业等的生产工艺和生产技术,改变了原有的生产方式,促进了工厂制代替了手工工场,机器代替手工劳动。在第二次工业革命中,电力等新能源的广泛应用直接促进了重工业大踏步前进,使大规模的工业生产成为可能;内燃机、发动机的发明促进了汽车、远洋轮船、飞机等新型交通工具的迅猛发展;电话等通讯工具的发明,使人与人的交流不再局限于面对面的谈话。在第三次工业革命中,信息技术、新能源技术、新材料技术、生物技术、空间技术等诸多领域实现了重大的技术突破,使科学技术转化为直接生产力的速度大大加快,例如,今日的计算机技术对人类社会发展的贡献已远远超过一个狭义的“计算机工业”所能代表的范畴。其次,科学发现和发明创造不会自动转化为技术创新,只有高新技术融入到具体的商业化应用中,并与上下游产业链和消费者产生互动,才能形成足够复杂性来适应多样化的市场和技术需求。从这个角度看,正是由于生物技术突破了原来生物制药范畴而在农业、环保等领域的`广泛应用和经验积累,由于信息技术突破传统的军事领域而在物流、商业、机械等行业的大量应用和探索,才使这些高新技术从最初的科学原理和技术原型发展成为复杂应用和专业化的门类并获得成功。

四、传统产业集群能为高新技术创新活动提供重要保障

位于科技前沿的研发活动往往能带来新的思想和新的概念,而新思想、新概念只有转化为产生经济效益的产品或服务时才能称为创新,因此任何一项技术创新都需要相应的资源要素的有效整合和协调保障。这些资源要素主要包括:丰富的智力资源、充足的资金保障、完善的物质设备、健全的公共服务,等等。智力保障方面,一方面在产业集群内,科研院所、高等教育机构、培训机构等为企业提供创新活动所需投资理财的各类专业化的科技创新人员,另一方面产业集群利用其特有的组织网络优势吸引各类人才,并通过产业集群的分工协作造就了大量的专业化人才。在产业集群内,人才的频繁流动和学习锻炼,伴随着知识、技术的交流与外溢,使各类专业人才的知识和技术能力得到显著提高,有力促进了企业的技术创新活动。此外,集群内企业间或企业与科研院所、高等教育机构间进行协作创新,使双方的知识和技术的积累量和利用效率大大提高,为集群保持持续的技术创新能力提供了智力支撑。在资金保障方面,高新技术创新往往需要大量的资金投入,因此必须能为广泛的产业部门所应用才能获得足够的回报来实现创新活动的持续进行。从现状看,集群内企业比群外企业在融资方面更具优势,集群内企业更加相互了解和信任,加上频繁的合作关系和固定的社会网络,企业间更容易相互筹措技术创新资金,大大降低融资成本,在获得银行贷款和风险投资方面也相对较为容易。在物质设备和公共服务方面,集群内企业和科研机构、高等院校在地理位置上的接近,在协作关系上的密切,能使生产设备和研发设备以低成本快速和灵活的整合,为研发活动提供物质保障。此外,集群内企业可以共用现代化的基础设施和便利的交通工具,大大降低企业在技术创新过程中的固定资产投入,总之,产业集群为企业获得创新所需资源提供了诸多便利。

参考文献:

[1]尼克冯图兹曼,弗吉尼亚阿查,“低技术产业的创新”,来自《牛津创新手册》,法格博格,莫利,纳尔逊[M].知识产权出版社,

[2]林惠虾.产业集群与技术创新的互动发展[J].现代商贸工业,

[3]封凯栋.传统产业与高新技术结合应是国家创新体系的核心[J].宏观经济研究,

[4]赵海婷,程春清:《基于产业集群的中小企业技术创新能力提升对策研究[J].企业经济,2009

[5]范光基.产业集群与技术创新的关联性研究[D].福建师范大学,2009.

[6]张秀武.中国高技术产业集群与技术创新互动关系研究[M].社会科学文献出版,

篇7:大数据营销创新研究论文

大数据营销创新研究论文

摘要:

大数据是通过多元化的信息搜集方式将千变万化的内容进行有效整合而形成的庞大的数据库。大数据视角下的营销呈现出CEC时代的到来、消费者的独特需求急需满足、消费者的多渠道购物选择、市场呼唤个性化的定价、产品品牌必须表里如一等特征。必须通过个性化营销、精准化营销、线上、线下营销以及建立健全消费者互动反馈平台等策略,来实现营销模式的创新。

关键词:营销论文

进入21世纪以来,特别是最近几年,在社会经济生活中,信息技术可谓是实现了迅猛的发展,在将来也必将在各个领域不断推进。这一时代特点带给企业营销的最大影响就是为所有的消费者提供了一个获取大量信息的可贵渠道。借助这一平台,消费者对相关产品的熟悉、了解、选择、购买有着相当大的主动权,彻底变革了传统的营销模式。在大数据的视角下,消费者有了更多的选择对比,在此基础上,内心形成了明确的购物取向,而非像传统那样被动地接受企业的宣传引导。正是基于此,在当前大数据的时代背景下,借助前沿的信息技术,积极探索创新营销模式,有着十分重要的理论意义和实践价值。

1、大数据概述。

大数据这一概念出现很早,但流行开来还是最近几年。它首先是一个极其庞大的信息数据系统,是随着信息网络技术的发展而出现的,以信息科学为技术支撑,在此基础上,通过多元化的信息搜集方式将千变万化的内容进行有效整合。正是从这个意义上说,大数据和云计算机有着千丝万缕的联系,大数据正是借助云计算方式,从而实现了对一系列数据进行加工处理,也因此呈现出以下特点:首先是数量大,能够对数据进行大容量的存储;其次是类型多,它的存储方式多种多样,比如图片、文字、位置等,并且在日益丰富;再次是密度低,即是指有的数据具有应用价值,有的则没有;最后是速度快,即是指数据传播、处理的速度非常快,这也是大数据的核心特点、关键所在。总而言之,正是由于上述四个特点,大数据日益流行开来。

2、大数据视角下的营销特征。

在大数据视角下审视营销,它体现出以下几个方面的特征。

(1)CEC时代的到来。

众所周知,就传统的,商业营销而言,其基本作法即是首先通过各种渠道搜集各领域的市场信息,借此来了解消费者的相关资料信息,然后在基础上来决定本公司的研发、生产、营销和推广,最后满足消费者的消费需求。例如,以常见的日用品企业为例子,传统的商业行为一般是:选定产品、生产营销、寻找买家。特别是当供大于求、生产的产品较多的时候,往往会采取一定的促销措施,比如打折、买一送一等,上述所言就是传统的商业营销模式。然而,随着近几年信息科技的迅速发展,大数据时代来临,上述传统的营销模式已经过时,难以为继,因为消费者在消费过程中拥有了前所未有的主动权,这些消费者也就是所谓的“CEC”。

相关调查数据表明,目前绝大多数的消费群体均会自行收集相关企业、店家及其所生产产品的信息,不会再像传统那样相信商家所做的广告。例如,以常见的日用品企业为例子,现在的消费者往往会主动选择自己喜欢的品牌、款式等,同时主动选择自己喜欢的供货渠道、购物渠道,当然也会收集折扣信息,对企业提出他们所期望的系列服务。

(2)消费者的独特需求急需满足。

相关数据表明,在当前的消费者群体中,90后、00后占据了主要部分。这一群体显现出不从众、要求特别等一系列鲜明的个性特征,进而形成了独特的消费倾向。比如,这一群体在消费的'过程中,更多的是依据自我认知,没有固定的品牌倾向,其选择意向随时发生改变。对此,企业必须明确定位自己的产品特点,明确自己产品的消费者群体,在整个生产、营销的过程中,充分考虑消费者的个性化需求,最大限度地满足消费者的消费意愿,消费者就会在营销过程的任何环节脱离。正是从这个意义上说,在当前的大数据时代,无论任何企业,都要把精力放在如何满足消费者个性化需求上来,据此开展创新性的营销活动。

(3)消费者的多渠道购物选择。

在大数据时代,消费者在购物的过程中,有着多渠道的选择,有着多种多样的接触点,这是当前市场营销所必须面对的一个棘手难题。通过调查发现,现在很多消费者相当聪明,他们会选择在线上、线下之间,在虚拟、实体之间灵活转移,决定的依据就是自身体验,而非企业的广告宣传。消费者完成整个购买过程,一般会先后经历多个阶段,期间,如果消费者对产品的价格、体验、服务等感到不满意,极易进行品牌跳脱,转而选择其他企业的产品。这就给企业带来了前所未有的压力。所有企业必须详细了解消费者的个性化需求,多渠道为消费者提供全方位的满意服务。

(4)市场呼唤个性化的定价。

对产品如何定价,是一项决定企业效益高低的重要工作。基于此,产品定价策略也日益成为企业整体战略的关键部分。根据上文可知,由于目前消费者的独特需求亟需满足,消费者有着多渠道的购物选择,这就要求企业结合消费者的个性特点,对自身产品进行个性化的定价,这样才能有效提高企业效益,从而在大数据时代求得生存。例如,假设有一位某餐饮连锁品牌的固定客户,而且有着自己个性化的饮食需要,那么无论走到全国各地,只需要该连锁店的会员卡,就能随时随地品尝到自己满意的食物。与此相对应,该餐饮店会持续跟踪客户忠诚度,并据此制定个性化的食物价格,这样的作法也会受到固定客户的热烈欢迎。

(5)产品品牌必须表里如一。

客观地说,产品品牌浓缩了企业的所有元素,其在消费者群体中的口碑如何,直接决定着产品营销状况。就传统营销模式而言,产品品牌只是涉及自身企业的外在形象,消费者如果体验不佳,只能自认为倒霉。然而,在当前的大数据时代,企业没有任何可以掩饰的元素,企业的所有在消费者当中都是透明的。在这种状态下,借助互联网络平台,消费者对产品一旦有任何的不满,都极易在相当大的人群中快速传播,可以在短时间内发布相关企业、产品的负面信息。因此,必须认识到,企业产品品牌必须时刻保持表里如一,而非依靠宣传广告和社会公关。唯有如此,才能在大数据时代做好市场营销工作,才能让企业在激烈的竞争中生存下去。

3、大数据视角下营销创新的可行策略。

当前,积极探索在大数据视角下推进营销创新的可行策略,对于改进市场营销极为重要。

(1)针对个性化群体实行个性化营销。

在大数据视角下推进营销创新,首先是要针对个性化群体实行个性化营销,这就需要通过大数据,科学分析消费群体的行为、习惯、爱好、特征等。这项工作必须奠基在对消费者充分了解的基础上,它要求企业做到“比消费者更了解消费者自己”,这也顺应了大数据时代发展的趋势。因为,近些年来,广大人民群众的生活水平逐步提高,生活质量也在逐步改善,久而久之,人们对消费的需要就日趋个性化,对企业产品和购买渠道等也显得更加挑剔。所以,就像前文强调的那样,企业在进行产品设计生产、开展市场营销的所有环节中,必须时时刻刻关注消费者信息的变化,并在此基础上为消费者提供更加个性化的服务,这样才能真正满足个性化消费者的独特需求。

(2)认真实行精准化营销。

客观地说,“精准营销”概念早已出现,很多企业在实践中也尝试过精准营销模式,取得了一定的收效。但其实,对产品真正做到精准营销的企业少之又少,最终导致企业垃圾信息泛滥、企业品牌受损、企业效益下滑。出现上述问题的最根本原因就是企业并没有对潜在消费者群体的数据特征进行详细准确地分析,因此,企业实行的所谓精准营销并没有达到多高的精准度。幸运的是,在大数据时代,企业可以通过大数据方法,对消费者群体的特征真正做到精准分析,为后续的营销策略提供极为可贵的参考资料。另外,企业也可以尝试借助日益流行的新媒体平台,分析互动记录,吸纳粉丝转化为本企业的潜在消费者。当然,这个过程中要注意筛选目标群体,真正实现精准营销。

(3)协调推进线上、线下营销。

近几年来,在大数据时代背景的影响下,很多企业开始采用O2O模式作为营销创新的重要内容,取得了很大成功,为当前和今后营销创新提供了宝贵经验。产品线下营销即是指实体店销售,线上营销即是指电子商务渠道,线上、线下营销之间并非不可调和、非此即彼。事实表明,通过一定时间的博弈和演变,线上、线下营销完全可以在O2O模式下实现整合。简单地说,O2O模式的运行模式就是把线上的消费者通过多种多样的方法途径带入到实体店中,引导消费者在线支付购买实体店中的企业产品,最后依然是在线下获得产品售后服务,这也是大数据时代下互联网技术渗入到人们日常生活的必然结果。

(4)建立健全消费者互动反馈平台。

在传统的商业实践中,不少企业难以做到的一件事情就是如何在所有的客户、粉丝群体中筛选出最有价值、最有潜力、最具稳定性的消费群体。当前,在大数据时代,企业可以做到这一点。比如,企业可以从消费者经常登录的网站内容来判断其消费倾向,来判断其喜欢的产品品牌,在此基础上筛选出重点消费群体。在精准分析上述数据的基础上,就可以精准预测消费者的个性化需求,同时及时为其提供所需的产品和服务。同时,企业应当及时了解消费者的反馈信息,沟通和磋商,据此适时调整产品的营销方案,真正做到随时随地满足客户的消费需求。

参考文献:

[1]张羽。大数据时代中国企业的营销模式创新研究[J]。江苏商论,(13)。

[2]袁征。基于大数据应用的营销策略创新研究[J]。中国经贸导刊:理论版,(14)。

[3]李巍,席小涛。大数据时代营销创新研究的价值、基础与方向[J]。科技管理研究,(18)。

[4]张俊杰,杨利。基于大数据视角的营销组合理论变革与创新[J]。商业时代,2015(6)。

[5]王子奕。大数据时代营销创新方向研究[J]。青年时代,(13)。

篇8:数据挖掘教学方法研究论文

数据挖掘教学方法研究论文

摘要:在本科高年级学生中开设符合学术研究和工业应用热点的进阶课程是十分必要的。以数据挖掘课程为例,本科高年级学生了解并掌握数据挖掘的相关技术,对于其今后的工作、学习不无裨益。着重阐述数据挖掘等进阶课程在本科高年级学生中的教学方法,基于本科高年级学生的实际情况,以及进阶课程的知识体系特点,提出有针对性的教学方法参考,从而提高进阶课程的教学效果。

关键词:数据挖掘;进阶课程;教学方法研究;本科高年级

学生在本科高年级学生中开设数据挖掘等进阶课程是十分必要的,以大数据、数据挖掘为例,其相关技术不仅是当前学术界的研究热点,也是各家企事业单位招聘中重要岗位的要求之一。对于即将攻读硕士或博士学位的学生,对于即将走上工作岗位的学生,了解并掌握一些大数据相关技术,尤其是数据挖掘技术,都是不无裨益的。在目前本科教学中,对于数据挖掘等课程的教学,由于前序课程的要求,往往是放在本科四年级进行。如何激发本科四年级学生在考研,找工作等繁杂事务中的学习兴趣,从而更好地掌握数据挖掘的相关技术是本课程面临的主要挑战,也是所有本科进阶课程所面临的难题之一。

1数据挖掘等进阶课程所面临的问题

1.1进阶课程知识体系的综合性

进阶课程由于其理论与技术的先进性,往往是学术研究的前沿,工业应用的热点,是综合多方面知识的课程。以数据挖掘课程为例,其中包括数据库、机器学习、模式识别、统计、可视化、高性能技术,算法等多方面的知识内容。虽然学生在前期的本科学习中已经掌握了部分相关内容,如数据库、统计、算法等,但对于其他内容如机器学习、人工智能、模式识别、可视化等,有的是与数据挖掘课程同时开设的进阶课程,有的已经是研究生的教学内容。对于进阶课程繁杂的知识体系,应该如何把握广度和深度的关系尤为重要。

1.2进阶课程的教学的目的要求

进阶课程的知识体系的综合性体现在知识点过多、技术特征复杂。从教学效益的角度出发,进阶课程的教学目的是在有限的课时内最大化学生的知识收获。从教学结果的可测度出发,进阶课程的教学需要能够有效验证学生掌握重点知识的.学习成果。1.3本科高年级学生的实际情况本科高年级学生需要处理考研复习,找工作等繁杂事务,往往对于剩余本科阶段的学习不重视,存在得过且过的心态。进阶课程往往是专业选修课程,部分学分已经修满的学生往往放弃这部分课程的学习,一来没有时间,二来怕拖累学分。

2数据挖掘等进阶课程的具体教学方法

进阶课程的教学理念是在有限的课时内,尽可能地提高课程的广度,增加介绍性内容,在授课中着重讲解1~2个关键技术,如在数据挖掘课程中,着重讲解分类中的决策树算法,聚类中的K-Means算法等复杂度一般,应用广泛的重要知识点,并利用实践来检验学习成果。

2.1进阶课程的课堂教学

数据挖掘等进阶课程所涉及的知识点众多,在课堂上则采用演示和讲授相结合的方法,对大部分知识点做广度介绍,而对需要重点掌握知识点具体讲授,结合实践案例及板书。在介绍工业实践案例的过程中,对于具体数据挖掘任务的来龙去脉解释清楚,尤其是对于问题的归纳,数据的处理,算法的选择等步骤,并在不同的知识点的教学中重复介绍和总结数据挖掘的一般性流程,可以加深学生对于数据挖掘的深入理解。对于一些需要记忆的知识点,在课堂上采用随机问答的方式,必要的时候可以在每堂课的开始重复提问,提高学习的效果。

2.2进阶课程的课后教学

对于由于时间限制无法在课上深入讨论的知识点,只能依靠学生在课后自学掌握。本科高年级学生的课后自学的动力不像低年级学生那么充足,可以布置需要动手实践并涵盖相关知识点的课后实践,但尽量降低作业的工程量。鼓励学生利用开源软件和框架,基于提供的数据集,实际解决一些简单的数据挖掘任务,让学生掌握相关算法技术的使用,并对算法有一定的了解。利用学院与大数据相关企业建立的合作关系,在课后通过参观,了解大数据技术在当前企业实践中是如何应用的,激发学生的学习兴趣。

2.3进阶课程的教学效果考察进阶课程的考察不宜采取考试的形式,可以采用大作业的形式。从具体的数据挖掘实践中检验教学的成果,力求是学生在上完本课程后可以解决一些简单的数据挖掘任务,将较复杂的数据挖掘技术的学习留给学生自己。

3结语

数据挖掘是来源于实践的科学,学习完本课程的学生需要真正理解,掌握相关的数据挖掘技术,并能够在实际数据挖掘任务中应用相关算法解决问题。这也对教师的教学水平提出了挑战,并直接与教师的科研水平相关。在具体的教学过程中,发现往往是在讲授实际科研中遇到的问题时,学生的兴趣较大,对于书本上的例子则反映一般。进阶课程在注重教学方法的基础上,对于教师的科研水平提出了新的要求,这也是对于教师科研的反哺,使教学过程变成了教学相长的过程。

参考文献:

[1]孙宇,梁俊斌,钟淑瑛.面向工程的《数据挖掘》课程教学方法探讨[J].现代计算机,2014(13).

[2]蒋盛益,李霞,郑琪.研究性学习和研究性教学的实证研究———以数据挖掘课程为例[J].计算机教育,2014(24).

[3]张晓芳,王芬,黄晓.国内外大数据课程体系与专业建设调查研究[C].2ndInternationalConferenceonEducation,ManagementandSocialScience(ICEMSS2014),2014.

[4]郝洁.《无线传感器网络》课程特点、挑战和解决方案[J].现代计算机,2016(35).

[5]王永红.计算机类专业剖析中课程分析探讨[J].现代计算机,(04).

篇9:大数据时代语言学研究论文

大数据时代语言学研究论文

内容摘要:自维克托迈尔-舍恩伯格及肯尼斯库克耶提出大数据的理念以来,大数据受到了越来越多的关注。大数据在一定层面上可以理解为n个大语料库的结合体。本文从跨专业的视角分析大数据与语言学研究的结合,分析其结合的可能性,为语言学的进一步发展提供新的研究视角。

关键词:大数据;语料库;语言学

在语料库研究已经广泛应用的今天,大数据为语言学家们开辟了新的视野,提供了新的研究方向。

一.大数据的提出及其最初应用

大数据,顾名思义就是大量的数据。自从维克托迈尔-舍恩伯格及肯尼斯库克耶提出这一概念以来,大数据就受到越来越多的关注。首先将这一概念付诸应用的是BI,工业4.0,云计算,物联网,互联网+等领域。在信息化发达的今天,大数据的提出无疑为相关领域的研究提供了新的视野,也在不断推动其发展。

二.语言学的传统研究方法

纵观语言学的研究方法及理论,大多数是以二三十年前提出的转换生成语法,系统功能语法等为基础进行的。虽然研究成果颇丰,但也面临一些问题,首当其冲的就是研究后劲不足。我们都知道,语言学研究理论虽然经典,并且为语言学的研究提供了坚实的基础,在其研究历程中取得了丰硕的成果。然而语言学的经典基础理论大多是二十年前提出的,经过二十多年的研究挖掘,已经逐渐缺乏研究后劲,其理论的研究视阈已被挖掘殆尽,再想用此理论进行语言学方面的深入研究已很难再有新突破,语言学研究急需开辟新的视野,挖掘新的方向。

三.大数据与语言学研究结合的可能性

大数据这一概念的提出,源于信息时代的发展,互联网的普及。网络驱动着人们生活的每一个角落,现实生活中我们每天都在与网络打交道。网络可以快速处理大量数据,从而为我们的生活提供便利。大数据这一新的研究趋势便应运而生了,大数据自诞生之初便与互联网,网络筛选,网络推荐结下了不解之缘,为网络时代的生活办公提供了巨大的便利。鉴于大数据这一新的研究视角为互联网时代带来了巨大便利,我们可以考虑将这一研究方法应用到语言学的研究中,为语言学的研究提供新的视野,开辟新的角度。大数据与语言学研究的结合有如下可能:首先,日趋成熟的语料库研究为大数据时代的到来打下坚实基础。近些年来,运用语料库的方法进行语言学研究已经成为一种新趋势,语言学研究者们开始把目光投向语料库研究,注重用数据说话,将语料库这种研究方法运用到语言学研究的方方面面,并取得了一系列成果。不用于以往的研究方法,语料库注重用数据说话,通过提取的数据的客观发展趋势来描述语言学问题。目前这一方法已经成功的运用到了语言学研究的很多领域,为语言学研究拓展了新的视野。既语料库的研究方法之后,近几年又出现了大数据这一新的研究方法。大数据这一研究方法虽然自诞生之初到现在,其应用领域还集中在云计算,物联网,互联网+等领域,但究其本质而言,大数据与语料库存在很多相似之处,都是运用数据说话,通过数据的发展趋势来解决问题。从一定角度上看,大数据其实就是n个大型语料库的集合。语料库的研究方法已经成功的运用到了语言学研究领域,由此,我们可以推断与语料库一脉相承的大数据的研究方法也可以与语言学很好的结合,并为解决语言学的问题提供新的研究视角。

其次,运用传统的语言学理论研究语言学的方法遇到了越来越多的瓶颈。纵观近些年来语言学的研究,大多数运用的`仍是二十多年前的转换生成语法和系统功能语法作为基础研究理论和方法。经典的语言学理论确实为语言学研究指引了正确的方向,也取得了丰硕的研究成果,解决了语言学研究中的一个个难题。但是,值得关注的是,传统的语言学研究方法和理论的研究切入点已经逐渐被挖掘殆尽,若仍坚持传统研究方法,会使后续研究缺乏研究后劲与动力。同时,传统的语言学研究往往只运用语言学的理论解决语言学的问题,这样给学科的深入发展带来了不小的屏障,阻碍了语言学研究的深入发展,制约了一系列深层次问题的研究和解决,语言学研究亟待寻找新的方法理论,特别是运用跨学科的方法来解决其发展的瓶颈制约。最后,跨学科的研究方法已成为一种必然的趋势。查阅国内外的相关文献,我们不难发现,语言学的研究已经逐渐跳出传统的研究理论与方法,开始寻求新的突破点。继引入语料库这一运用数据来阐述语言学研究问题的方法,并取得了一系列研究成果之后,跨学科的研究方法便开始逐渐被发掘出来,并深入到语言学研究的方方面面,为更好的解决语言学的深层次问题打开了新的研究视野。大数据作为一种以语料库为基础的新生的跨学科研究方法,必然会与语言学研究结下不解之缘,并为语言学研究的深入发展带来新的视觉和发展的源源动力。总之,大数据与语言学的结合必然会成为语言学发展的新趋势,并为语言学研究提供源源不竭的动力。

篇10:大数据时代网络安全研究论文

大数据时代网络安全研究论文

摘要:随着大数据技术的不断发展和应用,对计算机网络安全管理提出了新的挑战,通过对大数据背景下计算机网络安全的分析,介绍了新技术下的网络安全问题,提出了相关的网络安全防范措施,认为在大数据背景下,网络安全管理必须采用多种方法和手段,同时将大数据技术应用于网络安全管理中,构建符合时代需求的网络安全防范体系。

关键词:大数据;网络安全;隐私数据;防护策略

随着计算机在现代信息社会的广泛应用,同时随着智能手机的推广,计算机网络安全越来越得到重视。需要不断采用新技术、新方法来加强对计算机网络的监控管理,采用切实有效的手段和措施来提高计算机网络安全管理水平,确保计算机网络技术能够正常、健康、有序地发展,保证用户信息数据的安全性、私密性,有效地防止非法用户盗取网络保密数据,防止病毒入侵,成为广大计算机用户关心的问题。

1大数据技术

大数据是指在传统的事务处理数据库、数据仓库的基础上,引入海量的多渠道的数据构成的巨大数据体,其含义主要包括两个部分,第一是数据部分,大数据的所包含的数据具有数据规模巨大、数据更新快速、数据类型多样和数据的价值密度低四大特征。第二是数据的处理部分,大数据充分利用云计算、数据挖掘等相关技术,对大数据进行处理,采用Hadoop、MapReduce、SPSS等工具,对数据进行分析,从而得到“有趣”的信息,为管理决策提供服务。

2大数据背景下的网络安全

大数据背景下的数据呈现即时性、海量性、多类型性,多种数据以爆炸式的不断增长,一方面使得对计算机网络的安全管理带来了新的挑战,出现了针对大数据的网络攻击;另一方面由于网络攻击大数据的不断完善,对攻击手段、攻击时间、攻击方式等的大数据分析挖掘,发现网络安全攻击规则,对提高计算机网络的安全带来了新的工具和手段。

2.1用户账号的安全

计算机网络的`广泛应用,用户的很多敏感信息都保留在各个网络节点中,这些信息的安全性正受到极大的挑战。很多的网站存在着各种的漏洞,甚至部分网站存在着后门程序,网络节点对用户的账号信息保护不力,或者保护措施形同虚设,这些信息在大数据的背景下,经过网络节点用户信息的关联分析,往往无所遁形,很容易被非法用户的攻击,造成用户账号数据的泄露。2.2大数据平台的安全在大数据的背景下,各行各业提供了一些资源共享与数据互通的大数据平台,这些平台在带来便利的同时,也为提供了新的攻击目标,非法用户可以通过大数据平台,以很少的代价获得大量的信息,为计算机网络安全带来新的问题。

2.3用户隐私的安全

在大数据背景下,通过大数据的相关技术,分析用户遗留在各个网络站点的相关数据,将会产生严重的隐私泄露,因此对敏感数据的所有权和使用权必须严格界定,否则会很容易地侵犯了用户的隐私权。

3大数据背景下的网络安全防护策略

3.1加强用户账号的安全

目前,计算机用户在不同的网站或者软件客户端注册使用各种不同的用户账号,很多账号相互关联,相互验证。因此,为了提高数据的安全性,提高账号的安全,首先要将账号和密码设置复杂,不容易破解;其次在各个站点或者客户端设置的用户名和密码相互区分,不要设置相似的账号和密码;最后,对账号和密码进行分类,对于不同级别的账户设置相对应的密码,对重要的账号和密码单独管理,定期更换,从而保证账户的安全。

3.2安装防火墙和杀毒软件

为了安全地在大数据背景下使用网络资源,可通过采用防火墙技术与病毒防杀技术来提高计算机网络安全性。所谓防火墙技术,即依据特定的安全标准对网络系统所传输的数据包进行实时检测,若发现可疑的数据包及时报警或者阻止,从而有效将非法的数据包拒之门外,保证计算机用户的数据安全。此外,日常运行中应积极应用杀毒软件与病毒监控软件对病毒进行监控和消除,通过软件的定期升级、定期杀毒扫描等手段,将计算机病毒隐患消除。

3.3新技术的使用

利用大数据的挖掘分析处理,提高入侵检测技术水平,检测监控网络和计算机系统是否被滥用或者入侵的前兆。通过对大数据的数据挖掘和统计分析,形成入侵检测的规则模型,在系统运行过程中,判断系统的动作是否是正常操作,形成主动的监测机制。

3.4使用文件加密和数字签名技术

大数据的背景下,在网络安全中继续采用文件加密技术和数字签名技术,可以有效地提高计算机网络的安全级别。其中文件加密技术是为了防止秘密数据被窃取、被破坏或侦听所采用的主要技术,也为了提高信息系统和数据的安全保密性。数据签名技术的主要目的是对传输中的数据流实行加密。

3.5加强隐私数据的查询权限

在大数据的背景下,通过对海量数据的分析处理,尤其是对计算机用户在各个网站节点遗留的相关联的信息进行数据挖掘,可以得到用户的大量隐私数据,这些隐私数据一旦被恶意使用,会造成极坏的影响,为此大数据技术以及相关的数据处理平台,应限制大数据用户对细节数据的展现,大数据技术的分析查询应该主要集中在统计数据的分析处理上,从而在技术层面上避免大数据技术的滥用。

3.6加强相关的法律法规

随着技术的进步,用户的隐私数据在计算机网络中变得越来越透明,网络安全也就处于更加重要的地位,对于使用计算机网络的各个部门和个人,遵守相关的网络使用规章制度,是实现网络安全的重要环节,同时国家和相关组织应该及时顺应新技术的发展,不断修改完善在大数据背景下计算机网络的法律法规,用法律法规构造出计算机网络安全的最后一道屏障。

4结语

随着大数据、互联网+等计算机新技术和新应用的飞速发展,计算机网络信息的安全问题同时在不断发展变化中,计算机系统以及用户的隐私数据要想得到更好地保护,必须综合采用多种防范策略,同时防范措施也必须跟随新技术的进步而不断完善,不断将大数据等新技术应用于网络安全管理之中,吸取各种防护策略的优点和长处,集众家之精华,逐步建立起符合信息时代潮流的网络信息安全的防护体系。

参考文献:

[1]陈春.基于数据挖掘技术的计算机网络病毒防御分析[J].信息通信,(05).

[2]张传勇.基于大数据时代下的网络安全问题分析[J].网络安全,(24).

[3]闫智,詹静.大数据应用模式及安全风险分析[J].计算机与现代化,2014(08).

[4]徐海军.大数据时代计算机网络安全防范研究[J].信息安全,(02).

[5]苏艳,李田英.计算机网络安全防范措施探讨[J].电脑知识,2015(11).

[6]孙海玲.计算机网络安全隐患及有效维护措施分析[J].信息与电脑(理论版),2012(9).48

篇11:电视台网络建设媒体数据安全研究论文

电视台网络建设媒体数据安全研究论文

1网络媒体数据安全主要经历的转变

1.1完全依赖于网络存储设备,存储设备自身安全作为网络媒体数据安全的保障

在线存储体采用主备控制器机制,存储硬盘采用RAID安全机制;根据策略进行在线存储到近线带库的迁移备份,保障核心媒资数据的多级存储;核心媒体数据网内根据策略或手动定期备份。上述解决方案虽在很大程度上保障了网内媒体数据安全,但存在过分依赖存储硬件设备,问题数据恢复长等问题,严重影响编辑记者前台操作和资源使用时效。

1.2依靠网络技术实现媒体数据的多级存储,并实现对前使用者透明,数据恢复采用软硬件结合的方式完成,存储故障不影响编辑业务

采用本地+网络编辑的方式,媒体数据同时存储于在线存储和编辑机本地,降低网络存储故障对节目编辑的影响;采用媒体数据双读双写,主备在线存储方式,实现媒体数据的双重备份,降低存储故障对编辑记者的影响;建设最小应急系统,核心媒体数据根据策略实现向最小应急系统的备份,数据多级存储,保证核心编辑业务安全。

2媒体数据多级存储备份解决方案下的编辑操作模式

2.1主备双存储体:编辑站点双读双写

正常工作时:双读双写。在主备存储都正常时,上层应用站点在文件写入时同步写入主备存储体,实现数据镜像同步备份;在读取时,上层应用站点,选择主存储路径进行优先读取。主存储故障时:延迟平滑切换到备存储,进行单路读写。在系统运行过程中,如果主存储瘫痪,上层所有应用站点平滑切换到备路存储路径进行读写,无切换时间,用户毫无感觉,实现真正的0秒透明切换。主存储恢复后:策略控制中心,调度后台同步服务器,实现数据主备存储同步。该功能的实现得益于两点:一是由于素材路径存在双份,在正常时数据完全主备镜像;二是策略控制中心,实时监控收集存储状态,如主存储的故障信息。工作站读写访问过程中,由于所有文件I/O通过IDA引擎,获知策略中心的存储故障状态,因此直接指向备份存储进行实时访问,访问过程无间断,非常平滑。

2.2单在线存储体:“本地+网络”双读双写策略,实现媒体数据双路存储

编辑站点本地存储作为网络存储备份使用,优先编辑网络存储数据。网络和本地的文件路径,作为该素材的主备路径记录在资源上。采用双读双写模式,采集、打包等生成的视音频素材在网络和本地上都存在;同时对于字幕、故事板以及字幕中的图片也都在网络和本地磁盘上同时存在。在双读双写模式下,用户所生成的资源在本地都有一个中码流的'版本,通过双读双写机制,用户可以直接调用网络的版本进行编辑。如网络故障用户可直接切换到本地,保证编辑业务连续不间断。在网络数据库中断的情况下,需要手动切换数据库连接,将系统连接到本地数据库上。系统软件可提供快捷的一键切换功能,将网路数据库连接切换到本地数据库,在网络数据库断开的情况下继续进行节目的编辑。优点:双读双写保证系统媒体数据安全,优先编辑网络存储,实现媒体数据网络共享,编辑记者可在任意网内节目编辑站点完成节目编辑。缺点:网络存储读写性能要求较高,系统建设在存储领域的投资比重较大。网络存储作为编辑站点本地存储的备份,优先编辑本地存储数据。媒体数据在网络存储体和本机存储体实现冗余备份,优先读取本地存储路径。这种模式充分利用了单机的稳定性和安全性,同时网络化的实时备份存储又完全能实现网络化的资源共享以及关键数据的多重备份。在编辑过程中,采用本地编辑为主,网络编辑为备份的编辑方式,正常编辑模式下各站点直接读取本地素材进行节目编辑,后台打包调用网络高码流文件进行合成的编辑方式。对于上载节目资源的工作站A在被占用的情况下,用户需要到工作站B进行编辑,此时通过同步资源的方式到本地,用户在打开故事板和打开素材的情况下,系统自动判定当前资源不在本地存储路径,完成从网络到本地的同步迁移,编辑人员可以进行编辑使用。优点:双读双写保证系统媒体数据安全,优先编辑站点本地数据,大大减低对存储和网络的依赖,系统建设存储领域投资较低。缺点:鉴于采用本地编辑的模式,如编辑人员更换站点,需重新将网络数据同步到本次,有一定时效性的损耗。

2.3最小应急备份系统:实现核心媒体数据备份

系统在备份时,会同时进行物理文件和元数据的备份,以确保一旦主网出现问题,工作站点可以直接完全脱离主网且接入应急系统中使用。只需退出非编软件,重新连接最小应急备份系统的数据库,即可继续完成工作。节目采集及合成时可以自动写入最小应急备份系统,实现多存储区域数据完全一致,写入数据时不会占用过多的网络带宽资源,而且不影响系统的正常运转;当主网存储区数据删除时,最小应急备份区能根据数据的变化,自动对数据进行删除;当主存储区出现故障的时候,能够迅速的切换到最小应急备份区上,使用最小应急备份数据;备份策略可以按照栏目、用户等方式进行,根据实际需求选择性进行备份。优点:最小应急备份系统可以作为全网应急解决方案,作为核心业务的终极保证。此外应急系统可作为外场系统使用,通过快速拆分,便捷的完成外场系统的远程移动。缺点:最小应急备份系统需要台内额外投资建设,将引入部分投资增加。

3系统主备存储不同选型下的编辑操作模式

网络系统建设过程中,对于核心存储设备的选择将决定媒体数据安全策略。如何在数据安全和台内投资间实现平衡是网络设计必须要考虑的问题。

3.1系统选用相同性能与容量的存储

鉴于主备存储体性能容量完全相同,网络系统服务的所有栏目均可选用同样的媒体数据安全策略,网络中媒体数据全部主备两份,即所有站点全部支持双读双写。系统任意存储故障均不影响编辑业务,节目编辑和系统数据实现双重保障。优点:业务安全级别高。缺点:台内投资相对较大,存储领域投资需要考虑。

3.2系统选用不同性能与相同容量的存储

鉴于主备存储体仅容量相同,系统主存储体可满足网内所有站点的读写需求,备存储体仅能支持部分站点的读写,媒体数据通过策略备份的方式实现主备双重备份。该种情况下,仅能保证网内核心栏目站点的双读双写和媒体数据实时双备份需求,即网络故障情况下网内部分编辑业务需中断,或全网转换为低码流编辑,高码审核打包的操作模式,方能实现全部业务不中断。优点:业务安全级较高。缺点:台内投资相对较大低,网络故障将导致部分编辑业务中断或全网采用低码流编辑,对编辑业务有较大影响。鉴于主备存储体性能与容量均不相同,系统主存储体可满足网内所有站点的读写需求,备存储体仅能支持部分站点的读写。该种情况下,仅能保证网内核心栏目站点的双读双写和媒体数据实时双备份需求,非核心栏目仅能读取主存储,媒体数据不再备份。即网络故障情况下网内部分编辑业务需求中断。优点:核心栏目业务安全级高,非核心栏目安全级别较低。缺点:台内投资相对较低,网络故障将导致部分编辑业务中断,对编辑业务有较大影响。

4结束语

当前网络设计,媒体数据安全需重点考虑,先进安全技术的应用将大大降低网络存储故障对媒体数据和编辑业务的影响。各大电视台在系统设计过程中可综合考虑自身业务特点和系统建设投资,选择适合台内特点的媒体数据安全解决方案。

篇12:大数据环境下的电子商务安全研究论文

电子商务安全从整体上看可以分为计算机网络安全与商务交易安全两部分内容。因此,电子商务安全不仅是一个网络安全问题,还是一个商务安全问题。在大数据环境下,研究电子商务安全问题已经成为了一个迫切的学术任务。

1.大数据对电子商务的影响

1.1大数据带来的风险与机遇

不管是即时通信工具还是社交网络等,所有方面都会涉及到海量的数据,这使得大数据环境下安全形势与传统安全相比,变得更加复杂。大数据为传统安全带来的挑战表现在以下几点:

(1)大数据对数据的完整性与可用性带来了冲击,在防止数据丢失、被窃取以及被破坏的问题上存在着一定的难度,以往的安全工具已经满足不了大数据环境下的需求。

(2)数据中包括大量的企业数据、用户数据、个人数据以及各种行为数据等,这些数据都是集中储存,提高了数据泄露的概率,倘若这些数据被滥用,将会对企业的信息安全带来不利于影响。另一方面,大数据也促进者信息安全的发展。大数据为安全分析提供了新的可能,对于海量数据的分析能够促进信息安全服务提供商更好的规划网络异常行为,从而找到数据中的风险[1]。对实时安全与商务数据结合在一起的数据展开预防性研究,能够识别攻击的性质,防止被非法者入侵。网络被攻击后会留下种种痕迹,这些痕迹都以数据的方式隐藏在大数据中,运用大数据技术整合计算与处理资源能够更有效地应对信息安全威胁,促进找到攻击的源头。

1.2大数据对电子商务发展的影响

根据有关报告显示,从2012年至2020年,我国的数据将增加数十倍,数据将从346艾字节到8.6万亿千兆字节。这些数据主要来自不断增长的`互联网使用数据、社交网络、智能手机以及移动电视等。在互联网使用数据中最具有发展前景以及研究价值的领域体现在电子商务方面。淘宝每天新增的交易数据有10TB之多,eBay分析平台每天处理数据高大100PB,超过了许多交易所全天的数据处理量。在海量的交互数据中隐藏着重要的数据价值,数据已经成为所有经济领域的重要构成部分。大数据渐渐地成为了电子商务企业的重要部分,它也是体现公司价值的关键因素[2]。通过对数据展开收集、整合与分析,电子商务企业能够挖掘出新的商机,使得企业在激烈的竞争中立于不败之地。

2.大数据在电子商务中的应用

信息时代的主要特征就是数据与信息的快速发展与快速传播。这方面在电子商务领域也实现了深刻的体现。随着电子商务在各行和业尤其是零售行业的快速发展,并发访问量迅速增加,并且数据的类型也呈现出了复杂多变的发展趋势。大数据的核心价值就是细致地分析与利用信息。互联网中融入了由用户产生数据的模式,此模式提供了低成本、实时性强的数据。然而数据的真实性与可靠性还有待提高。电子商务与以往的销售方式相比具有数据的可获得性。在以往的销售过程中,企业很难掌握顾客购买的源头,倘若现在不购买以后是否会购买等问题,而在电子商务中能够掌握到顾客购买、收藏以及浏览等行为。通过这些信息能够促进企业更好地认识自己的产品,了解到自身在销售中存在的问题,从而可以为客户提供更加优质的服务。例如,在人们在逛淘宝时,会产生一些购买、浏览、收藏以及加入购物车等行为,这些行为都能够在服务器中留下痕迹[3]。这样可以帮助卖家去推测顾客的心理,比如是由于商品价格高、商品描述不完善以及缺货等问题。因此,企业就可以通过降价促销、上新品等策略去应对,帮助企业实现销售,提高利润。此外,在电子商务中企业还可以分析得出顾客的购买习惯等,从而依据顾客的购买习惯适当提醒顾客购买。

3.大数据环境下的电子商务安全问题

3.1电子商务的安全需求

目前,全球的各行各业都涉及了电子商务,然而所有的企业都面临着一个共同的问题,即电子商务的安全问题。因此,应当采用先进的安全技术,对网上的数据与信息的收发进行身份确认,从而保证双方信息传递的安全性、完整性等。

3.2大数据环境下的电子商务安全结构

在大数据环境中可以通过网络的安全基础设施GSI建立电子商务平台,可以提供共享的电子交易市场。各商家在自己的网站展现货物资源,货物资源由资源代理管理,形成局部的管理局,有规定的交易安全策略以及货物名称。在这个基础建立一个虚拟的电子交易市场,提供虚拟的货物资源以及全局安全侧裂,由交易代理管理交易。

3.3大数据环境中电子商务所面临的问题

大数据促进了电子商务的发展,然而同样也存在着许多问题,主要包括以下几个方面:(1)用户数据的安全与隐私问题。数据的开放性是大数据环境的特征之一,也是大数据实现个性化服务的重要因素,然而开放的同时应当保护数据的安全性与隐私性。用户在网络上的所有信息都可能被截取,并且用户本人可能不知道。(2)IT技术问题。电子商务大致包括“电子”与“商务”两部分,其中电子指的是计算机技术与网络技术,商务是其核心内容,电子商务倘若没有技术的支撑很难实现商务活动。然而大数据的数据量大等特点使得传统的关系数据库很难达到要求,并且没有合适的存储技术与分析处理技术。

4.结束语

在大数据环境下,数据是企业的资源也是企业的重要财产。大数据为电子商务企业带来了准确的营销定位以及崭新的商务模式,并且也带来了许多问题。安全问题是所有企业都十分关注的问题,因此相关技术人员应当深入研究出解决安全问题的方法,从而促进电子商务企业能够更好的发展。

参考文献:

[1]胡亚慧,李石君,余伟.大数据环境下的电子商务商品实体同一性识别.[J].计算机研究与发展,2015,(08),1794-1805

[2]杜艳绥.云计算环境下的电子商务安全问题及对策.[J].中国管理信息化,2015,(02),156

[3]马宗亚,张会彦,郝国森.云计算模式下的电子商务安全研究.[J].经营管理者,2014,(09),234

数据挖掘技术的研究论文

以循环经济理念发展珠三角产业集群研究论文

数据挖掘论文

数据科学专业实验课程改革研究论文

农业产业集群发展SWOT分析论文

建设工程安全管理机制研究论文

铁路工程项目安全管理研究论文

数据安全管理制度范本

企业内部数据安全管理制度

社保数据安全自查报告

《集群存储系统数据安全研究论文(通用12篇).doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式

点击下载本文文档