数据完整性

【www.shanpow.com--科学/班会/信息】

第一篇数据完整性:数据的完整性概述

存储在数据库中的所有数据值均正确的状态。如果数据库中存储有不正确的数据值，则该数据库称为已丧失数据完整性。
数据库中的数据是从外界输入的，而数据的输入由于种种原因，会发生输入无效或错误信息。保证输入的数据符合规定，成为了数据库系统，尤其是多用户的关系数据库系统首要关注的问题。数据完整性因此而提出。本章将讲述数据完整性的概念及其在SQL Server 中的实现方法。
1．数据完整性： 什么是数据的完整性？ 数据完整性（Data Integrity）是指数据的精确性（Accuracy） 和可靠性（Reliability）。它是应防止数据库中存在不符合语义规定的数据和防止因错误信息的输入输出造成无效操作或错误信息而提出的。
数据完整性分为四类：实体完整性（Entity Integrity）、域完整性（Domain Integrity）、参照完整性（Referential Integrity）、用户定义的完整性（User-definedIntegrity）。
 2．实体完整性： 什么是实体完整性？ 实体完整性规定表的每一行在表中是惟一的实体，不能出现重复的行。表中定义的UNIQUE PRIMARYKEY 和IDENTITY 约束就是实体完整性的体现。
3．域完整性： 域完整性是指数据库表中的列必须满足某种特定的数据类型或约束。其中约束又包括取值范围、精度等规定。表中的CHECK、FOREIGN KEY 约束和DEFAULT、 NOT NULL定义都属于域完整性的范畴。
4．引用完整性： 主键与外键必须一致。
5．参照完整性： 参照完整性是指两个表的主关键字和外关键字的数据应对应一致。它确保了有主关键字的表中对应其它表的外关键字的行存在，即保证了表之间的数据的一致性，防止了数据丢失或无意义的数据在数据库中扩散。参照完整性是建立在外关键字和主关键字之间或外关键字和惟一性关键字之间的关系上的。在SQL Server 中，参照完整性作用表现在如下几个方面： 禁止在从表中插入包含主表中不存在的关键字的数据行；禁止会导致从表中的相应值孤立的主表中的外关键字值改变；禁止删除在从表中的有对应记录的主表记录。
 6．用户定义完整性： 不同的关系数据库系统根据其应用环境的不同，往往还需要一些特殊的约束条件。用户定义的完整性即是针对某个特定关系数据库的约束条件，它反映某一具体应用所涉及的数据必须满足的语义要求。SQL Server 提供了定义和检验这类完整性的机制，以便用统一的系统方法来处理它们，而不是用应用程序来承担这一功能。其它的完整性类型都支持用户定义的完整性。 总结：SQL Server 提供了一些工具来帮助用户实现数据完整性，其中最主要的是：规则（Rule）、缺省值（Default）、约束（Constraint）和触发器（Trigger）。

第二篇数据完整性:数据完整性，本就是GMP的最基本要求

作者：蒲公英
本文为蒲公英原创文章，转载请注明来源和作者。
这个周末，受邀参加了上海东富龙科技股份有限公司在武汉举办的客户技术交流会，收获非常多，看到东富龙致力于制药工业系统解决方案的规划和策略，内心由衷的为他们感到高兴，也衷心的祝愿和期待东富龙能够走向世界更大的舞台，早日实现制药工业4.0的梦想。
席间，认真听了吴军老师做的主题为“数据完整性的来龙去脉”的演讲，故与其交流，并索取了课件，得到吴老师本人授权，想分享给蒲公英论坛的广大蒲友，希望对数据完整性对概念有一个清晰、理性的认识。
数据完整性，是2015年制药圈的热词之一，从什么时候开始？发热的源头我并不知晓，但本着学习的心态，也查阅了一些关于数据完整性的一些来龙去脉。
1、关于“dataintegrity ”的翻译思考？
· Data：
– Information derived or obtained from raw data (e.g. a reportedanalytical result)
– 从原始数据获得或衍生的信息（例如，所报告的检验结果）
· Integrity：
– The quality of being honest and having strong moral principles（牛津中阶英汉双解词典）
– 正直；诚实
– 强调可信性和诚信性
关于data integrity 究竟应该如何翻译？也曾经引发过讨论，到底叫数据完整性？数据真实性？数据可信性？其实无论什么叫法并不重要，重要的是如何建立一个有效的证据链，保证其记录的完整准确。当然，完整准确的首要前提是真实，如果真实都做不到，何谈完整可信？
数据完整性这个概念，其实在中国GMP中早已有相关要求，也是基本要求：
《药品管理法》第十条：除中药饮片的炮制外，药品必须按照国家药品标准和国务院药品监督管理部门批准的生产工艺进行生产，生产记录必须完整准确。药品生产企业改变影响药品质量的生产工艺的，必须报原批准部门审核批准。
《2010GMP》第一百六十五条记录应留有数据填写的足够空格。记录应及时填写，内容真实，字迹清晰、易读，不易擦掉。
第一百六十六条应尽可能采用生产和检验设备自动打印的记录、图谱和曲线图等，并标明产品或样品的名称、批号和记录设备的信息，操作人应签注姓名和日期。
第一百六十七条记录应保持清洁，不得撕毁和任意涂改。记录填写的任何更改都应签注姓名和日期，并使原有信息仍清晰可辨，必要时，应说明更改的理由。记录如需重新誊写，则原有记录不得销毁，而应作为重新誊写记录的附件保存。
第一百六十八条与本规范有关的每项活动均应有记录，所有记录至少应保存至药品有效期后一年，确认和验证、稳定性考察的记录和报告等重要文件应长期保存，以保证产品生产、质量控制和质量保证等活动可以追溯。
第一百六十九条如使用电子数据处理系统、照相技术或其它可靠方式记录数据资料，应有所用系统的详细规程；记录的准确性应经过核对。如果使用电子数据处理系统，只有受权人员方可通过计算机输入或更改数据，更改和删除情况应有记录；应使用密码或其它方式来限制数据系统的登录；关键数据输入后，应由他人独立进行复核。用电子方法保存的批记录，应采用磁带、缩微胶卷、纸质副本或其它方法进行备份，以确保记录的安全，且数据资料在保存期内应便于查阅。
第二百二十一条　质量控制实验室的文件应当符合第八章的原则，并符合下列要求：
（一）质量控制实验室应当至少有下列详细文件：1. 质量标准；2. 取样操作规程和记录；3. 检验操作规程和记录（包括检验记录或实验室工作记事簿）；4. 检验报告或证书；5. 必要的环境监测操作规程、记录和报告；6. 必要的检验方法验证报告和记录；7.仪器校准和设备使用、清洁、维护的操作规程及记录。
（二）每批药品的检验记录应当包括中间产品、待包装产品和成品的质量检验记录，可追溯该批药品所有相关的质量检验情况。
（三）宜采用便于趋势分析的方法保存某些数据（如检验数据、环境监测数据、制药用水的微生物监测数据）。
（四）除与批记录相关的资料信息外，还应保存其它原始资料或记录，以方便查阅。
 
对比一下药品管理法，2010版gmp，其实不难看出，所谓的“数据完整性”并不是一个什么新的概念，而是一直以来都是存在，都是这么要求的，这也是gmp的基本要求。只是不知是何原因？最近炒的好像一个全新的概念和理念一样。
作为一个制药企业，如何实施“数据完整性”？
1、完善数据与记录管理的技术基础；
2、完善记录管理程序和文件；
3、建立计算机化系统管理系统；
4、培养员工良好的gmp习惯和行为
5、建立良好的公司质量文化和诚信文化
6、取得老板决策层的支持
当然，一切，都是要基于“诚信”生产药品为基础。遵循GMP最基本的原则：有章可循、照章办事、有据可查。

第三篇数据完整性:数据完整性

数据完整性，其实就是那么回事引言近期，大量关于电子记录的警告信、检查报告横空出世，将电子数据完整性问题推到风口浪尖，一时成为行业热门话题。给人的感觉似乎是有了电子记录才出现了数据完整性的问题，才会有这么多警告信和检查报告，仿佛纸质记录时代整个行业没有数据完整性问题。而事实恰恰相反，数据完整性问题在纸质记录时期更严重，只是因为造假成本和技术难度又相对较低，在有限的检查时间内更难以发现问题而已，问题被掩盖着。当前，在新的手段（电子记录方式）下，监管方更容易发现隐藏在数据后面的造假行为而已，且监管方也有意加强这方面的检查，所以问题才一下子被大量集中暴露出来了。那么，制药企业应注意哪些方面来保证数据完整性呢？纸质记录与电子记录有何异同？本文试图从对记录完整性诉求的本身，并以大家都理解的传统纸质记录为出发点，用非IT语言来探讨电子记录确认的一些问题。正文【大侠】张毅骅 2015-4-10 14:19:22众所周知，所有的内部内审、客户外审、自愿或强制性的第三方认证审核都要求被审核组织具备一定的硬件水平（厂房设施、仪器设备）以及能力相当的人员和软件系统。能否提供各种客观证据证明组织的运行符合相关法规是通过审核的关键。通常，信息和数据通过大量的各种原始记录呈现，因此要想确保数据和信息成为有用的客观证据，就必须及时、完整、可靠的填写记录，将真实信息和数据填入相关记录中。审核人员通过审核这些数据和信息即可观察出组织的日常管理和执行水平，并得出企业是否满足审核标准要求的结论。数据完整性的要求概括起来就是ALCOA+CCEA原则，见下表。下文是2010版GMP正文对于文件和记录的一些规定。2010版GMP对数据完整性的需求（各国GMP的需求本质相同，本文仅以2010版GMP为例）：第一百五十八条良好的文件是质量保证系统的基本要素。本规范所指的文件包括质量标准、工艺规程、操作规程、记录、报告等。……第一百五十九条应建立文件的起草、修订、审核、批准、替换或撤销、复制、保管和销毁等管理制度，并有相应的文件分发、撤销、复制、销毁的记录。第一百六十三条原版文件复制时，不得产生任何差错；复制的文件应清晰可辨。第一百六十五条记录应留有数据填写的足够空格。记录应及时填写，内容真实，字迹清晰、易读，不易擦掉。第一百六十六条应尽可能采用生产和检验设备自动打印的记录、图谱和曲线图等，并标明产品或样品的名称、批号和记录设备的信息，操作人应签注姓名和日期。第一百六十七条记录应保持清洁，不得撕毁和任意涂改。记录填写的任何更改都应签注姓名和日期，并使原有信息仍清晰可辨，必要时，应说明更改的理由。记录如需重新誊写，则原有记录不得销毁，而应作为重新誊写记录的附件保存。第一百六十八条与本规范有关的每项活动均应有记录，所有记录至少应保存至药品有效期后一年，确认和验证、稳定性考察的记录和报告等重要文件应长期保存，以保证产品生产、质量控制和质量保证等活动可以追溯。每批药品应有批记录，包括批生产记录、批包装记录、批检验记录和药品放行审核记录等与本批产品有关的记录和文件。批记录应由质量管理部门负责管理。第一百六十九条如使用电子数据处理系统、照相技术或其它可靠方式记录数据资料，应有所用系统的详细规程；记录的准确性应经过核对。如果使用电子数据处理系统，只有受权人员方可通过计算机输入或更改数据，更改和删除情况应有记录；应使用密码或其它方式来限制数据系统的登录；关键数据输入后，应由他人独立进行复核。用电子方法保存的批记录，应采用磁带、缩微胶卷、纸质副本或其它方法进行备份，以确保记录的安全，且数据资料在保存期内应便于查阅。可见，在GMP规定中无论是系统自动生成的电子记录还是手写的纸质记录都属于GMP要求的记录，并且都从属于GMP文件管理规定的范畴。GMP对于记录要求的核心内容是“记录你所做的”，即真实记录发生过的事情，并且记录应该及时，重要记录需要由他人复核确认；需要更改记录时应按要求进行（理由、签名、日期）更改并保留原信息清晰可辨；记录应按照要求的频率进行，并保存至要求的期限。以上原则是GMP对于记录的总要求，适用于纸质记录，同样也适用于电子记录。“GMP验证及自动化”微信号——您的口袋工具书下文将具体在数据生成/录入、修改、储存、检索、备份、恢复、输出，以及系统需求等方面讲述电子记录和纸质记录在满足以上GMP记录要求的异同点，并最终对二者的优缺点进行对比。1数据生成/录入纸质记录通过质量管理体系建立时创建的各种表格来实现对数据的录入。这和电子记录的系统架构类似，搭好架构就决定了我们可以对哪些数据实现录入。既然要录入，就需要保证录入的及时性，真实性，所以GMP要求应及时填写记录，记录所做的内容，并签署操作者姓名和日期（为了保证没有被人冒名顶替，公司一般会收集所有人员的签名形成一张签名列表，一旦对某一记录中的签名产生怀疑，可拿签名列表来进行核对，但笔迹的模仿对于没有专门进行笔迹鉴定训练的人来说有时还是很难鉴别的，所以电子记录的用户唯一性生物或物理识别技术更有优势），从而实现了对数据录入的人、内容和日期的唯一的可追溯性线索。而对于数据生成/录入，在计算机化系统上呈现的是电子记录和时间戳。每个记录生成时都会生成一个时间戳来实现对数据生成的时间的记录，同时会生成操作者的姓名和操作内容的记录（可能只是点击一个确认键的操作）。这就是为何要对计算机化系统进行用户权限和登陆权限及待机延时退出等功能确认。只有这样能保证所生成的每一条电子记录都能追溯到何时，何人，对系统进行了何种操作。从及时性上来说，电子记录一般精确到秒，比人工纸质录入具有更大的优势，更适用于大数据时代的需求。2数据修改对于数据的修改，填写纸质记录如出现错误需要修改时，一般要求填写修改人姓名，日期，修改后内容，修改原因，以及对原数据画双横线表示删除，但要保持原数据的清晰可见。电子记录修改时同样有这个要求，每次修改时要求系统形成一条修改人，修改时间，修改原因，修改前后的参数的记录，即我们通常所说的审计追踪功能。3数据存储、检索、备份、恢复、输出GMP规定所有的纸质记录都应该保存一定的时间，批记录应至少保留到生产结束后1年（不同品种要求保存期限不一）。对于纸质记录来说，每张纸都是一张唯一的记录，管理严格的公司会对每张记录进行唯一性编号，在进行检索时自然就形成了可追溯性。每张纸上体现了记录的所有内容，操作者，操作内容，日期，修改操作等。同样是记录，电子记录自然也需要满足此要求，甚至更长。在这些时间段内，同一个系统或数据库内会储存大量的数据。电子记录为了实现可追溯性就也要满足这些条件，所以要求每次存档都能形成按照时间顺序存储的唯一的不可编辑的文档。因此需要通过时间戳，用户权限控制，形成不可编辑记录格式。为了安全和集中管理，所有的数据都应该收集起来存储和备份到操作现场以外的一个地方（文件档案室、备份服务器等）。为了保证存储的数据可用，还要按照一定的规则对数据进行分门别类，以便于检索。另外，为了以防系统崩溃，备份的数据应该还可以恢复。这一点纸质记录不需要，因为现场记录纸损坏只需要重新申领新的空白记录并保留原损坏记录即可。因此需要对计算机化系统进行数据存储、检索、备份和恢复等方面的功能确认，如需要将电子记录变成纸质报告打印出来，还需要对其进行报告打印功能确认，确保打印过程是受控的，在打印过程中无任何影响数据完整性的问题产生。4系统需求纸质记录的记录系统是人，要对人员进行培训和资格确认，确保其填写的记录符合规定，对于一些关键操作，为避免主观造假和客观错误，实行双人复核制度。在公司内部有个人自检、部门内双人复核、QA部门的监督复核立体监督审核制度保证纸质记录填写、存储、检索系统的稳定、一致。计算机化系统是电子记录的执行系统，当然还需要借助于人，但人的活动已经被限制到一个很低的水平。为了保证系统的稳定，我们需要对其安全启停、输入边界、控制和操作功能、报警和联锁功能、仪表校准、各种操作和维护SOPs、断电与恢复、用户权限、审计追踪、报告打印、数据存储/备份/检索/恢复等功能进行确认，以确保系统稳定。5优缺点对比纸质优势：简单，投入少；易于理解和发现问题；更稳定，没有发生系统崩溃的风险；缺点：纸质记录的记录在收集和整理时参照少，数据之间相对独立，形成了大量的信息孤岛，而且纸质记录的量也相对少很多，很难实现大数据量，高频率，多采样点数据的收集和记录，因此也更易于造假和出错而不被发现；存储量有限；需要大量纸张，不环保。电子优势：及时性强，处理数据量大，保存和检索方便；易于将大量孤立的数据联系起来形成信息流，便于对数据进行有效的分析和处理，使数据间形成多维度参照，数据不再相对独立；部门间，工序间，产品生命周期各阶段，生产与检验，以及仓库之间形成了连贯的数据流，从而发掘数据的价值。缺点：成本高，技术难度大，验证成本高，难度大，有崩溃/黑客侵入风险。“GMP验证及自动化”微信号——您的口袋工具书结论与思考ALCOA+CCEA原则不仅是GMP对记录完整性的要求，也是所有符合性审核对记录完整性的基本要求，是信用的基石。由上文可得，ALCOA+CCEA原则实际上就是对记录生成/录入、修改、存储、检索、备份、恢复和输出等数据生命周期内的所有操作的要求。如果这些操作满足了以上原则，记录的完整性就满足要求了。对于检查人员来说，电子记录能更方便的进行更深入的数据检查，更容易发现问题。当前的GMP审核大多是抽查式的，所以总难免有遗漏。那么在前后两次检查间隔的时间段内，企业的数据要怎么样才可信呢，就是要企业在主观上不造假，在客观上难造假（技术上、经济上、政策上都难）。所以现在FDA在向智能监管过渡，搞质量量度等基于风险的新监管措施。其他监管机构也在积极跟进，整个国际监管环境都在发生变化。CFDA也不例外，2015年继续加大飞行检查的力度，不断查处造假企业和行为。制药行业正从传统的机械化，半机械化向自动化，信息化过渡阶段。目前还处在解决数据存储、真实性、完整性等问题阶段。将来信息化和自动化两化融合实施到一定程度，要解决的主要问题就变成了如何使信息孤岛连在一起，实现数据的共享和交换，从而为数据分析处理和挖掘数据价值提供便利，而那才是真正的大数据时代。制药企业要实现BI(商业智能)和合规性的目的，一方面是为生存资格获取的需要，另一方面是在此基础上获得更好生存条件，创造更多利润的需要。因此，时代必然会驱使整个行业由纸质记录向电子记录过渡。只有积极应对，赶上时代发展的需要才能越走越好，越走越远。 
 

本文来源：https://www.shanpow.com/jx/411914/