论“直采直抄”的实现方式及作用影响
2014-11-19郑洋弋才勇
郑洋 弋才勇
摘 要 本文将针对营销系统与采集系统如何实现数据“直采直抄”的方式及影响作深入讨论。
【关键词】营销系统 采集系统 直采直抄
1 “直采直抄”实现方式
1.1 数据交互
营销系统与采集系统之间采用Webservice、Webservice+生成库和直连生产库三种方式相结合，实现接口信息的交互与共享。
其中单用webservice直接交互的是数据量较小，只起到通知采集系统的作用。采集系统收到通知之后在采集系统生产库中查询相关营销业务数据（该数据已通过OGG的方式准实时同步到采集系统生产库）。
采用webservice+营销中间库的方式一般处理数据量较大的数据量。营销系统通知采集系统之后，采集系统通过相关业务数据直接从营销系统生产库中获取数据。
采用直连的方式主要借助OGG软件将营销系统生产库的基础档案数据同步到采集系统的生产库中，并且将采集到的抄表数据直接同步到营销系统生产库中。
1.2 业务交互
这里指的业务交互主要分为抄表数据同步、定时档案数据同步、实时业务流程数据同步三部分进行描述。
1.2.1 抄表数据同步
不使用中间库的情况下，考虑到营销系统和采集系统双方系统压力问题，采用OGG从采集系统将抄表数据实时同步到营销系统。
采集系统按营销系统抄表数据表格式准备抄表数据，营销系统保留3天抄表数据。
1.2.2 定时档案数据同步
需定时同步的档案数据信息包括“营销基础档案”和“非实时性同步的业务流程数据信息”。在采集系统建立一套和营销系统相同表结构的数模，通过OGG将营销系统档案实时同步到采集系统。
营销系统每日定时将“非实时性同步的业务流程”的工作单号、工单类型写入到营销系统的记录变更表，用于采集系统定时档案更新同步。
1.2.3 实时业务流程数据同步
营销系统和采集系统之间，新装类计量业扩工单和换表类计量业扩工单使用数据源直接读取对方生产库数据库获取数据。
所有涉及更换变比及综合倍率、采集终端拆除、采集流程注销的工单，通过WebService实时交互。
2 “直采直抄”的作用及影响
挑选两台P750小型机作为本次论证的硬件服务器，背景为拥有500万人口的省份，在使用原有“中间库”模式和升级为“直采直抄”后，从系统负载、系统底层业务数据交互及提升效果三个方面进行比对，得出如下评价。
2.1 系统负载
系统硬件负载稳定，采集数据同步效率提升一倍。
（1）改造后虽然减少了中间库这个中转“桥梁”，但营销系统与采集系统的数据库负载并没有明显的升高，抽取改造后任意两日的数据，发现CPU负载均没有超过53%，日均值不超过30%，未对数据库造成压力，具体如图1所示。
（2）作为自动化抄表核算的数据支撑，以前由中间库完成的抄表数据导入至营销系统数据库，总时长需要4小时左右，在实现“直采直抄”之后，通过观察验证，同样量级的数据由采集系统数据库直接传送至营销系统数据库时，时间仅需2小时左右。
2.2 系统底层业务数据交互
系统底层业务数据交互方式优化，效率提升明显。
改动后，针对档案同步流程、底层数据库操作、档案一致性进行了优化及提升，缩短采集每日抄表及补抄时间，提升采集应用率、提升自动化抄表核算率等方面成效显著。
档案同步流程优化、效率提高。
（1）用电信息采集系统获取档案业务，由原先的营销业务应用系统同步到采集中间库，采集系统取走转化使用，变更为采集系统通过OGG的方式对营销系统提供的用户档案变化进行每日更新工作。
（2）营销系统获取采集数据业务，由原先的采集系统将采集数据放入中间库，营销业务系统获取中间库数据进行抄表，变更为采集系统开放抄表数据表单，由营销系统直接获取。
（3）采用多线程同步机制，先将所需的营销档案表进行分类，分为表计、用户及电网结构，再同时进行档案同步，取代之前一个档案表读取同步，再进行下一张档案表的读取同步工作。
（4）采集系统同步营销系统档案环节前增加校验。用电信息采集系统在本次改造工作中，为防止因营销业务应用系统数据库中的档案数据不完整，同步到采集系统后，造成无法采集或者统计有出入等情况，针对营销业务应用系统接口中的档案在同步档案环节前增加了多处校验，包括字段校验及关联关系校验，将不符合采集系统要求的档案隔离在采集系统之外，保证采集系统档案的准确性与一致性，并实时反馈营销业务系统档案同步结果，便于用户及时处理因档案不完整等原因造成档案同步失败的情况。
多举措提升两系统档案一致性。
特别提醒，营销系统与采集系统需提前完成档案数据互相比对工作，主要目的是清理垃圾数据。
2.3 提升效果
应用提升成效明显。
2.3.1 大幅缩短营销业务应用系统采集每日抄表及补抄时间
原营销业务应用系统对580万户、2900万条抄表数据获取需用时4个小时左右，改造后采集系统开放抄表数据表单，由营销系统直接获取，耗时在1个小时40分钟左右，时间缩短了接近60%。同时采取实时获取采集系统的补抄数据的方式，实现了对抄表数据有效利用，为主网线损日统计、配网和台区线损日监测提供支撑。
2.3.2 有效支撑自动化抄表核算率提升
营销业务应用系统与用电信息采集系统数据接口改造后提高了抄表数据的利用率，远程自动化抄表核算率较上月提高2.6%。
同时为4月份4875抄表段、30多万用户抄表方式从人工抄表到远采集抄提供数据与交互环境支撑。
3 结语
营销系统与采集系统实现“直采直抄”后，在提高档案一致性、缩短采集每日抄表及补抄时间、提高采集应用率、提升自动化抄表核算率等方面成效显著，为实现电网线损日监测、自动化算费审核等采集系统深化应用工作提供强有力的保障，还为用户实现网络购电、手机购电等新型营销业务服务模式提供了数据支撑。
作者单位
新疆信息产业有限责任公司 新疆维吾尔族自治区乌鲁木齐市 830002endprint
摘 要 本文将针对营销系统与采集系统如何实现数据“直采直抄”的方式及影响作深入讨论。
【关键词】营销系统 采集系统 直采直抄
1 “直采直抄”实现方式
1.1 数据交互
营销系统与采集系统之间采用Webservice、Webservice+生成库和直连生产库三种方式相结合，实现接口信息的交互与共享。
其中单用webservice直接交互的是数据量较小，只起到通知采集系统的作用。采集系统收到通知之后在采集系统生产库中查询相关营销业务数据（该数据已通过OGG的方式准实时同步到采集系统生产库）。
采用webservice+营销中间库的方式一般处理数据量较大的数据量。营销系统通知采集系统之后，采集系统通过相关业务数据直接从营销系统生产库中获取数据。
采用直连的方式主要借助OGG软件将营销系统生产库的基础档案数据同步到采集系统的生产库中，并且将采集到的抄表数据直接同步到营销系统生产库中。
1.2 业务交互
这里指的业务交互主要分为抄表数据同步、定时档案数据同步、实时业务流程数据同步三部分进行描述。
1.2.1 抄表数据同步
不使用中间库的情况下，考虑到营销系统和采集系统双方系统压力问题，采用OGG从采集系统将抄表数据实时同步到营销系统。
采集系统按营销系统抄表数据表格式准备抄表数据，营销系统保留3天抄表数据。
1.2.2 定时档案数据同步
需定时同步的档案数据信息包括“营销基础档案”和“非实时性同步的业务流程数据信息”。在采集系统建立一套和营销系统相同表结构的数模，通过OGG将营销系统档案实时同步到采集系统。
营销系统每日定时将“非实时性同步的业务流程”的工作单号、工单类型写入到营销系统的记录变更表，用于采集系统定时档案更新同步。
1.2.3 实时业务流程数据同步
营销系统和采集系统之间，新装类计量业扩工单和换表类计量业扩工单使用数据源直接读取对方生产库数据库获取数据。
所有涉及更换变比及综合倍率、采集终端拆除、采集流程注销的工单，通过WebService实时交互。
2 “直采直抄”的作用及影响
挑选两台P750小型机作为本次论证的硬件服务器，背景为拥有500万人口的省份，在使用原有“中间库”模式和升级为“直采直抄”后，从系统负载、系统底层业务数据交互及提升效果三个方面进行比对，得出如下评价。
2.1 系统负载
系统硬件负载稳定，采集数据同步效率提升一倍。
（1）改造后虽然减少了中间库这个中转“桥梁”，但营销系统与采集系统的数据库负载并没有明显的升高，抽取改造后任意两日的数据，发现CPU负载均没有超过53%，日均值不超过30%，未对数据库造成压力，具体如图1所示。
（2）作为自动化抄表核算的数据支撑，以前由中间库完成的抄表数据导入至营销系统数据库，总时长需要4小时左右，在实现“直采直抄”之后，通过观察验证，同样量级的数据由采集系统数据库直接传送至营销系统数据库时，时间仅需2小时左右。
2.2 系统底层业务数据交互
系统底层业务数据交互方式优化，效率提升明显。
改动后，针对档案同步流程、底层数据库操作、档案一致性进行了优化及提升，缩短采集每日抄表及补抄时间，提升采集应用率、提升自动化抄表核算率等方面成效显著。
档案同步流程优化、效率提高。
（1）用电信息采集系统获取档案业务，由原先的营销业务应用系统同步到采集中间库，采集系统取走转化使用，变更为采集系统通过OGG的方式对营销系统提供的用户档案变化进行每日更新工作。
（2）营销系统获取采集数据业务，由原先的采集系统将采集数据放入中间库，营销业务系统获取中间库数据进行抄表，变更为采集系统开放抄表数据表单，由营销系统直接获取。
（3）采用多线程同步机制，先将所需的营销档案表进行分类，分为表计、用户及电网结构，再同时进行档案同步，取代之前一个档案表读取同步，再进行下一张档案表的读取同步工作。
（4）采集系统同步营销系统档案环节前增加校验。用电信息采集系统在本次改造工作中，为防止因营销业务应用系统数据库中的档案数据不完整，同步到采集系统后，造成无法采集或者统计有出入等情况，针对营销业务应用系统接口中的档案在同步档案环节前增加了多处校验，包括字段校验及关联关系校验，将不符合采集系统要求的档案隔离在采集系统之外，保证采集系统档案的准确性与一致性，并实时反馈营销业务系统档案同步结果，便于用户及时处理因档案不完整等原因造成档案同步失败的情况。
多举措提升两系统档案一致性。
特别提醒，营销系统与采集系统需提前完成档案数据互相比对工作，主要目的是清理垃圾数据。
2.3 提升效果
应用提升成效明显。
2.3.1 大幅缩短营销业务应用系统采集每日抄表及补抄时间
原营销业务应用系统对580万户、2900万条抄表数据获取需用时4个小时左右，改造后采集系统开放抄表数据表单，由营销系统直接获取，耗时在1个小时40分钟左右，时间缩短了接近60%。同时采取实时获取采集系统的补抄数据的方式，实现了对抄表数据有效利用，为主网线损日统计、配网和台区线损日监测提供支撑。
2.3.2 有效支撑自动化抄表核算率提升
营销业务应用系统与用电信息采集系统数据接口改造后提高了抄表数据的利用率，远程自动化抄表核算率较上月提高2.6%。
同时为4月份4875抄表段、30多万用户抄表方式从人工抄表到远采集抄提供数据与交互环境支撑。
3 结语
营销系统与采集系统实现“直采直抄”后，在提高档案一致性、缩短采集每日抄表及补抄时间、提高采集应用率、提升自动化抄表核算率等方面成效显著，为实现电网线损日监测、自动化算费审核等采集系统深化应用工作提供强有力的保障，还为用户实现网络购电、手机购电等新型营销业务服务模式提供了数据支撑。
作者单位
新疆信息产业有限责任公司 新疆维吾尔族自治区乌鲁木齐市 830002endprint
摘 要 本文将针对营销系统与采集系统如何实现数据“直采直抄”的方式及影响作深入讨论。
【关键词】营销系统 采集系统 直采直抄
1 “直采直抄”实现方式
1.1 数据交互
营销系统与采集系统之间采用Webservice、Webservice+生成库和直连生产库三种方式相结合，实现接口信息的交互与共享。
其中单用webservice直接交互的是数据量较小，只起到通知采集系统的作用。采集系统收到通知之后在采集系统生产库中查询相关营销业务数据（该数据已通过OGG的方式准实时同步到采集系统生产库）。
采用webservice+营销中间库的方式一般处理数据量较大的数据量。营销系统通知采集系统之后，采集系统通过相关业务数据直接从营销系统生产库中获取数据。
采用直连的方式主要借助OGG软件将营销系统生产库的基础档案数据同步到采集系统的生产库中，并且将采集到的抄表数据直接同步到营销系统生产库中。
1.2 业务交互
这里指的业务交互主要分为抄表数据同步、定时档案数据同步、实时业务流程数据同步三部分进行描述。
1.2.1 抄表数据同步
不使用中间库的情况下，考虑到营销系统和采集系统双方系统压力问题，采用OGG从采集系统将抄表数据实时同步到营销系统。
采集系统按营销系统抄表数据表格式准备抄表数据，营销系统保留3天抄表数据。
1.2.2 定时档案数据同步
需定时同步的档案数据信息包括“营销基础档案”和“非实时性同步的业务流程数据信息”。在采集系统建立一套和营销系统相同表结构的数模，通过OGG将营销系统档案实时同步到采集系统。
营销系统每日定时将“非实时性同步的业务流程”的工作单号、工单类型写入到营销系统的记录变更表，用于采集系统定时档案更新同步。
1.2.3 实时业务流程数据同步
营销系统和采集系统之间，新装类计量业扩工单和换表类计量业扩工单使用数据源直接读取对方生产库数据库获取数据。
所有涉及更换变比及综合倍率、采集终端拆除、采集流程注销的工单，通过WebService实时交互。
2 “直采直抄”的作用及影响
挑选两台P750小型机作为本次论证的硬件服务器，背景为拥有500万人口的省份，在使用原有“中间库”模式和升级为“直采直抄”后，从系统负载、系统底层业务数据交互及提升效果三个方面进行比对，得出如下评价。
2.1 系统负载
系统硬件负载稳定，采集数据同步效率提升一倍。
（1）改造后虽然减少了中间库这个中转“桥梁”，但营销系统与采集系统的数据库负载并没有明显的升高，抽取改造后任意两日的数据，发现CPU负载均没有超过53%，日均值不超过30%，未对数据库造成压力，具体如图1所示。
（2）作为自动化抄表核算的数据支撑，以前由中间库完成的抄表数据导入至营销系统数据库，总时长需要4小时左右，在实现“直采直抄”之后，通过观察验证，同样量级的数据由采集系统数据库直接传送至营销系统数据库时，时间仅需2小时左右。
2.2 系统底层业务数据交互
系统底层业务数据交互方式优化，效率提升明显。
改动后，针对档案同步流程、底层数据库操作、档案一致性进行了优化及提升，缩短采集每日抄表及补抄时间，提升采集应用率、提升自动化抄表核算率等方面成效显著。
档案同步流程优化、效率提高。
（1）用电信息采集系统获取档案业务，由原先的营销业务应用系统同步到采集中间库，采集系统取走转化使用，变更为采集系统通过OGG的方式对营销系统提供的用户档案变化进行每日更新工作。
（2）营销系统获取采集数据业务，由原先的采集系统将采集数据放入中间库，营销业务系统获取中间库数据进行抄表，变更为采集系统开放抄表数据表单，由营销系统直接获取。
（3）采用多线程同步机制，先将所需的营销档案表进行分类，分为表计、用户及电网结构，再同时进行档案同步，取代之前一个档案表读取同步，再进行下一张档案表的读取同步工作。
（4）采集系统同步营销系统档案环节前增加校验。用电信息采集系统在本次改造工作中，为防止因营销业务应用系统数据库中的档案数据不完整，同步到采集系统后，造成无法采集或者统计有出入等情况，针对营销业务应用系统接口中的档案在同步档案环节前增加了多处校验，包括字段校验及关联关系校验，将不符合采集系统要求的档案隔离在采集系统之外，保证采集系统档案的准确性与一致性，并实时反馈营销业务系统档案同步结果，便于用户及时处理因档案不完整等原因造成档案同步失败的情况。
多举措提升两系统档案一致性。
特别提醒，营销系统与采集系统需提前完成档案数据互相比对工作，主要目的是清理垃圾数据。
2.3 提升效果
应用提升成效明显。
2.3.1 大幅缩短营销业务应用系统采集每日抄表及补抄时间
原营销业务应用系统对580万户、2900万条抄表数据获取需用时4个小时左右，改造后采集系统开放抄表数据表单，由营销系统直接获取，耗时在1个小时40分钟左右，时间缩短了接近60%。同时采取实时获取采集系统的补抄数据的方式，实现了对抄表数据有效利用，为主网线损日统计、配网和台区线损日监测提供支撑。
2.3.2 有效支撑自动化抄表核算率提升
营销业务应用系统与用电信息采集系统数据接口改造后提高了抄表数据的利用率，远程自动化抄表核算率较上月提高2.6%。
同时为4月份4875抄表段、30多万用户抄表方式从人工抄表到远采集抄提供数据与交互环境支撑。
3 结语
营销系统与采集系统实现“直采直抄”后，在提高档案一致性、缩短采集每日抄表及补抄时间、提高采集应用率、提升自动化抄表核算率等方面成效显著，为实现电网线损日监测、自动化算费审核等采集系统深化应用工作提供强有力的保障，还为用户实现网络购电、手机购电等新型营销业务服务模式提供了数据支撑。
作者单位
新疆信息产业有限责任公司 新疆维吾尔族自治区乌鲁木齐市 830002endprint
