1.统一加载平台(ULP)
产品原理 Function

集成多种数据格式和提供方式的数据采集,分布式部署,简化不同数据类型的加载难度,提高效率。现支持结构化批量数据、结构化流式数据、结构化在线数据、非结构化网络数据、结构化大数据对象、定制的ESB消息数据等格式处理。
功能概述
Flume
图形化、可配置、支持多种格式(如txt、xml、json、日志等)、分布式部署、简便开发和运维。 | Sqoop
图形化、可配置、分布式并发抽取、支持多种数据源(如Oracle、DB2、MySql、SQLServer、Sybase 等主流数据库)。 |
Loader
图形化、可配置、一键建表和生产加载脚本,含编码格式转换、格式检查、字段长度检查、非中断式错误记录自动识别并提示、自动过滤关键字(比如换行符、回车符)等;集成数据仓库的常规算法,如增量算法、全量算法、变量算法、拉链算法等。 | Spider
友好性:极大的减少被爬网站的负载;高性能:分布式部署和多线程抓取配置化和高扩展性。 |
ESB
界面化配置方式,与常规的ESB接口可相互定义报文格式, 可相互集成。 | OSS
图形化配置非结构化大数据文件加载(视频、图形、语音等),并加载至Hbase,能够自动识别数据内容(当前支持office组件为主的内容)。 |
2.统一实时平台(URTP)
产品原理 Function

由上海致宇自主研发,在Hadoop组件(Streaming、Storm、Kafka..)基础上封装而出。该平台主要内置有Kafka的消息队列,同时封装了多种接口类型,方便与现有系统之间的集成。支持界面化地完成实时流数据的采集、加工,并提供SOA服务。可与统一数据服务平台(UDSP)配合使用。
功能概述
Streaming
界面化配置数据消费信息、服务方式。 以时间序列为主的实时流框架。 | Storm
界面化配置数据消费信息、服务方式。 以事件序列为主的实时流框架。 |
Kafka
图型化、可配置、设置分组消费。 | 生产端接口
支持多种数据生产端接口,如Socket 、Flume、SOA 、 SDK。 |
消费端接口支持多种数据消费端接口,如Socket 、Flume、Webservice、Http+Json、Http+XML、SDK。 |
|
3.统一管理平台(UMP)
产品原理 Function

上海致宇针对Hadoop研发了大量的管理工具来降低开发和运维过程中的复杂度,该平台主要的功能有:数据调度管理、数据比对、数据质量监控、日志监控、血缘关系管理 调度和监控界面。
功能概述
数据调度管理
界面化、支持批量导入配置、与自有产品一键配置、分布式部署、可调整和优化并发数。 | 数据比对
支持跨库一键比对、支持多数据源、支持不抽取数据快速比对(记录数、汇总值、长度值等方式)。 |
数据质量监控
界面化、支持批量规则并发批量、支持常用规则配合和手工规则定义。支持多种数据源,含Hadoop组件,hive 、impala。 | 日志监控
全日志监控和告警模式,包括请求日志、执行日志、批量调度日志、开发调试日志、错误日志。 |
血缘关系管理
界面化展示、字段级血缘关系、整个数据全流程的逻辑展示。当前只支持CDH产品。 |
|
4.统一数据服务平台(UDSP)
产品原理 Function

上海致宇针对Hadoop所有的数据访问包装出统一数据服务平台(UDSP),包括实时数据访问、批量数据访问、交互式数据访问和数据挖掘模型管理等。极大地降低其他系统访问开发难度和成本。取代原先的 ESB + MQ 模式, 是基于Hadoop大数据量交互的“服务总线”。

功能概述
交互查询
内置多种常用大数据组件数据源,如SOLR、HBASE等;减少整合不同大数据组件间实施成本和周期;实现全流程页面参数化配置;包含并发监控、权限监控、参数监控;适用高并发、低延迟、大数据量的明确业务场景。 | 联机查询
减少不同数据库组件间整合的实施成本和周期;内置多种常用RMDBS和NOSQL的数据源;实现全流程页面参数化配置;包含并发监控、权限监控、参数监控;适用低并发、中延迟、中/高数据的查询场景。 |
实时流管理
内置标准大数据消息组件KAKFA,同时支持传统消息传输组件MQ;解决KAFKA使用过程中不兼容问题,如:跨编程语言、跨JDK版本,跨OS等;实现全流程页面参数化配置;包含并发监控、权限监控、参数监控;适用实时数据推送模式。 | 模型管理
提供模型厂商、模型的管理,包括注册、修改等;支持手动、定时调起模型;支持单个、批量调起模型;无须登录各模型厂商平台即可实时监控各模型的运行情况;包含并发监控、权限监控、参数监控;适用集成不同厂商的模型管理和调用。 |
注册中心
自动读取大数据组件元数据,如:Hive、Solr、Hbase、Impala等;支持各种RMDBS的数据库注册;支持一服务多接口模式(一个生产端接口、可以虚拟出多个消费端接口)。 | 监控中心
并发量监控:可以从接口、应用、用户等多维度进行并发量的设定与监控。 消费资源监控:提供消费请求参数校验。记录合理请求,并配以图表形式展现消费情况。 权限监控:提供用户权限、服务权限、并发权限等的监控。 |
5.统一开发辅助平台(UDAP)
产品原理 Function

数据类型的加载难度,提高效率。现支持结构化批量数据、结构化流式数据、结构化在线数据、非结构化网络数据、结构化大数据对象、定制的ESB消息数据等格式处理。
功能概述
IDEETL开发工具 ,C/S架构,客户端递交脚本模式 、一键打包和一键发布、支持客户端调试模式。 | 交互建模
界面化配置 Hive 数据加载至 Hbase、Solr、Hbase+Solr,自动建表和分区计算、分布式部署。 |
SQL在线查询
类似于Hue, 支持SQL语句客户端直接执行并展示。 | 数据在线导入
界面化在线文件自动导入,支持大文件和小文件两种模式、自动处理编码格式和不规则数据识别。 |
数据在线导出
界面化数据文件导出,支持客户端方式递交。 | Shell命令执行
界面化递交Shell命令,Web端直接调用。 常用于一般的运维查看状态。 |
6.统一数据可视化平台(UDDP)
产品原理 Function

集成多种数据格式和提供方式的数据采集,分布式部署,简化不同数据类型的加载难度,提高效率。现支持结构化批量数据、结构化流式数据、结构化在线数据、非结构化网络数据、结构化大数据对象、定制的ESB消息数据等格式处理。
功能概述
易用性与灵活性可视化分析能力让你快速洞察市场规律,及时发现业务盲点;提供多达几十种可视化展示效果,让数据说话。 | 友好的界面操作
无需懂得技术,帮你轻松实现数据清洗、整合、加载,迅速准备好你所需的所有数据。拖拽操作配置让你轻松实现图表的展现。 |
支持多数据源(包括大数据组件)
支持接入、同步多种数据源,包括各类数据库连接全方位满足企业多种多样的业务场景。如Solr、ElasticSearch、Kylin等。 | 丰富的图表展示
当前支持表格、折线/柱状图、比对图、散点/气泡图、饼图、指标卡、雷达图、桑基图、漏斗图、仪表盘、标签云、矩形树、热点图、水球图、中国地图和区域地图。 |
多样化的任务监控
可以自定义的任务和提醒方式,支持邮件、短信、微信等。 | 精准的权限控制
针对每一个图表和数据源分配不同的数据角色,控制到记录集。 |
OCR统一应用平台
产品功能 Function

1、统一的OCR服务接入;
2、开放式的微服务管理平台,可集成多家AI产品;
产品特征 Feature

桌面智能工具,即开即用,无使用门槛
| 高可用:支持分布式部署,可横向无限扩展
|
易扩展:能快速便捷地满足银行业务场景应用扩展
|
|
产品优势 Advantage

1、自主研发的ICR应用平台,与先进技术保持同步,持续进行技术研究和产品创新
2、成熟的开发应用平台,提供开箱即用的场景化服务
3、多年行业客户服务经验,提供专业的顾问实施服务,积累了良好的客户口碑
4、基于深度学习算法的文字识别、图像处理、NLP技术应用,提升速度和减少差错
5、各种场景的结构化数据统一管理,简化对接的方式和应用部署的门槛
产品效益 Benefit

让重复性、纯手工的工作自动化、智能化,提升运营效率
让零散的资料结构化,可视化,动态化
全行统一的OCR服务平台,一次建设,全渠道使用