数据平台获取数据类图

立即使用

<<interface>>SourceService:数据输入接口+ readData(TableInfo): DataSet<Row> 根据虚拟表配置信息读取批数据+ readStreamData(TableInfo): DataStream<Row>根据虚拟表配置信息读取流信息MysqlSourceServiceImpl+ readData(TableInfo): DataSet<Row>默认实现CsvSourceServiceImpl:csv实现+ readData(TableInfo): DataSet<Row> AbstractSourceServiceImpl:默认实现抽象类+ readData(TableInfo): DataSet<Row> 读取批信息jdbc源实现+ readStreamData(TableInfo): DataStream<Row>读取流信息jdbc源实现- getFieldNames(List<MetaColumn>):String 获取读取的字段信息- getFieldTypes(List<MetaColumn>):TypeInformation[] 获取读取的字段类型HbaseSourceServiceImpl:hbase获取数据实现+ readData(TableInfo): DataSet<Row>+ - getHbaseData(ResultScanner,List<String>): List<List<String>> 读取hbase数据MockSourceServiceImpl:模拟数据实现+ readData(TableInfo): DataSet<Row> 模拟获取实现- getTransferColumn(List<MockMetaColumn>): List<MetaColumn> 字段转换- getMockData(List<MockMetaColumn>,Integer): List<List<String>> 根据条数获取模拟数据- generateValue(MockMetaColumn): String 根据字段描述,生成模拟数据- mockBasic(MockColumnType,MockConfig): T 根据字段类型和模拟配置生成基本类型数据的模拟- mockInterval(MockColumnType,MockConfig,String,String): T 根据字段类型、模拟配置、开始区间、结束区间生成区间类型的模拟数据EfileSourceServiceImpl:e文件实现- readData(TableInfo): DataSet<Row> - getLatestFile(EfileInput):String 得到最近一个文件- getFileName(Int):String 得到文件名称- getntervalFile(int interval, String rootPath, String path):File 得到根目录下面最新的文件ExcelSourceServiceImpl:excel实现+ readData(TableInfo): DataSet<Row> excel获取文件数据实现HttpSourceServiceImpl:api实现+ readData(TableInfo): DataSet<Row> API获取数据实现- getHttpData(HttpInput):String 得到返回json数据- getDataList(String returnValue, List<MetaColumn> columns):List<List<String>> 返回数据解析ClickhouseSourceServiceImpl+ readData(TableInfo): DataSet<Row>默认实现DmSourceServiceImpl+ readData(TableInfo): DataSet<Row>默认实现OracleSourceServiceImpl+ readData(TableInfo): DataSet<Row>默认实现PostgresqlSourceServiceImpl+ readData(TableInfo): DataSet<Row>默认实现SqlSourceServiceImpl+ readData(TableInfo): DataSet<Row> jdbc类型根据sql获取数据KafkaSourceServiceImpl+ readStreamData(TableInfo): DataStream<Row>读取流信息实现批-jdbc类型实现批-文件类型实现批-大数据类型实现批-接口类型实现批-模拟数据类型实现流-数据类型实现
386
2
8
发布时间: 2021-02-07