,亚马逊云技术推出了AmazonRedshift streaming ingestion功能预览版,允许客户直接将AmazonKinesisDataStreams的实时数据注入AmazonRedshift数据仓库并进行分析。
一般在游戏实时数据分析,网络广告点击流分析,零售POS机数据流分析,应用日志和网络日志分析,物联网设备数据分析等应用场景中,应用或终端设备会在短时间内持续产生巨大的数据流这些数据流会被发送到AmazonKinesisDataStreams进行实时缓存,最后由AmazonRedshift完成数据分析
在过去,如果亚马逊云技术的客户想要将AmazonKinesisDataStreams中的实时数据注入到AmazonRedshift中,他们必须将数据临时存储在AmazonS3中,然后使用Copy命令加载数据以构建数据管道这个过程通常需要几分钟才能完成
现在,AmazonRedshift流注入允许客户直接将每秒数百兆的流数据接收到AmazonRedshift数据仓库集群进行处理,而无需将数据临时存储在AmazonSimpleStorageService中客户使用现有工具和SQL执行下游处理和转换,无需额外成本,并在几秒钟内从数据中获得洞察力
根据亚马逊的云技术,AmazonRedshift流注入的引入大大简化了流数据管道的构建,加快了数据处理速度,支持低延迟,高吞吐量地访问数据仓库中的实时数据,帮助数据工程师,数据分析师和大数据开发者从Rdquo转Rdquo提升了亚马逊云技术的实时数据处理能力,将进一步推动机器学习从实验走向规模化。