记一次DataX导致的数据同步断头路(一)

最近因为业务需要,想要把Mongodb中的某些数据打入到阿里云的OpenSearch中进行检索,在同步的过程中遇到一些问题,导致暂时没能进行下去,这里做一次笔记。

images

可以看到的是,阿里云的DataX中,Mongodb Reader使用的是Mongo SDK(JAVA),所以不能像直连MongoDB数据库那样执行mongo shell,也就不支持JS语法,也就无法实现字符转10位时间戳的效果。

而又因为数加平台本身不提供底层的字符串转时间戳的能力,所以也不能在数加平台进行处理。

此处断头,暂时无法解决,如果后续解决了,再更新一下。