我现在需要写一个软件进行爬虫商品的价格和名字和介绍
为了数据的准确性我要对商品的UID在云端检查是否入库
然后在进行采集商品信息入库云端并入库UID
然后对数据进行数据分析 不知道有什么源码能有这种功能并能提供api方便对接
-----------------------------------------------------
网友回复:
主要还是能方便我云端去重我也不知道该称呼这些功能类型的源码叫啥..只能问问各位大佬了
网友回复:
软件我会写但是网页云端去重的我不会但是想要做云端来对商品UID去重入库不知道有没有这种类型源码
网友回复:
引用:tir发表于2020-11-2017:42
这个有点难度，加钱！
网友回复:
都会写软件了，利用软件的语言写个去重就好了
需求还应该细致，加钱
网友回复:
有开发能力的话自己去重呗。找别人写，别人问你要需求问着问着你自己也懂了该怎么处理，这不就很尴尬了
网友回复:
去重，手写一个分布式布隆过滤器，提供一个API调用，不就是云端去重了吗