比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。也就是spark的api没有做到用户无感知,在使用一些全局方法时还需自己控制。简单点的做法就是：能定 ...
↧
Channel:
ITPUB论坛－专业的IT技术社区
X
Are you the publisher?
Claim or
contact us
about this channel.
X
0
Channel Details:
- Title: ITPUB论坛－专业的IT技术社区
- Channel Number: 60573574
- Language: Chinese
- Registered On: March 6, 2016, 12:48 pm
- Number of Articles: 18583
- Latest Snapshot: January 19, 2025, 4:17 am
- RSS URL: http://www.itpub.net/forum.php?mod=rss&auth=0
- Publisher: https://www.itpub.net/forum.php
- Description: Latest 20 threads of all forums
- Catalog: //outmalaprop66.rssing.com/catalog.php?indx=60573574
© 2025 //www.rssing.com