解决PySpark中‘JavaPackage’对象不可调用错误：深入解析与实践

本教程旨在解决PySpark环境中常见的`TypeError: 'JavaPackage' object is not callable`错误。该错误通常在使用RDD操作时发生，源于PySpark内部对JVM函数的错误引用。文章将详细解释错误原因，提供修改PySpark核心文件`rdd.py`的解决方案，并强调操作注意事项，确保用户能够顺利运行PySpark应用程序。

理解PySpark中的'JavaPackage'对象不可调用错误

当在PySpark应用程序中遇到TypeError: 'JavaPackage' object is not callable错误时，这通常意味着PySpark尝试通过Py4J库调用一个Java对象或方法，但它错误地将一个Java包（JavaPackage）当作一个可调用的函数或类来处理。在PySpark的执行栈中，这种错误往往发生在Python与JVM之间进行通信，特别是涉及到序列化和执行Python函数时。

根据提供的错误堆栈信息，该问题发生在pyspark/rdd.py文件中的_wrap_function内部，具体是在尝试调用sc._jvm.SimplePythonFunction时：

File ~\anaconda3\envs\spark_latest\Lib\site-packages\pyspark\rdd.py:5243, in _wrap_function(sc, func, deserializer, serializer, profiler)
    ...
    return sc._jvm.SimplePythonFunction(
        bytearray(pickled_command),
        env,
        includes,
        sc.pythonExec,
        sc.pythonVer,
        broadcast_vars,
        sc._javaAccumulator,
    )

TypeError: 'JavaPackage' object is not callable

登录后复制

这表明在当前的PySpark版本（例如PySpark 3.4.1）与Java版本（例如Java 21）组合下，sc._jvm.SimplePythonFunction可能不再是PySpark期望的可调用对象。它可能已被重命名、移除，或者在JVM中其路径发生了变化，导致_jvm在尝试解析它时将其识别为一个包而非一个具体的类。

立即学习“Java免费学习笔记（深入）”；

示例代码与错误复现

以下是可能触发此错误的代码片段：

from pyspark.sql import SparkSession

# 初始化SparkSession
spark = SparkSession.builder.appName("practice").getOrCreate()
sc = spark.sparkContext # 获取SparkContext

data_path  = "pathToFile/TelecomData.csv" # 请替换为实际文件路径
rdd = sc.textFile(data_path)

# 过滤RDD数据
filteredRdd = rdd.filter(lambda pair: pair.split(",")[3] =='Y' and pair.split(",")[9] =='Y')

# 收集并打印结果，此处可能触发错误
for rows in filteredRdd.collect():
    print(rows)

# 停止SparkSession
spark.stop()

登录后复制

当执行filteredRdd.collect()操作时，PySpark需要将Python的lambda函数（filter操作）序列化并发送到JVM执行。在此过程中，PySpark内部会调用_wrap_function来创建Java端的Python函数代理，此时便可能遇到TypeError: 'JavaPackage' object is not callable。

标签： linux python java sublime apache app session mac csv 栈 ai ma