Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16
retries (on a random free port)! Consider explicitly setting the appropriate binding address for
the service 'sparkDriver' (for example spark.driver.bindAddress for SparkDriver) to the correct
binding address.
위와 같은 에러가 발생했다.
어떤 네트워크환경에서는 host의 default가 127.0.0.1 이고 어떤 환경에서는 localhost이고 카페공용 와이파이 같은 경우에는
다른 설정이라고 한다. 그래서 카페에서 공용 와이파이를 통해 pySpark를 공부하려던 참에 발생한 에러였던것이다.
그렇기에 어떤 네트워크 환경에서도 같은 spark context()를 로드할 때 hostname을 이용해서 같은 주소를
바라보게 해주면 해결되는 것이다.
hostname은 cli에 입력 후 엔터쳐서 직접 확인한 다음에 입력한다.
예를들면
~$ hostname
abc.local
확인 후
sudo vi /etc/hosts
127.0.0.1 localhost abc.local
::1 localhost abc.local
저장 후 pySpart Context를 다시 로드해보면된다.
