Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- PostgreSQL
- logstash
- elasticearch
- fluentd
- MariaDB
- PrestoDB
- Kafka
- kibana
- SSL
- ui for kafka
- Python
- pyspark
- kafka ui
- elasticsearch
- kafka connect
- MongoDB
- naverdevelopers
Archives
- Today
- Total
목록Spark (1)
Dev_duri
File(csv) to Postgresql( pySpark )
Spark를 사용한 위와 같은 파이프라인 demo를 구성하였습니다. 특정한 파일 확장자(CSV, JSON 등)을 스파크(PySpark)를 통해 RDB에 저장합니다. import pyspark from pyspark.sql import SparkSession from pyspark.sql.types import StructType,StructField, StringType, IntegerType from pyspark.sql.types import ArrayType, DoubleType, BooleanType from pyspark.sql.functions import col,array_contains ip = "postgre.sql.local.host" port = 5432 user = "username..
Spark
2023. 3. 28. 13:14