본문 바로가기
728x90

csv3

[PYTHON] 대용량 CSV 파일을 빠르게 읽어오는 5가지 방법과 라이브러리별 성능 차이 해결 사례 7가지 파이썬 데이터 분석가나 엔지니어가 마주하는 가장 흔하면서도 고통스러운 해결 과제는 바로 대용량 CSV 파일 로딩입니다. 수십 기가바이트(GB)에 달하는 데이터를 단순히 pd.read_csv()로 불러오려다가는 메모리 부족(OOM) 에러를 마주하거나, 무한 로딩에 빠지기 일쑤입니다. 2026년 현재, 데이터 규모는 더욱 커졌으며 이를 효율적으로 처리하기 위한 병렬 처리 엔진과 메모리 최적화 기법은 필수 역량이 되었습니다. 본 포스팅에서는 단순히 파일을 읽는 것을 넘어, 하드웨어 자원을 극대화하여 읽기 속도를 10배 이상 단축하는 5가지 전략과 실무에서 즉시 활용 가능한 7가지 고성능 해결 사례를 상세히 다룹니다.1. CSV 로딩 방식에 따른 성능 및 메모리 효율 차이 비교데이터의 크기와 분석 목적에 따라 .. 2026. 3. 31.
[PYTHON] CSV 파일 읽기 & 쓰기 완벽 가이드 : csv 모듈부터 pandas까지 CSV(Comma-Separated Values) 파일은 가장 널리 사용되는 데이터 저장 형식 중 하나로, 다양한 플랫폼과 언어에서 쉽게 읽고 쓸 수 있다는 장점이 있다. Python은 이러한 CSV 파일을 손쉽게 다룰 수 있는 csv 모듈과 pandas 라이브러리를 제공한다.본 글에서는 Python에서 CSV 파일을 읽고 쓰는 기본 방법부터, 실무에서 유용한 고급 활용 팁까지 실제 코드 예제와 함께 상세히 소개한다. 특히 csv 모듈과 pandas의 차이점, 각 방식의 장단점도 비교하여 독자의 실력 향상에 실질적인 도움을 줄 것이다.1. CSV 파일이란?CSV는 각 행이 레코드(record)를 나타내고, 각 열이 쉼표(,)로 구분되는 단순한 텍스트 파일이다. 구조는 단순하지만 Excel, 데이터베이스,.. 2025. 7. 25.
[PYTHON] 파이썬 파일 처리 완전 정복 : 실무 예제 & 베스트 프랙티스 파이썬에서 파일 처리는 로그 작성, 데이터 저장, 설정 읽기 등 다양한 분야에서 핵심 역량 중 하나입니다. 본 글에서는 텍스트, 이진, CSV, JSON 파일을 다루는 방법과, 컨텍스트 매니저, 예외 처리, 안전한 종료 등 신뢰도 높은 실전 기법을 소개합니다.1. 파일 처리 핵심 개념 비교파일 형식모드주요 메서드용도텍스트'r','w','a'read(), readline(), write()설정, 로그, 단순 텍스트이진'rb','wb'read(), write()이미지, 오디오, 바이너리 파일CSV'r','w'csv.reader, csv.writer표 형식 데이터 입출력JSON'r','w'json.load, json.dump구조화된 데이터 저장 및 교환2. 사용 예제✅ 텍스트 파일 읽기/쓰기with open(.. 2025. 7. 21.
728x90

티스토리툴바