블로거이군

지난 글에서 분류형 데이터 (Categorical Data) 특성 별로 시각화하여 살펴보았습니다. 전반적으로 데이터 불균형이 확인되었으며, 희소한 데이터도 많아 모델 생성 및 학습 전 이를 해결해야할 것 같습니다. 분류형 데이터의 EDA 및 시각화 01_ 탐색적 데이터 분석 (EDA) - 데이터 시각화 (1) 탐색적 데이터 분석 (Exploratory Data Analysis) 이란 본격적인 모델링을 시작하기 전, 데이터에 대한 인사이트를 얻기 위해 데이터의 종류 및 분포 등을 확인하는 작업입니다. 이 과정을 거침으로서 zngsup.tistory.com 이번 포스팅에서는 수치형 데이터를 (Numeric Data) 시각화해 데이터의 특성을 시각화로 확인합니다. 분류형 데이터와는 다르게 수치형 데이터는 '연..

탐색적 데이터 분석 (Exploratory Data Analysis) 이란 본격적인 모델링을 시작하기 전, 데이터에 대한 인사이트를 얻기 위해 데이터의 종류 및 분포 등을 확인하는 작업입니다. 이 과정을 거침으로서 데이터 분석가가 모델링의 목적과 방향을 설정해 시간을 단축하고, 작업성을 높일 수 있습니다. 1. 정량적 분석 훈련 데이터 셋 26,457 rows X ( 18 features + 1 target ) 모델의 타겟은 'credit' 으로, 일종의 신용 등급; 0, 1, 2 로 구분되며 수치가 작을 수록 연체 가능성이 낮다고 판단 평가 데이터 셋 10,000 rows X ( 18 features ) 2. 데이터 특성 설명 이진형 (binary) / 분류형 (category) 특성과 수치형 (num..

개인적으로 파이썬을 공부하던 중에, 학습 및 개발하기에 유용한 서비스를 소개하려고 합니다. 바로 Google에서 무료로 제공 중인 서비스 'Colaboratory' (이하 코랩) 입니다. 코랩은 인터넷 브라우저에서 가상의 개발 서버에 접속해, 사용자가 언제 어디서든 파이썬으로 개발할 수 있는 환경을 제공합니다. 즉, 장소와 시간에 구애받지 않고 파이썬 프로그래밍을 하고자 한다면 이보다 좋은 서비스는 없을 것 같습니다. 장점 Colab의 개발 환경은 'Jupyter Notebook'을 기반으로 하기 때문에, 이전에 Jupyter 서비스를 사용해본 사람은 익숙할지 모릅니다. Jupyter 서비스 처럼 행별 코드 실행이 가능하고, Markdown 형식의 텍스트 박스도 추가할 수 있습니다. 기본적인 단축키도 모..

서론주어진 데이터에 대해 머신 러닝 모델을 만들고 학습시키기 위해서는 우선 데이터를 분리할 필요가 있다. 데이터를 분리하지 않고 학습과 평가에 모두 사용하는 것은, 마치 중간 고사 문제를 미리 풀고 시험을 보는 것과 같다.그런 식으로 평가한다면, 모델의 정확도는 분명 높을 것이고, 평가에 대한 객관성도 떨어진다. 또한 이렇게 만들어진 모델은 주어진 데이터데 대한 '과적합 (Overfitting)' 판단이 어려울 수 있다. 따라서 모델을 생성하기 전,주어진 데이터를 학습할 데이터와 (trining set) 평가할 데이터로 (test set) 분리해야한다. 본론사이킷런 라이브러리에는 훈련 데이터와 학습 데이터를 분리해주는 함수가 있다. 이 함수를 이용하면 원본 데이터를 알아서 훈련 세트와 테스트 세트로 나눠..

서문 이번 예제는 라이브러리를 이용한 번역기를 만드는 것 입니다. 번역할 언어를 탐지하고, 탐지한 언어를 원하는 언어로 번역하는 기능을 할 수 있죠. Codelion의 파이썬 심화 과정을 수강하며 드는 생각이 있습니다. 파이썬은 정말 라이브러리를 얼마나 잘 알고 있고, 어떻게 사용하느냐가 중요한 것 같다는 생각이 듭니다. 물론 정확히 쓰기 위해서는 기본 문법을 알고 있어야 겠지만요. 다만, 강의 자체의 내용은 풍부하지는 않습니다. 강사의 팁이라기 보다는 라이브러리의 기능을 조금 포장해서 전달하는 느낌이랄까요? 딱 수강료 65,000원 가격만 하다고 생각합니다. 적어도 라이브러리 사용이 중요하다는 사실을 깨달았으니까요. 제가 앞으로 어떤 프로그램을 작성하던 라이브러리에 대한 기능 파악을 하는게 중요할 것 ..

서문 다른 사람에 의해 만들어진 모듈을 불러와 내 프로그램에서 기능을 이용할 수 있습니다. 지난 시간에는 '웹 사이트에 정보를 요청'하는 모듈과 '텍스트 Parsing 기능'을 도와주는 모듈을 다운로드 받아 이용했습니다. 이번 예제에서는 'API (Application Programming Interface)'를 이용해 날씨 정보를 가져와 확인하는 프로그램을 작성해보겠습니다. 전체 코드 # 와 모듈의 기능이 필요한 작업입니다. # 모듈은 java script의 형태로 가져온 API의 정보를 제대로 읽기 위한 모듈입니다. 구문 해석 # API를 이용하기 위해서는 Key가 필요합니다. Key는 API를 제공하는 업체에서 유저에게 부여하는 접근 권한 코드라고 생각하시면 됩니다. # API를 제공..

서문 나도코딩 유튜브를 영상을 통해 파이썬의 기본 문법을 학습했다고 생각합니다. 문법을 한 번 배운 것으로 완벽할 순 없겠지만, 실제 프로그래밍을 작성해보며 익혀보려고 합니다. 단, 아직까지 파이썬으로 어떤 프로그램을 작성할 수 있는지 와닿지는 않는 것 같습니다. 인터넷에서 도움되는 자료를 찾던 중 Codelion이라는 프로그래밍 교육 사이트를 발견했습니다. 문법 작성 보다는 실제 이용되는 기능들을 알아보고 그것들을 이용해 프로그램을 작성해보기 위해 [심화] 과정을 수강하였습니다. 수강한 내용을 복습한다는 의미로 글을 작성하게 되었습니다. 참고로 Codelion 서비스는 방송으로 잘 알려진 프로그래머 이두희씨가 만든 프로그래밍 교육기관인 '멋쟁이사자처럼' 이라는 회사가 만든 온라인 코딩 교육 서비스라고 ..

나도코딩님의 파이썬 기초 학습영상의 마지막 퀴즈입니다. 모듈을 작성하여 다른 프로그램에서 작성한 모듈을 불러오는 내용의 학습이 필요합니다. 하나의 프로그램에 모든 기능을 정의한다면 작성된 파일은 굉장히 복잡해질 것입니다. 반복적으로 사용되는 기능들은 '모듈'이라는 형태로 별도 저장하여 해당 기능을 이용할 때만 불러올 수 있다면 참 편리하겠지요. 편리하게도 파이썬은 이러한 기능을 제공하고 있습니다. 이를 학습하여 영리하게 프로그램을 작성해봅시다. 나도코딩 유튜브 영상 : 파이썬 코딩 무료 강의 (기본편) - 6시간 뒤면 여러분도 개발자가 될 수 있어요 [나도코딩] Quiz # 프로젝트 내 시그니쳐를 남기는 모듈을 만드시오. # 조건 : 모듈 파일명은 byme.py로 작성 # (모듈 사용 예제) import..

이번 퀴즈에서는 와 구문을 이용해 예외처리를 하는 방법에 대해 다뤘습니다. 처음 공부할 때는 예외처리가 필요할까 라는 의문이 들었습니다. 퀴즈를 통해 프로그램을 작성해보니, 지금껏 이용했던 프로그램에서 당연하게 처리되던 작업이었습니다. 사용자 정의 오류를 만들고 해당 오류를 인위적으로 발생시키는 법까지 학습할 수 있었습니다. 모두 아래의 강의 영상을 확인하셔서 공부해보세요. 나도코딩 유튜브 영상 : 파이썬 코딩 무료 강의 (기본편) - 6시간 뒤면 여러분도 개발자가 될 수 있어요 [나도코딩] Quiz # 대기 손님의 치킨 요리 시간을 줄이고자 자동 주문 시스템을 제작하였습니다. # 시스템 코드를 확인하고 적절한 예외처리 구문을 넣으시오. # 조건 1 : 1보다 작거나 숫자가 아닌 입력값이 들어올 때는 V..

이번 퀴즈에서는 클래스를 직접 만들어 프로그램 작성 시 이용해보는 예제입니다. 이제는 당연하게 여겨지는 '객체 지향 프로그래밍'의 핵심 개념이라고 할 수 있습니다. 이전에 배울 때는 클래스라는 것이 어렵기만 했는데, 이해하고 보면 정말 유용한 기능이라고 생각합니다. 퀴즈 전 나도코딩님의 강의 영상을 시청하신다면 쉽게 이해하고 따라할 수 있습니다. 나도코딩 유튜브 영상 : 파이썬 코딩 무료 강의 (기본편) - 6시간 뒤면 여러분도 개발자가 될 수 있어요 [나도코딩] Quiz # 주어진 코드를 활용하여 부동산 프로그램을 작성하시오. # (출력 예제) # 총 3대의 매물이 있습니다. # 강남 아파트 매매 10억 2010년 # 마포 오피스텔 전세 5억 2007년 # 송파 빌라 월세 500/50 2000년 Pyt..