티스토리

야채's Data

검색하기

블로그 홈

야채's Data

yachae4910.tistory.com/m

0ㅑ채 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

[딥러닝] CNN _ 도로 교통 표지판 인식 1. 데이터 가져오기 - 43개의 교통 표지판 과 관련된 4만여 개의 이미지로 만들어진 데이터 셋 - https://sid.erda.dk/public/archives/daaeac0d7ce1152aea9b61d9f1e19370/published-archive.html Public Archive: daaeac0d7ce1152aea9b61d9f1e19370 Support ERDA User Guide Questions about ERDA? Please contact us at support@erda.dk sid.erda.dk - https://drive.google.com/drive/folders/1AktNCWqVBv-4xxme4OUC82OLJTHzMFsq?usp=sharing - 데이터 다운로드 colab !.. 공감수 0 댓글수 0 2024. 3. 22.
[딥러닝] CNN _ 패션 이미지 분류 1. 데이터 가져오기 from tensorflow import keras from sklearn.model_selection import train_test_split #데이터 읽어오기 (train_input, train_target), (test_input, test_target) = keras.datasets.fashion_mnist.load_data() rint(train_input.shape) 2. 스케일링 및 차원 수정 # 흑백 이미지라서 차원을 1개 늘려서 255 로 나눔 train_scaled = train_input.reshape(-1, 28, 28, 1) / 255.0 print(train_scaled.shape) train_scaled, val_scaled, train_target, v.. 공감수 0 댓글수 1 2024. 3. 22.
[전처리] 인구 소멸 지역 Cartogram - 국가 통계 포털에서 인구 정보 내려받기 http://kosis.kr/statHtml/statHtml.do?orgId=101&tblId=DT_1IN1509& KOSIS kosis.kr 기본코드 import pandas as pd import numpy as np import platform import matplotlib.pyplot as plt %matplotlib inline path = "c:/Windows/Fonts/malgun.ttf" from matplotlib import font_manager, rc if platform.system() == 'Darwin': rc('font', family='AppleGothic') elif platform.system() == 'Windows': fo.. 공감수 2 댓글수 3 2024. 3. 20.
[전처리] 서울시 범죄 현황 시각화 - https://data.seoul.go.kr/ - 서울시 5대 점죄 발생현황 통계 데이터 - crime.txt 1. 데이터 가져오기 import pandas as pd import folium import json criminal = pd.read_csv('./data/crime.txt', sep='\t', thousands=',', encoding='utf-8') 2. 데이터 전처리 # 불필요한 컬럼 제거 criminal.drop(['기간', '합계검거', '살인검거', '강도검거', '강간검거', '절도검거', '폭력검거'], axis=1, inplace=True) criminal.drop([0], inplace=True) # 컬럼 이름 설정 criminal.rename(columns={'살인발생.. 공감수 0 댓글수 0 2024. 3. 20.
[전처리] 지도 출력 Choropleth https://github.com/southkorea/southkorea-maps 한국 지리정보 사이트 1. 데이터 읽어오기 state_unemployment = 'data/US_Unemployment_Oct2012.csv' state_data = pd.read_csv(state_unemployment) print(state_data.head()) State Unemployment 0 AL 7.1 1 AK 6.8 2 AZ 8.1 3 AR 7.2 4 CA 10.1 2. 단계 구분도 출력 folium.Map으로 만든 지도에 choropleth 함수 호출 geo_data 옵션에 아이디와 위도 및 경도를 가진 json 파일의 경로를 설정해주고 data에 출력한 DF 설정 key_on에 json 파일에서 사용되는.. 공감수 0 댓글수 0 2024. 3. 20.
[전처리] 서울시 구별 CCTV와 인구 관계 분석 1. 서울시 자치구별 CCTV 현황 데이터 가져오기 - http://data.seoul.go.kr/ 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr - CCTV 검색 - xlsx 파일을 다운로드(파일 이름을 cctv로 수정) # 데이터 읽기 import matplotlib.pyplot as plt import pandas as pd import numpy as np from pandas import Series, DataFrame import platform from matplotlib import font_manager, rc #데이터 읽어오기 cctv = pd.read_excel('./data/cctv.xlsx') print(cctv.head()) cctv.info(.. 공감수 0 댓글수 0 2024. 3. 20.
[딥러닝] Keras _ 패션 이미지 분류 Keras 의 내장 데이터 세트 - 종류 boston housing: 보스톤 집값으로 회귀에 사용 cifar10: 이미지 분류 데이터로 종류가 10가지 cifar100: 이미지 분류 데이터로 종류가 100가지 mnist: 손 글씨 데이터 fashion mnist: 의류 데이터로 클래스가 10가지 imdb: 영화 데이터로 분류에 활용 reuters: 뉴스 토픽 - 자연어 분류 - load_data 라는 함수를 호출하면 훈련 데이터 튜플 과 테스트 데이터 튜플로 데이터를 리턴 - 각각의 튜플은 피처 와 레이블로 나뉘어져 있음 1. 데이터 가져오기 fashion_mnist = keras.datasets.fashion_mnist (X_train_full, y_train_full), (X_test, y_test).. 공감수 0 댓글수 0 2024. 3. 20.
[딥러닝] Keras 이항분류 _ 레드와 화이트와인 분류 데이터 url red: http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv white: http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality- white.csv - 구분자: ; - 피처 fixed acidity volatile acidity citric acid residual sugar chlorides free sulfur dioxide total sulfur dioxide density pH sulphates alcohol quality 1. 데이터 가져오기 import pandas as pd red.. 공감수 0 댓글수 0 2024. 3. 20.
[Python] 선형회귀 실습 _ 보스톤 주택 가격에 대한 선형 회귀 - 데이터: http://lib.stat.cmu.edu/datasets/boston - 데이터에 대한 설명 CRIM per capita crime rate by town ZN proportion of residential land zoned for lots over 25,000 sq.ft. INDUS proportion of non-retail business acres per town CHAS Charles River dummy variable (= 1 if tract bounds river; 0 otherwise) NOX nitric oxides concentration (parts per 10 million) RM average number of rooms per dwelling AGE propor.. 공감수 0 댓글수 0 2024. 3. 18.
[Python] 연관분석 실습 _ 아이템 기반 추천 시스템 - movies.csv: 영화 정보 데이터 - ratings.csv: 평점정보 데이터 1. 데이터 읽어오기 movies = pd.read_csv('./python_machine_learning-main/data/movielens/movies.csv') ratings = pd.read_csv('./python_machine_learning-main/data/movielens/ratings.csv') print(movies.shape) print(ratings.shape) (9742, 3) (100836, 4) # ratings에서 timestamp 제거 ratings = ratings[['userId', 'movieId', 'rating']] ratings_matrix.head(3) - 추천 시스템 데이터.. 공감수 1 댓글수 1 2024. 3. 18.
[Python] 연관분석 실습 _ 영화 콘텐츠 기반 필터링 추천 시스템 데이터 https://www.kaggle.com/tmdb/tmdb-movie-metadata 1. 데이터 읽어오기 movies =pd.read_csv('./python_machine_learning-main/data/tmdb_5000_movies.csv') print(movies.shape) movies.head() # 데이터 생성 movies_df = movies[['id','title', 'genres', 'vote_average', 'vote_count', 'popularity', 'keywords', 'overview']] # pd.set_option('max_colwidth', 100) movies_df.head(1) genres와 keywords는 하나의 문자열이 아니라 list다. csv 파.. 공감수 0 댓글수 1 2024. 3. 15.
[Python] Pandas 실습 _ 카카오 검색 API 데이터 가져오기 - 카카오 검색 API developers.kakao.com - 애플리케이션 생성 후 REST API 키 복사 a89507c93f15074167c0700239d4b1d0 블로그 검색 메서드URL인증 방식 GET https://dapi.kakao.com/v2/search/blog REST API 키 헤더 Authorization Authorization: KakaoAK ${REST_API_KEY} 인증 방식, 서비스 앱에서 REST API 키로 인증 요청 필수 파라미터 query String 검색을 원하는 질의어 특정 블로그 글만 검색하고 싶은 경우, 블로그 url과 검색어를 공백(' ') 구분자로 넣을 수 있음 필수 sort String 결과 문서 정렬 방식, accuracy(정확도순) 또는 recenc.. 공감수 0 댓글수 0 2024. 3. 15.
[Python] 연관분석 실습 _ 손흥민 설치 !pip install apyori 1. 데이터 읽어오기 df = pd.read_csv("./python_machine_learning-main/data/tweet_temp.csv") df.head() #한글 정제 함수 import re # 한글만 추출 def text_cleaning(text): hangul = re.compile('[^ ㄱ-ㅣ가-힣]+') # 한글의 정규표현식 result = hangul.sub('', text) return result #적용 # ‘tweet_text’ 피처에 적용 df['ko_text'] = df['tweet_text'].apply(lambda x: text_cleaning(x)) df.head() 2. 불용어 처리 - https://www.ranks.nl/s.. 공감수 0 댓글수 1 2024. 3. 15.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.