데이터사이언스 정리 노트

1) 프로젝트 소개2) 프로젝트 설계 (문제상황 정의 /해결책 / 목표)3) 내 역할4) 기능 구현 확인 및 성과 지표.5) 어려웠던 점 / 해결방법6) 아쉬운 점 / 개선하고 싶은 점 7) 프로젝트 사진1. 프로젝트 소개서비스 이름 : IT career fitIT 직무 구직자들을 위한 채용정보 제공 서비스.수행기간 : 2023.03 ~ 2023.06팀원(4명) : 프론트엔드, 백엔드, 데이터1(데이터 처리 및 분석), 데이터2(DB 설계 및 구축)설계 배경 및 필요성 : IT 시장이 커짐에 따라, IT 커리어를 시작하려는 사람들이 늘어나고 있습니다. ' IT career fit' 프로젝트는 IT 구직자들로 하여금 충분한 양과 보기 편리한 형식을 만족하는 채용정보를 제공하여 구직 만족도를 높이겠다는 아이..

데이터 분석이란 데이터를 기반으로 , 어떤 문제의 속성에 대한 세밀한 이해, 문제 발생 원인.결과.해결 방안에 대한 분석, 미래를 예측하는 문제해결 기법이다. 데이터 분석의 3가지 컨셉 ( 가치, 인과, 최적의 해결안 ) Descriptive Analysis (탐색. 기술분석) _ 문제의 중요도 인식 (BIG PROBLEM) 분석해서 해결할 가치가 있는 문제인가? EX) 비즈니스 현장의 문제, 고객 불만사항 정도, 기업의 손해 정도 등등 Predictive Analysis (설명. 인과분석) _ 문제 전개과정의 규명 (MECHANISM) 그 문제의 원인-결과는? Perscriptive Analysis (최적. 처방분석) _ 문제 처리방안의 도출(ACTION SCENARIO) 문제를 원하는 결과로 변화시키..

* Feature 머신러닝은 어떤 데이터를 분류하거나, 값을 예측(회귀)하는 것입니다. 이렇게 데이터의 값을 잘 예측하기 위한 데이터의 특징들을 머신러닝/딥러닝에서는 "Feature"라고 부르며, 지도, 비지도, 강화학습 모두 적절한 feature를 잘 정의하는 것이 핵심입니다. 엑셀에서 attribute(column)라고 불려지던 것을 머신러닝에서는 통계학의 영향으로 feature라고 부릅니다. 과거에 딥러닝 이전의 머신러닝에서는 Raw데이터를 피처 엔지니어가 직접 적절한 피처를 만들고, 머신러닝 모델의 결과로 아웃풋을 냈었는데, 딥러닝 이후로 Raw데이터를 딥러닝 모델에 넣어주면 모델이 알아서 feature를 알아내고 아웃풋을 내는 형식으로 발전하게 되었습니다. (머신러닝 모델이 피처를 알아서 찾아준..

리스트에서 특정 요소 개수 구하기 - count 함수 fruits=['a', 'a', 'b', 'c', 'd', a', 'b', 'e', 'd', 'd', 'c', 'b', 'a'] fruits.count('a') -> 5 유일한 값 별로 개수 세기 - value_counts 함수 pd.Series.value_counts()

함수 종속(Functional Dependency)이란 데이터베이스의 관계(relation)의 각 속성(attribute) 사이에는 의존성이 존재하는데, 이 두 개의 속성 집합 간 제약의 일종 릴레이션 R에서 특정 속성 X가 특정고유속성 Y를 결정짓는 관계 ( 이때 X가 결정자, Y가 종속자 ) 정규화 과정에서 함수 종속성은 매우 중요하게 이용된다. 함수 종속성이란 두 필드의 집합이 mant-to-one(다대일) 관계로 사상되는 것을 말한다. 즉, 함수와 같이 어떠한 값을 통해 종속 관계에 있는 다른 값을 유일하게 결정할 수 있다는 것. 함수 종속의 성질 어떠한 테이블 RR에 대해 X, Y, Z라는 필드의 집합이 있을 때, 함수 종속은 다음과 같은 성질을 만족하며, 이를 암스트롱의 공리 (Armstron..

정규화란관계형 데이터베이스의 설계에서 중복된 데이터가 최소화되도록 데이터베이스의 구조를 만드는 것을 말함.정규화/ 비정규화는 데이터베이스 설계에 사용되는 프로세스이다. (프로세스란 실행 중에 있는 프로그램) 이미 만들어진 릴레이션들을 보다 바람직한 형태의 릴레이션으로 스키마를 변환하는 것.이상현상이 발생하는 릴레이션을 분해하여 이상현상을 없애는 것. 정규화를 하는 이유 정규화는 반복적인 자료를 제거하여 데이터의 중복을 감소시킴으로써 중복으로 인한 여러가지 이상현상을 제거할 수 있다. 이를 위해서 하나의 독립된 관계성이 하나의 독립된 릴레이션으로 나올 수 있도록 릴레이션을 분해해서 표현함무결성 제약조건의 시행을 간단하게 하기 위해서다양한 관점에서의 쿼리 지원을 위해서불필요한 데이터를 제거하고 중복을 최소화..

ERD(Entity Relationship Diagram) 데이터들 간 관계를 도식화한 그림 / 데이터베이스 구조를 한 눈에 알아보기 위해 그려놓는 다이어그램 ERD 왜 사용? 데이터베이스 사용시 ERD로 먼저 파악하면 수정할 부분이 생겼을 때 그 부분을 수정해서 쉽게 반영할 수 있다 & 데이터의 특징을 바로 볼 수 있어 개발 전 데이터베이스의 구조를 잡고 진행. ERD 용어 정리 Table name : 테이블 이름 Table logical name : 테이블 설명 PK : Primary Key (메인키) 설정 AI : Auto Increment (숫자 자동 증가)설정 FK : Foreign Key(외래키) 설정 NULL : 체크 시 NULL 허용 Logical Name : 컬럼 설명 Name : 컬럼 ..

데이터베이스란 여러 사람이 공유하여 사용할 목적으로 체계화해 통합, 관리하는 데이터의 집합. '데이터베이스'를 직역하면 '데이터의 기지'라는 뜻. 이 데이터 집합체(DB)는 DBMS에 의해 관리됨 DBMS : 데이터의 집합을 만들고, 저장 및 관리할 수 있는 기능들을 제공하는 응용 프로그램. 데이터 관리에 특화된 프로그램. DBMS 기능 : 중복 제어, 접근 통제, 인터페이스 제공, 관계 표현, 무결성 제약 조건, 백업 설계 단계 요구 조건 분석 -> 사용자들의 요구사항을 듣고 분석하여 데이터베이스 구축 범위 정함 개념적 설계 (ERD 사용) -> 분석된 요구사항을 기초로 주요 개념과 업무 프로세스 식별 핵심 Entity(독립개체) 도출하고 각 개체들 간의 관계 정의 ERD 작성 논리적 설계(본격적 스키..