테미남

1. 워드 임베딩(Word Embedding) 단어를 컴퓨터가 이해하고, 효율적으로 처리할 수 있도록 단어를 벡터화하는 기술 단어를 밀집 벡터의 형태로 표현하는 방법 워드 임베딩 과정을 통해 나온 결과를 임베딩 벡터 워드 임베딩을 거쳐 잘 표현된 단어 벡터들은 계산이 가능하며, 모델에 입력으로 사용할 수 있음 워드 임베딩(Word Embedding)은 자연어 처리에서 사용되는 단어의 수치적 표현입니다. 텍스트 데이터는 컴퓨터가 이해하기 어려운 형태이지만, 워드 임베딩을 통해 단어를 고차원 벡터로 표현함으로써 컴퓨터가 처리하기 쉬운 형태로 변환됩니다. 워드 임베딩은 단어들 간의 의미적 관계와 유사성을 보존하면서 단어들을 공간 상에 배치하는 방식으로 동작합니다. 이를 위해 단어의 문맥 정보를 활용하거나 대규..

카테고리 없음 2023. 6. 26. 17:43

임베딩은 고차원의 데이터를 저차원의 벡터 공간으로 매핑하는 기술입니다. 이러한 임베딩은 주로 기계학습 모델에서 입력 데이터를 처리하고 표현하는 데 사용됩니다. 임베딩은 데이터의 특성을 보존하면서 벡터 형태로 표현함으로써 기계학습 알고리즘에 데이터를 효과적으로 제공할 수 있습니다. 일반적으로, 임베딩은 원-핫 인코딩과 달리 실수 벡터로 표현됩니다. 각 차원은 특정한 의미를 나타내며, 벡터 공간에서의 거리와 유사도를 활용하여 데이터 간의 관계를 파악할 수 있습니다. 예를 들어, 단어 임베딩에서는 단어 간의 의미적 유사성을 계산할 수 있으며, 이미지 임베딩에서는 유사한 이미지를 찾을 수 있습니다. 임베딩은 다양한 방법으로 생성될 수 있습니다. 일부 주요한 임베딩 기법은 다음과 같습니다: 1. Word2Vec:..

카테고리 없음 2023. 6. 26. 17:43

1. 코퍼스(Corpus) 사전적인 의미는 "말뭉치", "대량의 텍스트 데이터"를 말함 자연어처리 연구나 애플리케이션 활용을 염두에 두고 수집된 텍스트 데이터셋을 의미 코퍼스(Corpus)는 자연어 처리와 텍스트 분석 작업을 수행하기 위해 사용되는 텍스트 데이터의 집합을 의미합니다. 코퍼스는 텍스트 문서, 문장, 단어 또는 다른 텍스트 단위로 구성될 수 있으며, 주어진 작업의 목적에 따라 다양한 형태를 가집니다. 코퍼스는 보통 특정 주제, 언어, 도메인 또는 장르에 따라 구분될 수 있습니다. 예를 들어, 영어 뉴스 기사 코퍼스, 의료 문서 코퍼스, 소설 코퍼스 등이 있을 수 있습니다. 각각의 코퍼스는 해당 주제나 도메인에 관련된 텍스트 데이터를 포함하고 있습니다. 코퍼스는 자연어 처리 작업에서 중요한 역..

카테고리 없음 2023. 6. 26. 17:42

1. 자연어 프로그래밍 언어와 같이 인공적으로 만든 기계 언어와 대비되는 단어로, 우리가 일상에서 주로 사용하는 언어 1-1. 자연어처리 컴퓨터가 한국어나 영어와 같은 인간의 자연어를 읽고 이해할 수 있도록 돕는 인공지능의 한 분야 자연어에서 의미 있는 정보를 추출하여 활용 기계가 자연어의 의미를 이해하게 함 기계가 사람의 언어로 소통할 수 있게 함 자연어 처리(Natural Language Processing, NLP)는 인간의 자연어를 컴퓨터가 이해하고 처리할 수 있도록 하는 컴퓨터 과학 분야입니다. NLP는 컴퓨터가 자연어 문장이나 문서를 이해하고 분석하여 의미를 추출하거나 필요한 작업을 수행할 수 있도록 합니다. NLP는 다양한 기술과 알고리즘을 사용하여 자연어의 다양한 측면을 다룹니다. 이러한 ..

카테고리 없음 2023. 6. 26. 17:42

6. 데이터의 특징요약 - 'kid_score': 아이의 점수(kid_score)의 평균은 약 86.8이며, 최소값은 20, 최대값은 144입니다. 표준편차는 약 20.4입니다. 25% 분위수는 74, 50% 분위수는 90, 75% 분위수는 102입니다. - 'mom_hs': 어머니의 학력(mom_hs)은 0 또는 1로 표현되며, 1의 비율(평균)은 약 78.6%입니다. 이는 학력을 가진 어머니의 비율을 나타냅니다. - 'mom_iq': 어머니의 지능지수(mom_iq)의 평균은 약 100.0이며, 최소값은 71. 04, 최대값은 138.89입니다. 표준편차는 약 15.0입니다. 25% 분위수는 88.66, 50% 분위수는 97.92, 75% 분위수는 110.27입니다. - 'mom_work': 어머니의 ..

카테고리 없음 2023. 6. 21. 10:14

1. 순환 신경망(Recurrent Neural Network) 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델 시퀀스: 번역하고자 하는 단어의 문장 연속적인 데이터를 NN에 하나씩 순차적으로 넣어 처리하는 모델 CNN이란? CNN은 "Convolutional Neural Network"의 약자로, 컴퓨터 비전 및 패턴 인식 작업에 사용되는 인공 신경망의 한 종류입니다. 컴퓨터 비전 작업에 적합하도록 설계된 CNN은 이미지 및 비디오 처리, 객체 탐지, 얼굴 인식, 자율 주행 등 다양한 분야에서 널리 사용됩니다. CNN은 주로 이미지 처리에 적합한 구조와 계층 구조를 가지고 있습니다. 일반적으로 세 가지 주요 컴포넌트로 구성됩니다: 합성곱 계층(Convolutional Layer), 풀링 계층(Pool..

카테고리 없음 2023. 6. 21. 10:14

valid, test data의 차이 validation data: 하이퍼 파라미터 튜닝 등 성능의 차이를 검증, 모델 학습에 사용되지 않지만 관여는 함 test data: 모델의 성능에 영향을 미치지 않고 단지 최종적으로 모델의 성능을 평가 1. 포켓몬 149종 분류 Train: https://www.kaggle.com/datasets/thedagger/pokemon-generation-one Validation: https://www.kaggle.com/datasets/hlrhegemony/pokemon-image-dataset (디렉토리 비교 후 Train 데이터에 있는 클래스만 전처리함) Pokemon Generation One Gotta train 'em all! www.kaggle.com Co..

카테고리 없음 2023. 6. 21. 10:13

1. 에일리언 vs 프레데터 데이터셋 https://www.kaggle.com/datasets/pmigdal/alien-vs-predator-images 케글 로그인 -> 계정 클릭 -> Your Profile -> Account -> API 항목에 Create New Token -> Json 다운로드 {"username":"parksungmin123","key":"5c0610bb27a642cabcd0fdf8c118d541"} 이 출력 2. 이미지 증강 기법(Image Augmentation) 원본 이미지(데이터)를 조작하여, 원본과는 크고 작은 변화를 가진 이미지를 생성 일반적으로 모델 성능이 좋아짐 Over fitting 방지 https://pytorch.org/vision/master/transfo..

카테고리 없음 2023. 6. 21. 10:13