J's Study log

이미지(image): 컨테이너를 실행하기 위한 설정값과 다른 모든 것을(코드, 런타임, 라이브러리, 환경변수, 설정파일 등) 포함하는 정적 파일 컨테이너(Container): 이미지의 인스턴스, 독립된 가상환경 파드: 하나 이상의 컨테이너 그룹이며, 쿠버네티스에서 생성하고 관리 및 배포가 가능한 가장 작은 컴퓨팅 단위이다. 이 그룹은 스토리지 및 네트워크를 공유하고, 해당 컨테이너를 구동하는 방식에 대한 명세를 갖는다. 파드 중 일부는 컨테이너에 대한 자원(볼륨과 같은, 공유 스토리지 / 클러스터 IP주소와 같은, 네트워킹 / 컨테이너 이미지 버전 또는 사용할 특정 포트 등, 각 컨테이너가 동작하는 방식에 대한 정보)을 공유할 수도 있다. 파드는 직접 만들 필요는 없으며, 디플로이먼트 또는 잡과 같은 워..

구글은 검색에서 방대한 규모의 인터넷 문서를 다룬다. 구글 검색엔진이 발전하던 중 헤아릴 수 없는 양의 문서를 다루고 index를 만드는 것이 당시 RDBMS 같은 전통적인 저장시스템 뿐만 아니라 어떤 프로그래밍 수단으로도 불가능했다. 따라서 구글은 이 문제를 해결하기 위해 GFS(Google File System), MapReduce, BigTable 등을 만들어 냈다. GFS는 클러스터 안에서 상용 서버에 장애 내구성이 있는 분산 파일 시스템을 제공했고, BigTable은 GFS를 기반으로 구조화된 대규모 데이터의 저장 수단을 제공했다. MapReduce는 함수형 프로그래밍 개념을 기반으로 GFS와 빅테이블 위에서 대규모 데이터 분산 처리가 가능한 새로운 병렬 프로그래밍의 패러다임을 소개했다. 먼저 ..

24.02.28 넥슨 데이터 분석가 현직자 인터뷰 이후, 인터뷰 내용에 맞춰 공부 계획 수정(예정) 2024.02 - 기계학습 이론 복습 및 Hadoop Ecosystem 개념 이해 1주차: 기계학습 이론 심화 학습 및 복습 학습 내용: 지도학습, 비지도학습, 강화학습 이론 실습: 간단한 기계학습 모델 구현 및 테스트 2주차: 딥러닝 이론 심화 학습 및 복습 학습 내용: 신경망, 컨볼루션 신경망, 순환 신경망 실습: 딥러닝 모델 구현 및 실험 3-4주차: Hadoop 개념 이해 및 활용 학습 내용: Hadoop 이론 및 사용법 실습: Hadoop 환경 설치 및 공부한 이론 실습 2024.03 - 빅데이터 처리 및 분산 시스템 1-2주차: SQL/NoSQL 데이터베이스 학습 및 실습 학습 내용: SQL 기..

이번에 취업을 위해 OPIc 시험을 치뤘다. 3일도 준비하지 못했지만, 운좋게도 목표했던 IH 등급이 바로 나왔다. 내가 오픽 시험을 준비하면서 가장 집중적으로 공부한 것은 단 두가지이다. 1. 여러가지 필러 검색 및 숙지 2. 내가 선택할 주제 관련 키워드가 될 단어 선정 및 암기 우선 시험 전략을 세우기 위해, 시험 관련 정보를 모았다. 찾아보니 오픽 시험은 Speaking 시험이기 때문에, 자연스러운 발화가 굉장히 중요한 평가 요소라고 한다. 따라서 나는 여러 영어 필러들을 검색하고 숙지해두었다. (Umm, I mean, Kind of 등, 실제로 평가에 필러가 중요하다는 말이 많았다.) 필러를 적절하게 사용하는 것에 대해서는, 초딩 때 캐나다에 1년 유학을 다녀온 기억이 도움이 되었다. 이 부분은..

선형모델과 비선형모델의 구분 선형 모델 vs 비선형 모델 선형 모델과 비선형 모델의 구분이 헷갈려 추가로 작성해놓았다. 우선, 아래 그림에서 왼쪽이 선형모델일까? 오른쪽이 선형모델일까? 정답: 둘 다 선형모델로 표현이 가능하고, 선형모델이 될수있다. 선형모델의 정의부터 알아보자. 1. 선형모델이란? 선형모델이란 "머신러닝 공식에서 계수들이 선형결합의 관계에 있을 때의 모델"을 말한다. 선형결합이란 "두개의 벡터의 합"을 의미한다. 또한, 선형모델은 언제나 직선모양으로 그려지지 않는다. 위에서 언급한대로 가중치들이 선형결합을 하고 있으며, 선형모델이 되기 때문에 곡선인 그래프가 그려질수도 있다. 즉,'가중치가 어떻게 결합되어 있는지에 따라서 선형이 되고 안되고 결정된다'라고 정의 할 수 있습니다. 2. 비..

Gradient Descent 우리가 Gradient Descent를 사용하는 목적은 당연히 Cost Function의 최솟값을 찾기 위해서이다. Gradient Descent는 아래 사진에 보이는 이론으로 optimal 𝜃 값을 찾는다. 미분결과값이 양수인 경우, 양수방향으로 이동시키기 위해서 𝜃 값을 증가시킨다. 반대로, 미분결과값이 음수인 경우에는 𝜃 값을 감소시킨다. 연산을 수행할 때, 𝛂(learning rate) 값을 곱해준다. Learning Rate 머신러닝에서 "learning rate"(학습률)은 모델의 학습 속도를 제어하는 매개변수다. 학습률은 Gradient Descent와 같은 최적화 알고리즘에서 사용되며, 모델 파라미터를 업데이트하는 간격을 결정한다. 학습률이 너무 높으면, 모델..