DATA

[DATA/기타] conda 가상환경에서 CUDA, cuDNN 설치하기

내가 돌리는 코드에 따라 요구되는 환경이 다르다보니 각 프로젝트별로 다른 CUDA, cuDNN 설치가 필요할 수 있다. 물론 로컬에 필요한 버전들을 모두 깔아두고서 환경변수를 바꿔가며 쓸 수도 있다. 하지만 이 방법은 너무 비효율적이다. 따라서 conda 환경 내에서 CUDA와 cuDNN을 설치하여 사용해보자.conda 가상환경에서 CUDA, cuDNN 설치$ conda install cudatoolkit==[버전]$ conda install cudnn==[버전]위와 같이 설치하면  가상환경 내에 시스템 간섭을 최소화하며 여러 버전을 관리할 수 있다.

[DATA/기타] Windows tensorflow-gpu 설치

CUDA, cuDNN 설치https://www.tensorflow.org/install/source_windows?hl=ko#gpu Windows의 소스에서 빌드,Windows의 소스에서 빌드  |  TensorFlow이 페이지는 Cloud Translation API를 통해 번역되었습니다. Windows의 소스에서 빌드,Windows의 소스에서 빌드 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 소스에www.tensorflow.org위 링크에서 설치하려는 tensorflow-gpu 버전에 맞는 CUDA와 cuDNN을 확인하고 설치합니다.(설치에 어려움이 있다면 여기를 참고하세요.)tensorflow-gpu 설치저는 버전 2.10.0을 사용했습니다. 아래 명령어를 입력하여..

[DATA/기타] Windows에서 CUDA, cuDNN 설치하기

NVIDIA 드라이버 설치NVIDIA 드라이버 다운로드 페이지에서 GPU에 맞는 드라이버를 다운로드하고, 설치해줍니다.GPU 모델명 및 드라이버 버전 확인명령 프롬프트를 열고 nvidia-smi를 입력해줍니다.위에서 알 수 있는 정보는 아래와 같습니다.제 그래픽카드는 RTX 3060입니다.설치된 드라이버 버전은 560.94입니다.이 드라이버는 CUDA 12.6을 지원합니다.내 컴퓨터에 맞는 CUDA 버전 찾기위에서 CUDA 12.6버전을 지원함을 알 수 있었지만, 올바른 CUDA Toolkit 버전을 한 번 더 확인하기 위해서 CUDA 호환성 페이지에서 드라이버 버전 별로 지원하는 CUDA 버전을 확인합니다.CUDA Toolkit 다운로드CUDA Toolkit Archive에서 알맞은 버전의 CUDA T..

[데이터 사이언스] pandas

pandas란? 원래 데이터 사이엔스에서는 파이썬보다 R이 훨씬 인기가 많았습니다. R은 애초에 통계를 위해 만들어진 언어이기 때문에 데이터 분석에 파이썬보다 적합했습니다. 그러다가 개발자들이 R의 장점을 파이썬으로 베껴오기 시작했습니다. R에서 데이터를 보관, 분석 시 가장 핵심적 역할을 한 게 DataFrame인데, 파이썬의 pandas 그 DataFrame을 사용할 수 있게 해놓은 라이브러리입니다. pandas는 numpy를 이용해서 만들어졌으므로 numpy의 기능들은 pandas에 기본적으로 있다고 보면 되고, 거기에 추가로 데이터 분석, 정리, 외부 데이터 읽고 쓰기 등 편리한 기능들이 추가된 것이 pandas입니다. pandas로 DataFrame 만들어보기 HTML 삽입 미리보기할 수 없는 ..

[데이터베이스] 테이블 생성하기

1. CSV 파일로 테이블 생성하기 테이블을 생성하는 방법은 크게 2가지가 있습니다. SQL 문으로 생성하는 방법 CSV 파일을 import 해서 테이블로 만드는 방법 지금은 데이터베이스와 테이블이 이미 존재하고, 그 안에 데이터도 이미 저장된 상황을 가정하고 데이터를 분석하는 것에 집중해서 공부해볼 것이므로 두 번째 방법을 이용해서 테이블을 만들어 볼 것입니다. 나는 codeit을 이용해서 공부하고 있으므로 codeit에서 제공하는 CSV 파일을 이용합니다. CSV는 Comma Separated Values의 약자로, 모든 값들이 ,로 구분된 형식의 내용을 가진 파일을 말합니다. 컴퓨터에 MS Office가 설치되어 있다면 아마 CSV파일이 Excel로 열리게 되어있을 텐데, CSV 파일의 가장 raw..

[데이터베이스] 데이터베이스 기본 개념

1. 데이터베이스와 테이블 데이터베이스: 일정한 체계 속에 저장된 데이터의 집합 데이터는 보통 데이터베이스 안에서 table(표)이라는 단위로 저장됩니다. 2. 테이블의 row와 column row: 개체 하나를 나타내는 단위 column: 개체 각각이 갖는 속성 하나하나를 나타내는 단위 3. DBMS와 SQL DBMS: DataBase Management System(데이터베이스 관리 시스템), 데이터베이스를 관리하기 위한 프로그램 이런 DBMS에도 MySql, Oracle, MS SQL Server, MariaDB, SQLite 등이 있는데 사용자가 골라서 사용하면 됩니다. 데이터베이스를 구축하는 것도 DBMS를 선택하는 것에서 시작합니다. DBMS를 선택하고 사용하면 DBMS가 내부적으로 알아서 미..

[머신 러닝] RNN과 CNN을 사용해 시퀀스 처리하기

미래를 예측하는 것은 우리가 늘 하는 일입니다. 이번 포스트에서는 미래를 어느 정도 예측할 수 있는 네트워크인 순환 신경망을 알아보겠습니다. 이 신경망은 시계열 데이터를 분석해서 주식가격 같은 것을 예측해 언제 사고팔지 알려줄 수 있습니다. 일반적으로 이 신경망은 지금까지 봤던 모든 네트워크처럼 고정 길이 입력이 아닌 임의 길이를 가진 시퀀스를 다룰 수 있습니다. 예를 들어, 문장, 문서, 오디오 샘플을 입력으로 받을 수 있고, 자동 번역, 스피치 투 텍스트같은 자연어 처리(NLP)에 매우 유용합니다. 순환 뉴런과 순환 층 지금까지는 활성화 신호가 입력층에서 출력층으로 한 방향으로만 흐르는 피드포워드 신경망에 초점을 맞추었습니다. 순환 신경망은 피드포워드 신경망과 매우 비슷하지만 뒤쪽으로 순환하는 연결도..

[머신 러닝] 합성곱 신경망을 사용한 컴퓨터 비전

합성곱 신경망(CNN)은 대뇌의 시각 피질 연구에서 시작되었고 1980년대부터 이미지 인식 분야에 사용됐습니다. CNN은 이미지 검색 서비스, 자율주행 자동차, 영상 자동 분류 시스템 등에 큰 기여를 했습니다. 또한 CNN은 시각 분야에 국한되지 않고 음성 인식이나 자연어 처리(NLP) 같은 다른 작업에도 많이 사용됩니다. 그러나 이번 포스트에서는 시각적 애플리케이션에 초점을 맞추겠습니다. 합성곱 층과 풀링 층부터 시작해서 하나하나 알아보겠습니다. 합성곱 층 합성곱 층은 CNN에서 가장 중요한 요소입니다. 첫 번째 합성곱 층의 뉴런은 입력 이미지의 모든 픽셀에 연결되는 것이 아니라 합성곱 층 뉴런의 수용장 안에 있는 픽셀에만 연결됩니다. 두 번째 합성곱 층에 있는 각 뉴런은 첫 번째 층의 작은 사각 영역..