mysqld dead but subsys locked

 

최근 제가 사용한던 가상서버 호스팅 서비스가 중간된 적이 있습니다.

요금 미납으로 서비스가 종료되어버린 상황입니다.

다행히, 요금은 다시 납부하였고,  서버호스팅 서비스는 다시 이용할 수 있었죠.

 

먼저 확인한것은 호스팅에 연결되어 있던,  개인 블로그가 잘 살아있는 지 였습니다.

블로그가 죽어 있더군요.

 

서버에서 먼저 두가지를 확인합니다.

service httpd status

-> httpd (pid  2028) is running…

 

아파치 웹서버 데몬은 잘 살아 있습니다.

 

service mysqld status

-> mysqld dead but subsys locked

mysql 데몬은 죽었습니다. 그런데.. 락이 걸려 있습니다.

유추는 가능합니다…. 아.. 호스팅업체 가상서버 운영자가.. 제 서버를 그냥 Shutdown… 했네요…. 나쁘다..ㅠㅠ

 

/var/lock/subsys/mysqld 파일을 찾습니다.

이 파일은 mysql 서비스가 startup 될때는 생성되고, shutdown 될때는 삭제됩니다.

현재 mysql 데몬이 죽었는데. 이 파일이 남아 있다는걸로.. 예외상황이 발생했음을 확인했습니다.

 

조치

rm -rf /var/lock/subsys/mysqld

service mysql status

-> mysqld is stopped

/var/lock/subsys/mysqld 파일은 0바이트 파일입니다.

평소에도 서비스가 중지되면 삭제되는 파일이라. 별도 보관하지 않고 삭제하였습니다.

 

다시 mysql 데몬 상태를 확인하니.. 서비스가 중지되었다는 상태를 제대로 알려 줍니다.

 

service mysqld start

-> Starting mysqld:                                             [ OK ]

이제 mysql 데몬을 시작해봅니다.

정상적으로 블로그가 잘 작동합니다.

 

이상입니다.

Mysql 한글 깨짐 문제(Incorrect string value)

에러내용

java.sql.SQLException: Incorrect string value: ‘\xED\x83\x80\xEC\x9D\xB4…’ for column ‘title’ at row 1

확인 할 내용

show variables like ‘c%’;

조치

rpm이나 yum으로 mysql을 설치한 경우.

vi /etc/my.cnf

아래와 같이 설정 추가

character-set-server = utf8
collation-server = utf8_general_ci

 

Mysql 재시작(centos 6.8 기준)

service mysqld restart

 

조치내용 확인

 

테스트 시에도 동일한 에러가 발생하여, 아래와 같이 조치 후 SQL 실행을 재 시도 하였습니다.

ALTER TABLE 테이블명 convert to charset utf8;

 

위와 같은 방법으로 해당 에러를 해결하였습니다.

 

RODBC 설치 시 의존성 해결(Dependencies)

R 패키지 설치는 의존성 문제가 왕짜증나서.. 해결되는 족족 적습니다.

최초 R 설치 이후  install.packages(“RODBC”) 실행시 발생하는 문제 해결.

"ODBC headers sql.h and sqlext.h not found"

먼저 centos 기준으로 unixODBC unixODBC-devel 설치하고,

install.packages(“odbc”) 설치한 후, 다시 install.packages(“RODBC”) 진행하면 됨.

 

 

 

selenium 설치하기

아나콘다에 selenium 설치

navigator에서 검색이 안됨.  구글링 해보니, 아래와 같이 설치가능(rillet)

conda install -c conda-forge selenium

자.. 이제 어여 크롤링 하자..ㅎ

 

919-780-4309

CentOS로 mysql 설치방법

(CentOS 7을 기준으로 설명되었습니다)

2018년 1월 10일 현재. 5.7버젼이 안정화 버젼으로 확인됨

저장소 추가

yum localinstall /dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

MySQL 5.7 설치

yum -y mysql-community-server

MySQL 서비스 시작
systemctl start mysqld
부팅시 자동 시작 설정
systemctl enable mysqld

 

MySQL 접근

mysql -uroot -p mysql

해당 메시지 발생.

ERROR 1045 (28000): Access denied for user ‘root’@’localhost’ (using password: NO)

 

MySQL root 비밀번호 초기화

systemctl stop mysqld

vi로 my.cnf  접근

vi /etc/my.cnf

 

skip-grant-tables  문구 추가

skip-grant-tables

MySQL 서비스를 다시 시작
systemctl start mysqld

 

다시 MySQL 접근

mysql -uroot -p mysql

MySQL 데이터베이스 접근

use mysql

root 비밀번호 변경

UPDATE mysql.user SET authentication_string=PASSWORD(‘다시 접근하기 위한 비밀번호’) WHERE User=’root’ AND Host=’localhost’;

적용하기

flush privileges;

MySQL 나가기

exit

 

작업이 끝나면 /etc/my.cnf 파일을 다시 원래대로 수정

 

MySQL데몬 재 시작

다시 MySQL에 접근

원하는 비밀번호 지정

SET PASSWORD = PASSWORD(‘사용할 비밀번호’);

혹시라도 아래와 같이 뜨면

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

대처 방법 중 하나는 비밀번호 복잡도 규칙 수정. 자세한 내용은 (250) 379-3994참조

SET GLOBAL validate_password_policy=LOW;

이후 다시 원하는 비밀번호 지정. 적용하고 나가기.

flush privileges;

exit

 

 

Hadoop CDH 설치(2)

OS까지 설치 했습니다.

클라우데라 매니져 설치과정에서 오라클 JAVA를 설치하는 과정이 포함되어 있으므로, 아래 JAVA 설치작업을 생략하겠습니다.

 

마스터 노드로 1번,  슬레이브로 2,3,4번으로 사용할 것입니다.

클라우데라 홈페이지에 들어가 다운로드를 진행하시면, 재배포, 재사용금지 동의절차를 거쳐, 해당페이지의  설명대로 wget 명령어를 실행하시어 파일을 다운 받으시면 됩니다.

그리고 다운받은 파일권한 올리셔서,  sudo권한으로 실행하시면 됩니다.

 

이후는 설치과정에서 참고할 만한 내용 적어드립니다.

앞에서 자바 설치 없이 작업 시작하였으나, 설치 초반에 자바 설치 체크 박스 클릭 하시고 작업 진행하시면 됩니다.

 

노드 등록시, 각각 서버에 호스트 파일 수정이 필요합니다. 아래 경로에 vi로 진입하여 각각 노드에 대한 호스트 정보 등록하시면 됩니다.

vi /etc/hosts

 

방화벽의 경우는 설치 중 열어야 할 포트들이 있지만, 제 경우는 시간 상 방화벽을 내리고 작업을 진행하였습니다.

하둡 클러스터 구축시 열어야 할 포트들이 엄청 많습니다.. 열어야 할 방화벽에 대한 정보가 없다면 오히려 방화벽을 내리고 시작하는게 빠르리라 생각됩니다. 참고 부탁드립니다.

 

이후 노드을 등록하시고, 다음 단계 작업 진행하시면 됩니다.

 

hive, hue, oozie는 각각 관리 데이터베이스 지정이 필요합니다. 제 경우는 관리 데이터베이스를 전부 mysql로 진행하였습니다.

mysql은 사전에 별도로 설치하였고,  내부에 각각 이름으로 데이터베이스 설치와 유저 생성을 진행하였습니다.

그리고 해당 유저에게 새롭게 생성한 데이터베이스 모든 사용권한을 각각 부여하였습니다.    제 경우는 581-834-0886 와 같이 작업 진행하였습니다.

 

마지막에 가서 최종 점검 단계에서 노란색으로 경고 띄우는 것들에 대해선 아래와 같이 대응하였습니다.

  • 스왑메모리 활용도를 줄일것.

일단 아래와 같이 조치하고

sysctl vm.swappiness=10

재부팅 상황을 대비해 아래와 같이 조치.

vi /etc/sysctl.conf

추가)  vm.swappiness = 10

 

  • Transparent Huge Pages기능 사용을 중지할 것.

일단 아래와 같이 조치하고

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

재부팅 상황을 대비해 아래와 같이 조치.

vi /etc/rc.local

추가)

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

설치과정에 잡히지 않는 노드들도 클라우데라 매니저 설치이후 생성된 클러스터에서 추가로 지정하실 수 있으므로, 당황하지 마시고 계속 진행하셔도 됩니다.

후반의 어플리케이션 설치부분도 생성된 클러스터에서 재 조정할 수 있으니 당황하지 마시고, 무사히 설치 마무리하시길 바랍니다.

 

설치 후에는  ntp 데몬을 설치하셔야  정상으로 사용이 가능하오니 참고부탁드립니다. 아래 명령어로 설치하시고, 실행하시면 됩니다.  사용하게 될 ntp 서버는 통신상태 확인까지 해주세요.

yum install ntp

service ntpd start

 

새벽시간 작업 시,  노드별로 설치과정에서 진행과정에서 타임아웃이 나는 경우가 있었습니다.

아마도 클라우데라 서버에서 파일다운로드 중 발생하는 문제 같은데, 혹시라도 장기간 딜레이가 날 경우 참고 바랍니다.

나중에 로그 보면 다운로드 실패를 유추할 수 있습니다.

 

설치도중 쌓이는 로그  디렉토리 위치입니다.

/var/log/cloudera-manager-installer

 

설치하고 오래지나 글을 쓰니

좀 더 자세하게 쓰지 못해서 조금 아쉽네요.  읽어주셔서 감사합니다.

VSCode-GitHub 연동

  • VSCode를 설치한다.
  • Git-SCM을 설치한다.
    1. 처음에는 이해 안됬으나.. 결과적으로  일단 먼저 Git-SCM을 깔고나서, Git-Hub 연동해야된다.
    2.  Git-SCM설치 없이,  진행하면 VSCode에서 컴퓨터에서 Git프로그램을 찾을 수 없습니다.. 이런식의 에러 발생.
  • 상단 메뉴 > 도움말 > 시작 클릭
  • 시작에서 ‘Git 리포지토리 복제..’ 클릭합니다.
  • (도움말 > 시작으로 들어가지말고, 보기 > 명령 파레트 클릭후 명령창에 git clone이라고 입력해도 똑같은 작업할 수 있음 –  2018.02.22일 추가)
  • 그리하면..  위에 상단에 URL입력을 위한 입력창이 나타나는 것까지 확인!
    1. 그 아래 설명풍선도 같이 보일겁니다.
    2. 내용은 “리포지토리 URL(확인하려면 Enter키를 누르고, 취소하려면 ‘Escape’키를 누름)”
  • GitHub 들어가서 내가 생성해 놓은 프로젝트 URL 복사하여 Ctrl+V.
  • 엔터치면 부모디렉토리를 입력하라고 나옴..
    1. ‘GitHub에서 가져온 프로젝트 파일을 어디다가 저장할꺼야?’ 라는 얘기이므로.. 원하는 경로 적어주고 다시 Enter
  • 그리하면 VSCode에서  GitHub에 올려놯던 프로젝트가 두둥.

407-337-0076

데이터 분석의 6가지 유형

먼저, 데이터 분석을 통해 무엇이 알고 싶은가?

그리고 어떤 유형을 이용해서 분석해야 하는가?

 

 유형1. 데이터 요약/집계하기

단순히 Fact만을 나열한 것.  다른사례에 적용하지 생각할 수 없다.

 

유형2. 여러변수간 비교를 통해 트렌드, 패턴, 관계 분석하기

변수의 갯수가 많을 수록 흥미로운 결과가 나옴.

변수간 관계는 어떻게 정의하냐에 따라 무궁무진하므로..  분석 목적이 분명해야함.

 

유형3. 샘플-모집단 간 관계 탐구

유형 4. 정확한예측. 미래에 혹은 발생하지 않을 사건에 대한 연구.

모든 변수를 활용하여 예측력을 높이는 것이 관건

확장 – 의사결정에 따라 어떤 예측결과가 도출되는지 분석하기도 함.

 

유형5. 랜덤한 독립변수 -> 종속변수간의 인과관계 분석.

어떤 독립변수를 넣으면 어떤 결과가 나온다는 식.  실험데이터를 사용

여러개의 변수를 활용하는 Multi variable regression

범주형 변수를 활용하는 Logistics regression 이 있음.

 

유형6. 독립변수가 어떤 메카니즘으로 종속변수에 영향을 미치는지 과정에 대한 연구

이또한 실험데이터를 사용함.

 

결론 : 가지고 있는 데이터로 무엇을 알고 싶은가?

 

링크 : 원본

(801) 549-8501

비밀번호는 알아서 변경하시길. userpassword 이부분.,

 

create database hive;

create user ‘hive’@’%’ identified by ‘userpassword’;

grant all privileges on hive.* to ‘hive’@’%’;

 

create database hue;

create user ‘hue’@’%’ identified by ‘userpassword’;

grant all privileges on hue.* to ‘hue’@’%’;

 

create database amon;

create user ‘amon’@’%’ identified by ‘userpassword’;

grant all privileges on amon.* to ‘amon’@’%’;

 

create database rman;

create user ‘rman’@’%’ identified by ‘userpassword’;

grant all privileges on rman.* to ‘rman’@’%’;

 

create database oozie_server;

create user ‘oozie_server’@’%’ identified by ‘userpassword’;

grant all privileges on oozie_server.* to ‘oozie_server’@’%’;

 

flush privileges;

 

 

Mysql 비밀번호 복잡도 변경. ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

Mysql 비밀번호 복잡도 변경.

 

발생 상황. 계정비밀번호를 변경 또는 신규로 추가하려는 경우.

create user userid@localhost identified by ‘password’;

에러메세지.

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

 

비밀번호 복잡도 설정 확인.

show global variables like ‘%vali%’;

mysql> show global variables like ‘%vali%’;

+————————————–+——–+
| Variable_name | Value |
+————————————–+——–+
| query_cache_wlock_invalidate                | OFF |
| validate_password_check_user_name   | OFF |
| validate_password_dictionary_file         |         |
| validate_password_length                        |   8    |
| validate_password_mixed_case_count   |   1   |
| validate_password_number_count         |   1   |
| validate_password_policy                         | MEDIUM   |
| validate_password_special_char_count |  1   |
+————————————–+——–+
8 rows in set (0.00 sec)

 

비밀번호 복잡도 변경.

SET GLOBAL validate_password_policy=LOW;

 

이후 다시 시도시, 비밀번호 변경 가능.

create user userid@localhost identified by ‘password’;
Query OK, 0 rows affected (0.02 sec)