My Notes

OSX Lion, apache bench "Connection reset by peer"

2012-01-23T06:42:00.000-08:00

Obecnie testuje różne kontenery http na jruby, oprócz uruchomienia i testu z przegladarki zależy mi na określeniu jaka będzie strata/zysk przy konwersji MRI->JRUBY. Naturalnym dla mnie narzędziem do takich testów jest ab z pakietu apache utils.

Jakie było moje zdziwienie kiedy zamiast czasu otrzymałem błąd:


$ ab.old -n100 -c40 http://localhost:3000/
This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking localhost (be patient)...Send request failed!
Send request failed!
Send request failed!
apr_socket_recv: Connection reset by peer (54)
Total of 3 requests completed

pół dnia spędziłem, zmieniając serwery, zmieniłem również implementacje javy na openjdk, wszystko na nic, aby pod koniec dnia natrafić na odpowiedz na superuser. Czemu wcześniej na to nie trafiłem? A kto by podejrzewał ab...

Okazało się że ab dostarczany z osx ma ten błąd i należy przekompliować ab z źródeł. no comment

UPDATE: po kompilacji dostłem nowy błąd "bind: address family not supported by protocol family 47", tu znowu wkracza osx ktory za localhost podstawia adres IPv6. Rozwiązanie polegało na usunięciu wpisów ipv6 z /etc/hosts powiązanych z localhostem

vimdiff on directories

2011-09-19T01:05:00.001-07:00

Jedyną rzeczą której mi brakowało w gedit/rubymine było porównywanie katalogów, prawde mówiąc był to jedyny powód dla którego korzystałem od czasu do czasu z Eclipse/Aptana gdzie to działało rewelacyjnie.
Do teraz, bo właśnie znalazłem plugin DirDiff:

http://www.vim.org/scripts/script.php?script_id=102

wystarczy wpisać:

:DirDiff katalog1 katalog2

a oto efekt:

XBMC match movie title based on filename

2011-07-24T08:44:00.001-07:00

Bardzo często zdarzało mi się że XBMC przydzielał niepoprawny film z imdb na podstawie dziwnej nazwy pliku np: "rx-hl-720p-dtshd.mkv"
Z poziomu interfejsu XBMC znalezienie takich nieprawidłowości było niemożliwe.

Większość moich filmów ma poprawne nazwy katalogów więc pomyślełem że mogę użyć nazwy katalogu do weryfikcaji tego co XBMC przypisał do danego pliku na dysku.

XBMC składuje swoje dane w sqlite i ma ładny opis co gdzie leży. W związku z tym napisałem króciutki programik do weryfikacji mapowań XBMC:


require 'rubygems'
require 'sqlite3'

STOPWORDS = [ "the", "ii", "iii", "iv", "v", "vi", "3d"]
WHITELIST = YAML.load_file(ENV['HOME'] + '/bin/xbmc-verify.yml')

def detect_movie(title, path)
  words = title.downcase.gsub(/[^a-z0-9]+/, " ").gsub(/ +/, " ").split(" ")
  words.delete_if { |w| STOPWORDS.include? w }
  dir = path.downcase
  included = words.collect { |w| dir.include?(w) ? true : nil }.compact
  included.length == words.length
end

db = SQLite3::Database.new ENV['HOME'] + "/.xbmc/userdata/Database/MyVideos34.db"

db.execute("select c00, c16, strPath from movieview" ) do |row|
  next if WHITELIST.include? File.basename(row[2])
  unless detect_movie(row[0], row[2]) or detect_movie(row[1], row[2]) 
    movie_title = row[1]
    movie_title << " (#{row[0]})" if row[0] != row[1]
    puts "!!! #{movie_title} - #{row[2]}"
  end
end

Windows 7

2011-05-28T08:11:00.000-07:00

Ponieważ w najbliższej przyszłości czeka mnie (o zgrozo!) naprawa dwóch windowso napędzanych pecetów które rodzinka i znajomi chcą mi podrzucić, postanowiłem przećwiczyć instalacje nowej odsłony okienek na własnym komputerze aby uniknąć problemów na w/w zestawach.

Korzystając z opisu Kevina stworzyłem z obrazu płyty instalacyjnen bootujący dysk USB i uruchomiłem system z niego, na czarnym ekranie mignęło coś ala "ładowanie windows", więc czekam...

Wow, po kilku minutach ujrzałem tapetę nowego windowsa i kursor myszki (nawet reagował na ruch gryzonia!) i to by było na tyle, więcej nic sie nie dzieje, dysk z którego uruchomiłem system nie pracuje - pomyślałem że już udało mu sie zawisnąć.

Ale dostał szansę, w tap defence na telefonie włączyłem kolejne kilka plansz więc dostał gdzieś z 10 minut spokoju. Okazało się że to mu bardzo pomogło bo po ~15 minutach nareszcie pokazał coś do klikania na ekranie.
A więc standardowa akceptacja regulaminu, czy robie upgrade czy instaluje od nowa etc.
Wybrałem nową instalację i moim oczom ukazała się następująca plansza:

Gwoli wyjaśnienia, mam w komputerze 9 dysków - system uruchamiam z WD Raptora 74GB,
na którym mam ubuntu i windowsa viste - domyśliłem się że to dysk 4.

Pytanie która partycja to Vista a która Ubuntu?

"Drogi" microsofcie - czy tak trudno było w polu nazwa dać nazwę producenta i model, a w typie wyświetlić typ partycji (ntfs, linux, etc) ?

Cóż - zagadka pozostanie niewyjaśniona bo szkoda mi stracić swoje dane, ja mam już dosyć, eksperymentował dalej będę na dostarczonych pctach.

ubuntu 11.04 so which tab is active?

2011-05-15T23:09:00.000-07:00

Obok laptopa mam monitor, każdy z ekranów jest inaczej ustawiony i aby zobaczyć aktywną zakładkę muszę patrzeć na ekran pod odpowiednim kontem - okazało się że nie tylko ja mam taki problem, rozwiązaniem jest ostylowanie aktywnej zakładki w poniższy sposów:

lowang@lowang-laptop:~$ cat .gtkrc-2.0 
style "gnome_terminal_notebook"
{
  fg[NORMAL] = "#00ff00"
}

widget "*TerminalWindow.*.GtkNotebook*" style "gnome_terminal_notebook"

po tym tylko restart aplikacji i zmiana powinna być widoczna.

na podstawie:

http://askubuntu.com/questions/40332/how-to-make-selected-tab-in-terminal-more-prominent

Ubuntu 11.04 Natty Narwhal

2011-05-15T22:37:00.000-07:00

Od wersji 10.04 Ubuntu zaczęło być dla mnie na tyle dopracowane, że nie śpieszyłem sie z kolejnymi upgrejdami do nowszych wersji. Natomiast zawsze z niecierpliwościa obserwowałem co tym razem zostanie dodane/zmienione w tej wyśmienitej dystrybucji. Tym razem miał być to nowy interfejs więc zaraz po pojawieniu się wersji 'stabilnej' zrobiłem 2 upgrejdy - na kompuerze domowym i na laptopie. Pierwsze wrażenie - WOW, jak to teraz wygląda, nowy luncher ala osx, i ... zwis. Wróciłem do starego kernela na desktopie (Asus P5K Pro) i zniknęły problemy ze stabilnością. Przynajmniej tak mi się wtedy wydawało ;-) Co do samego nowego lunchera - jest świetny, uwielbiam jak ikonka epiphany (chat klient) podskakuje sobie po otrzymaniu nowej wiadomości - coś czego zawsze zazdrościłem osxowi (Adium) teraz mam w ubuntu.

Ok, teraz trochę o wadach - do tej pory nie wiem jak edytować programy w nowym luncherze, próżno szukać opcji edytuj pod prawym przyciskiem myski. Gdzieś na forach czają się opisy jak to zrobić ale nie wygląda to na trywialną operację.

Kolejna sprawa to po kilku dniach używania (robię sleep na noc w desktopie, laptop chodzi cały czas) zauważyłem że gdzieś mi pamięć znika. Winowajcą okazał się compiz - potrafi 3G pamięci zjeść przez kilka dni, magiczne Alt-F2 i compiz --replace rozwiązują chwilowo problem ale trzeba pamiętac aby raz na dzień to zrobić.

Podsumowując jestem zadowolony ze zmiany, Ubuntu to darmowe oprogramowanie i nie ma co od niego wymagać aby było perfekcyjne od dnia wydania, z czasem wszystkie niedogodności które napotkałem zostaną rozwiązane i dzięki automatycznym aktualizacją pojawią się na moich komputerach, lecz na przyszłość postaram się pamiętać aby nowy system instalować z kilkutygodniowym opóźnieniem.

Blueconnect Huawei E122 w Ubuntu 10.04

2010-09-24T04:22:00.000-07:00

Po podłączeniu modemu gsm zazwyczaj wystarczy zrobic eject /dev/sr1

niestety huawei jest na to odporny :(

Aby go odpalic wystarczy:

$ sudo apt-get install usb-modeswitch usb-modeswitch-data

$ sudo usb_modeswitch -v 12d1 -p 1001 -H 1

teraz networkmanager juz widzi modem, w dmesgu otrzymamy potwierdzenie tego faktu:

[6020235.400753] usb 2-3: USB disconnect, address 28

[6020239.730122] usb 2-3: new high speed USB device using ehci_hcd and address 29

[6020239.881162] usb 2-3: config 1 interface 1 altsetting 0 bulk endpoint 0x85 has invalid maxpacket 256

[6020239.881174] usb 2-3: config 1 interface 1 altsetting 0 bulk endpoint 0x5 has invalid maxpacket 256

[6020239.881183] usb 2-3: config 1 interface 2 altsetting 0 bulk endpoint 0x86 has invalid maxpacket 256

[6020239.881191] usb 2-3: config 1 interface 2 altsetting 0 bulk endpoint 0x6 has invalid maxpacket 256

[6020239.883626] option 2-3:1.0: GSM modem (1-port) converter detected

[6020239.883820] usb 2-3: GSM modem (1-port) converter now attached to ttyUSB0

[6020239.884534] option 2-3:1.1: GSM modem (1-port) converter detected

[6020239.884700] usb 2-3: GSM modem (1-port) converter now attached to ttyUSB1

[6020239.885937] option 2-3:1.2: GSM modem (1-port) converter detected

[6020239.886088] usb 2-3: GSM modem (1-port) converter now attached to ttyUSB2

[6020239.887020] scsi69 : usb-storage 2-3:1.3

[6020239.887960] scsi70 : usb-storage 2-3:1.4

[6020240.883984] scsi 69:0:0:0: CD-ROM HUAWEI Mass Storage 2.31 PQ: 0 ANSI: 2

[6020240.883995] scsi 70:0:0:0: Direct-Access HUAWEI SD Storage 2.31 PQ: 0 ANSI: 2

[6020240.885180] sd 70:0:0:0: Attached scsi generic sg2 type 0

[6020240.903658] sd 70:0:0:0: [sdb] Attached SCSI removable disk

[6020240.904152] sr1: scsi-1 drive

[6020240.904317] sr 69:0:0:0: Attached scsi CD-ROM sr1

[6020240.904421] sr 69:0:0:0: Attached scsi generic sg3 type 5

[6020251.580164] sr1: CDROM (ioctl) error, command: Xpwrite, Read disk info 51 00 00 00 00 00 00 00 02 00

[6020251.580193] sr: Sense Key : Hardware Error [current]

[6020251.580203] sr: Add. Sense: No additional sense information

HP SmartArray P410i - what a piece of shit!

2009-12-23T03:32:00.000-08:00

Platforma DL 160 jest oferowana w 2 wersjach 4x3,5" i 8x2,5". Pierwsza wersja jest NO Hotplug podłączona do kontrolera INTEL ICH10R, kolejna ma już kieszonki na dyski i działa na kontrolerze HP SmartArray P410i/ZM ( nie da się z niego zrezygnować, przynajmniej mi się nie udało )

Co do samego kontrolera HP SmartArray P410i, jest to urzadzenie które z premedytacją ukrywa dyski przed systemem więc przy instalacji debiana był 1wszy zonk, gdzie mam go zainstalować?

Pomęczyłem troche support HP i dostalem w koncu odpowiedz: "NIE DA SIE".

Ba, support był wielce zdziwiony że jak to chce wyłączyć funkcje raid w ich kontrolerze, przecież to nie będzie działać...

Pewnie tak samo sie dziwił dział zamówień że zamówilismy serwery bez cdromów... lol

Wcześniej miałem doczynienia z serwerami Fujitsu-Siemens i do głowy mi nie przyszło że taki absurd może się pojawić, ale cóż, to tylko hp.

Obejściem tego okazało się zrobienie fizycznej macierzy RAID z poziomu narzędzia zwanego ORCA - taki mini bios tego kontrolera, cholernie ograniczony z minimalną ilością opcji.

Teraz zamiast mieć wszędzie raid softwarowy przez to badziewie jesteśmy zmuszeni do robienia wyjątków w konfiguracji i korzystania z raidu softwarowego. Oczywiście tak samo wygląda sprawa w przypadku S.M.A.R.T - hp daje swoje własne narzędzie. Oczywiscie pod debianem to kolejny klopot bo daja to w RPM-ach do Redhata.

Kolejna sprawa to wydajność, domyślnie SmartArray ma wyłączoną opcję buforowania zapisu, więc działa baaardzo słabo. Ale troche magi w narzędziu zwanym hpacucli, czyli:

=> ctrl slot=4 modify drivewritecache=enable

i udało się to włączyć.

Naszczęscie kontroler ten poprawnie rozpoznał dyski INTEL-a, a tu miałem trochę wątpliwości bo nikt nie był mi w stanie tego potwierdzić. Niby wspiera SATA, ale kto wie jakie ficzery HP mógł tam dopisać...

Ciekawe jak będę zmieniał firmware w tych dyskach skoro nie mam do nich dostępu z systemu...

Podsumowując: narazie działają, ale ciągle żałuje że ich nie wyrzuciłem i nie zastąpiłem np INTELEM SASUC8I który ma tzw RAID-passthrough więc dyski sa normalnie widoczne.

Linux IDE: Aptana, Eclipse, Netbeans ? a może coś innego ?

2009-09-15T01:41:00.000-07:00

od wielu lat pracuje na różnych klonach eclipsa lub samym eclipse, miałem roczną przygodę z netbeansami ale ciągle mi czegoś brakowało - mianowicie prostoty i szybkości. O ile Netbeans był wyraźnie szybszy od aptany/eclipsa niestety sposób działania synchronizacji svn był w nim tragiczny. To chyba jedyna z wad jakie w nim dostrzegłem.

Pewnie problem może ię wydawac wam dziwny, przecież wszystko "u mnie działa szybko" natomiast ja w moim workspace mam 203 401 pliki w różnych projektach zajmujących razem 4,4GB

Oczywiście nie wszystko mam naraz otwarte, ale 4 projekty z 80000 plików zawsze mam dostępne. Na takiej ilości plików eclipsowo/aptanowy indexer zżera 100% procesora,
czyniąc prace niemożliwą. Zanim indexer zaraguje na próby zatrzymania go mijaja kolejne minuty. nawet jak się już to uda i nie wygenerował wczesniej Exceptiona o braku pamięci, a zaznacze że mam aktywne poniższe opcje:

--launcher.XXMaxPermSize
256m
-Xms256m
-Xmx896m

to nareszczie można zacząć pracować. Przy 4GB ramu i uruchomionym Firefoxie zaraz wolna pamięć praktycznie maleje do zera.

Poniżej fragment top-a(wszystko przed chwilą uruchomione):

PID USER PR NI VIRT RES SHR S %CPU %MEM SWAP COMMAND
15459 lowang 20 0 2000m 781m 35m S 1 20.1 1.2g /usr/bin/java
10034 lowang 20 0 1248m 485m 35m S 28 12.5 763m /usr/lib/firefox
5160 root 20 0 588m 173m 17m S 2 4.5 414m /usr/X11R6/bin/X :0
1539 lowang 30 10 342m 106m 15m S 0 2.7 235m /usr/bin/python2.6
6490 lowang 20 0 550m 98m 12m S 1 2.5 452m google/chrome
10932 lowang 20 0 406m 46m 17m S 0 1.2 359m gedit

Ostatni na fragmencie listy jest właśnie mój faworyt czyli gedit - prosty edytorek standardowo instalowany wraz z ubuntu. Oczywiście standardowo ciężko było by w nim pisać, na szczęście istnieje do niego wiele pluginów upodabniających go do textmate-a,
polecam instalacje dodatków z repo: http://github.com/mig/gedit-rails

końcowy efekt wygląda tak:

po prawej stronie widoczne okienko tzw. "snap open" czyli naciskamy CTRL-ALT-O i zaczynami wpisywac treść nazwy pliku a gedit pokazuje nam dopasowania - z tej listy odrazu otwieramy taki znaleziony plik, koniec z zagłębianiem się na 4-ty poziom podkatalogu :)

Kolorowanie składni działa rewelacyjnie, podpowiadanie też jest w miare efektywne ( działa w obrębie danego pliku, nie jest jakies super sprytne ale wystarcza), jedyne czego brakuje to klikniecia w nazwę klasy z CRTL-em aby odrazu wyświetliła się definicja, ale niestety coś za coś.

Jesli masz dość wolnego wielkiego IDE to zachęcam do małej próby :)

UPDATE 2009-12-23: zamiast snap open doinstalowałem gedit-gmate z pluginem Go to File, jest znacznie szybszy i stabilniejszy niz snap-open.

rcov plugin overwrites its results

2009-06-30T00:41:00.000-07:00

tak sie dzieje dla zadania rake test:test:rcov, testy funkcjonalne nadpisuja jednostkowe itd...

Dlatego dodałem prosty task:


for test_task in %w(test:units test:functionals test:integration)
  task_name = "rcov:set_proper_output_directory_for_#{test_task.gsub(/(test:)/,'')}".to_sym
  task task_name do |t, args|
    t.name =~ (/set_proper_output_directory_for_(.*)/); test_type=$1
    RcovTestSettings.output_dir = File.expand_path("./coverage/#{test_type}")
  end
  task test_task.to_sym => task_name 
end

który uruchamia się przed każdym testem i ustawia poprawny katalog gdzie rcov ma zapisywać.

Inne rozwiazanie znalazłem na blogu ale nie udało mi się go uruchomić(nie bawiłem sie nad tym):

http://programmers-blog.com/2009/06/05/rconv-rails-rake-task-test-test-rcov-overwrites-its-output

Multiple database connections in Rails with tests and fixtures

2009-05-31T04:09:00.000-07:00

Kolejnym problemem okazało sie wykorzystanie fixturek w testach które miały by działać na różnych bazach.

Same fixturki można ładnie rozrzucić po różnych katalogach:

fixtures/
import/

i ładować je przez

fixtures :"import/fixture_name"

jednak domyślnie klasa Fixturek korzysta z ActiveRecord::Base.connection więc cały plan legnie w gruzach.
W tym miejscu na ratunek wychodzi kolejny plugin: use_db

script/plugin install git://github.com/remi/use_db.git

W modelach zamiast estabilish_connection dajemy:

use_db :prefix => "import_", :rails_env => RAILS_ENV.split('_').last
self.abstract_class = true

Plugin ten nadpisuje domyślne ładowanie fixturek i jeśli znajdzie pasujący model do fixturki który korzysta z use_db to wykorzysta Model.connection zamiast AR::Base.connection do operacji ładowania danych.

Co do wypełnienia bazy schemą to wykorzystałem loopy_multiple_databases:

RAILS_ENV=import_development rake db:test:load

niestety w samych testach nie działa odwoływanie się do fixturek przez

fixture_name(:rekord)

więc trzeba rekordy wczytywać ręcznie, ale jeszcze nad tym będę pracował.

Linki:
use_db blog entry
use_db fixed git clone

Multiple database connections in Rails

2009-05-28T03:39:00.000-07:00

w obecnym projekcie wykorzystuje naraz 3 różne bazy danych, dodatkowo ostatni typ jest shardowany - czyli występuje na wielu maszynach.

O ile dostęp do wielu baz naraz można uzyskać przez definicje w stylu

development:
<<: *dev_basics
database: import_sharded
host: 127.0.0.1

import_development:
<<: *dev_basics
database: import
host: 127.0.0.1

a następnie przez stworzenie modeli Proxy:

class ImportProxy < ActiveRecord::Base
establish_connection "import_#{RAILS_ENV.split('_').last}"
end

o tyle problem pojawia się w migracjach - jak zapewnić aby migracje działały na różnych bazach ?

Sprawa okazała się trywialna:

class CreateImportOffers < ActiveRecord::Migration
def self.connection
ImportProxy.connection
end

def self.up
create_table :offers do |t|

wystarczyło nadpisać metode connection.

Tu jednak sprawa sie nie kończy bo jak pisałem na wstępie mamy to do czynienia z bazami shardowanymi a informacje o przeprowadzponych migracjach są trzymane tylko w 1 miejscu,
czyli jesli serwer S1 wykonal wszystkie migracje - czesc globalnych a czesc lokalnie na swojej bazie , zakładam że główne połączenie jest do bazy wspólnej to serwer S2 już nic nam nie będzie chciał zrobić a jego baza lokalna pozostanie pusta. Odwracając sytuacje gdzie główne połączenie jest na bazie lokalnej to wystąpi konflikt przy migracjach na bazie wspólnej - 1 z serwerów nie będzie wiedział że migracje już zostały wykonane.

Rozwiązanie ? Może 2 osobne projekty - 1 działający na maszynach shardowanych a 2gi działający na maszynie wspólnej ?

Taki też był pierwszy pomysł, ale w rzeczywistosci oba projekty różniły by się jedynie katalogiem migracji i plikiem databases.yml - wszystko inne było by w jakiś sposób linkowane.
Bez sensu.

Naszczescie znalazlem gotowe rozwiązanie tego problemu - plugin loopy_multiple_databases

Co to mi dało ?

Teraz mam możliwosc spearacji migracji per środowisko - osobne podkatalogi w db/migrate, w zależniości od sposobu uruchamiania wykonuje się inny zestaw migracji:

RAILS_ENV=import_development rake db:migrate:up VERSION=20090520143515
RAILS_ENV=development rake db:migrate:up VERSION=20090520113821

domyślne zadanie rake db:migrate zostało nadpisane i powoduje wykonanie migracji na wszystkich zdefiniowanych środowiskach poprzez uruchomienie:

RAILS_ENV=srodowisko rake db:migrate_without_other_databases

Rake - multiple task execution / invocation

2009-05-19T14:05:00.000-07:00

standardowo taski Rake dają się uruchomić tylko raz, ponowne ich wywołanie nic nie daje.
Problem z którym się spotkałem polagał na tym aby móc uruchomić pojedyńczy task z konsoli jak i wykonać serie pojedyńczych tasków z innego zadania rake. Poniższy przykład wszystko wyjaśni:


task :start do
$queue = Queue.new
$queue << start_jobs =""> [:working1, :working2] do
puts "start_jobs END"
end

task :working1 do
process_shop(1)
end

task :working2 do
process_shop(2)
end

def process_shop(worker_id)
while true do
  shop_id = $queue.pop(false)
  puts "[#{worker_id}]processing shop: #{shop_id}"
  t = Rake::Task['shop_job']
  t.reenable
  t.invoke(shop_id, worker_id)
  sleep 1
end
rescue
end

task :shop_job, [:shop_id, :worker_id] do |t, args|
puts " [#{args.worker_id}]hello from shop_job #{args.shop_id}"
end